Work

Structured decision-making in LLM agents using decision networks

Year: 2026
Type: dissertation
Abstract: Muchas decisiones importantes se toman bajo incertidumbre, y los grandes modelos de lenguaje (LLM, por sus siglas en inglés) se utilizan cada vez más para respaldarlas. Sin embargo, sus respuestas son difíciles de interpretar y verificar. Las probabilidades de los posibles resultados, el valor de cada resultado y las relaciones entre los factores relevantes suelen permanecer implícitos, lo que dificulta entender por qué se prefiere una recomendación. Como resultado, la recomendación no puede comprobarse formalmente, no está garantizado que sea óptima y puede contener errores de cálculo. El análisis de decisiones (DA, por sus siglas en inglés) aborda estos problemas mediante redes de decisión (DN, por sus siglas en inglés, también conocidas como diagramas de influencia), que hacen explícita la estructura de un problema de decisión y permiten resolverlo mediante algoritmos exactos. Su principal inconveniente es que normalmente son construidas manualmente por un analista que trabaja con un experto en el dominio. Esta tesis explora la integración de ambos enfoques como una forma de hacer más interpretable el apoyo a la toma de decisiones mediante LLM. En concreto, se proporciona al LLM un conjunto de herramientas deterministas que le permiten construir y editar de forma controlada una DN de manera iterativa, mediante llamadas específicas para crear nodos, añadir arcos o editar valores de probabilidad, entre otras operaciones. Estas herramientas forman parte de una librería especializada en la creación y edición de DN. Al obligar a representar los supuestos de la recomendación en una red explícita, el sistema combina la expresividad de los LLM con la formalidad, la verificabilidad y la interpretabilidad de las DN. La interfaz empleada para ofrecer estas herramientas al LLM es Model Context Protocol (MCP, por sus siglas en inglés), mientras que la librería utilizada para albergar la DN es PyAgrum. El código fuente completo del sistema está disponible en el repositorio de GitHub. --ABSTRACT-- Many important decisions are made under uncertainty, and large language models (LLMs) are increasingly used to support them. Their answers, however, are difficult to interpret and verify. The probabilities of possible outcomes, the value of each outcome, and the relationships between the relevant factors usually remain implicit, making it unclear why a recommendation is preferred. As a result, the recommendation cannot be formally checked, is not guaranteed to be optimal, and may contain calculation errors. Decision analysis (DA) addresses these issues with decision networks (DNs, also known as influence diagrams), which make the structure of a decision problem explicit, interpretable, and solvable by exact algorithms. Their main drawback is that they are usually built by hand by an analyst working with a domain expert. This thesis explores the integration of both approaches as a way to make LLMsupported decision making more interpretable. Specifically, the LLM is provided with a set of deterministic tools that allow it to build and edit a DN in a controlled and iterative way, through specific calls to create nodes, add arcs, or edit probability values, among other operations. These tools are part of a library specialised in the creation and editing of DNs. By forcing the assumptions behind the recommendation to be represented in an explicit network, the system combines the expressiveness of LLMs with the formality, verifiability, and interpretability of DNs. The interface used to provide these tools to the LLM is Model Context Protocol (MCP), while the library used to host the DN is PyAgrum. The complete source code of this system is available in the GitHub repository.
Language: English
Open Access status: green
OpenAlex ID: W7213380491
Cites: 26
Cited by:
Related to: 10