Year: 2026
Type: dissertation
Abstract: Los modelos de lenguaje de gran escala han demostrado capacidades notables en tareas de razonamiento, planificación y generación de texto. Sin embargo, su comportamiento en entornos adversariales con información incompleta, en los que la decisión óptima depende de estimaciones probabilísticas y del modelado del oponente, permanece considerablemente menos caracterizado que su rendimiento en tareas de respuesta verificable. Este trabajo presenta una plataforma software para la evaluación cuantitativa de modelos de lenguaje en póker Texas Hold'em No-Limit en formato heads-up, un dominio que exige estimación de equity, gestión del riesgo y toma de decisiones secuenciales bajo incertidumbre dentro de un marco formal y completamente evaluable. La plataforma, desarrollada en Java, define una abstracción de backends de inferencia que permite enfrentar de forma homogénea modelos de pesos abiertos ejecutados localmente mediante Ollama y modelos propietarios accesibles a través de API. Incorpora un motor de simulación sin interfaz capaz de disputar partidas automatizadas entre dos modelos y de presentar escenarios de decisión predefinidos, así como una interfaz gráfica para el juego interactivo de un usuario humano contra un modelo. Se documenta además un proceso iterativo de ingeniería de prompts a lo largo de siete versiones, en el que cada revisión responde a comportamientos deficientes concretos observados en los datos experimentales. Los resultados obtenidos hasta la fecha, de carácter preliminar, indican que cada modelo evaluado desarrolla un sesgo de comportamiento sistemático y propio —agresión indiscriminada, pasividad absoluta o abandono excesivo—, todos ellos alejados de un juego razonable y de signo opuesto entre sí; que la agresión indiscriminada no resulta rentable ni siquiera frente a un oponente que abandona en exceso; que los modelos emiten con regularidad acciones estrictamente dominadas, siendo el modelo de mayor escala el que presenta la tasa más alta; y que exhiben una acusada inconsistencia ante decisiones idénticas. El trabajo dedica asimismo especial atención a la verificación del instrumento de medida. Se documentan cuatro episodios en los que un cambio en la instrumentación, y no en el modelo evaluado, alteró de forma sustancial los resultados registrados o pareció hacerlo, y se derivan de ellos recomendaciones metodológicas para la evaluación de modelos de lenguaje en tareas de decisión. Se incluye también un análisis de potencia estadística que establece el tamaño de muestra necesario en función del régimen de varianza observado.
Author: Morozov Korzhenkov, Alexey
Institution: Universidad Complutense de Madrid
Language: Spanish
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7222377367
