Studying human–AI equilibrium in a collaborative task: an experimental user study = Estudio del equilibrio humano–IA en una tarea colaborativa: un estudio experimental con usuarios
Year: 2026
Type: dissertation
Abstract: La colaboración entre humanos e inteligencia artificial puede entenderse como una interacción entre dos agentes que trabajan para alcanzar un objetivo común. Las acciones de ambos agentes influyen en el comportamiento y las expectativas del otro. Con el tiempo, esta influencia mutua puede llevar a la pareja a comportarse de tal manera que la conducta de cada integrante constituya una mejor respuesta a la del otro; es decir, que no quepa esperar que ninguno de ellos mejore el resultado modificando unilateralmente su comportamiento. Este estado se denomina equilibrio. Para evaluar un estado de este tipo, es necesario considerar varios factores. En primer lugar, el humano y la IA necesitan interactuar repetidamente para adaptarse mutuamente y aprender a trabajar en equipo. En segundo lugar, debe evaluarse el resultado alcanzado por la pareja concreta. También es necesario tener en cuenta el entorno de la tarea, ya que este puede determinar cómo se organiza la colaboración y cómo surgen las evidencias de un equilibrio. Por estos motivos, esta tesis propone un diseño experimental para identificar y evaluar equilibrios locales candidatos. Treinta participantes colaboraron con distintos compañeros de equipo de IA en un entorno de juego inspirado en *Overcooked*. A través de interacciones repetidas, los participantes se adaptaron a sus compañeros mientras perseguían los objetivos de la tarea. Para evaluar si el resultado dependía del comportamiento de ambos integrantes, el emparejamiento candidato se comparó posteriormente con configuraciones alternativas en las que se modificaba bien el compañero de IA, bien la estrategia de colaboración del participante. Los resultados mostraron que los emparejamientos seleccionados produjeron, en general, resultados favorables y que, para varios participantes, ni cambiar el compañero de IA ni pedirles que adoptaran una estrategia diferente mejoró el resultado. En los tres entornos evaluados se identificaron evidencias que cumplían todos los criterios establecidos para un equilibrio candidato. Estos hallazgos sugieren que el diseño propuesto permite identificar emparejamientos humano-IA específicos para cada participante cuyos resultados dependen del comportamiento de ambos integrantes. Por tanto, respaldan la interpretación de estos emparejamientos como equilibrios locales humano-IA candidatos. --ABSTRACT-- Human–AI collaboration can be understood as an interaction between two agents working toward a shared goal. Both agents’ actions influence each other’s behavior and expectations. Over time, this mutual influence can lead the pair to behave in a way in which each partner’s behavior is a best response to the other’s, meaning that neither partner is expected to improve the outcome by changing its behavior individually. This state is called an equilibrium. Testing such a state requires considering multiple factors. First, the human and AI need repeated interactions to adapt to each other and learn to work as a team. Second, the outcome achieved by the specific pair must be evaluated. The task environment must also be considered, because it can shape how collaboration is organized and how evidence for an equilibrium emerges. For these reasons, this thesis proposes an experimental design for identifying and evaluating candidate local equilibria. Thirty participants collaborated with different AI teammates in an Overcooked-inspired game environment. Through repeated interactions, they adapted to their teammates while pursuing their objectives. To evaluate whether the outcome depended on the behavior of both partners, the candidate pairing was then compared with alternative configurations in which either the AI teammate or the participant’s collaboration strategy was changed. The results showed that the selected pairings generally produced favorable outcomes and that, for several participants, neither changing the AI teammate nor instructing the participant to adopt a different strategy improved the outcome. Evidence satisfying all candidate-equilibrium criteria was identified across all three tested environments. These findings suggest that the proposed design can identify participant-specific human–AI pairings whose outcomes depend on the behavior of both partners. They therefore support the interpretation of these pairings as candidate local human–AI equilibria.
Author: Donatis, Gaia de
Language: English
Subfield: Human Factors and Ergonomics
Field: Social Sciences
Domain: Social Sciences
Open Access status: green
OpenAlex ID: W7213572782