Evaluating Reliability in Conversational AI Agents for E-Commerce: A Comparative Study of Agent Architectures
Year: 2026
Type: dissertation
Abstract: ResumoOs agentes de Inteligência Artificial (IA) conversacional estão a ser cada vez mais utilizados no contexto do atendimento ao cliente no comércio eletrónico por forma a apoiar a descoberta de produtos, consultas de stock, criação de carrinhos de compras, acompanhamento de encomendas, consulta de políticas e operações pós-venda.Embora os Grandes Modelos de Linguagem (LLMs) tenham melhorado a flexibilidade e a naturalidade destes sistemas, a sua fiabilidade continua a apresentar-se como um desafio crítico quando são chamados a interagir com ferramentas externas e a realizar tarefas com várias etapas.Erros como a seleção incorreta de ferramentas, a construção incompleta de argumentos, referências a produtos inexistentes, uma validação fraca dos resultados ou a interrupção prematura de tarefas podem afetar diretamente a confiança do utilizador e a qualidade do serviço.Esta dissertação investiga de que forma diferentes arquiteturas de agentes influenciam a fiabilidade de agentes conversacionais de IA com suporte a ferramentas num contexto de e-commerce.Foram concebidas, implementadas e avaliadas três arquiteturas no mesmo ambiente controlado: uma arquitetura Simple Agent, uma arquitetura Planner-Critic e uma arquitetura Context-Specific Multi-Agent.A arquitetura Simple Agent serve como base de comparação, na qual um único agente tem acesso ao catálogo completo de ferramentas.A arquitetura Planner-Critic introduz uma etapa de validação antes da execução, através de um crítico que avalia as ações de ferramenta propostas pelo planner antes da sua execução.Por sua vez, a arquitetura Context-Specific Multi-Agent decompõe o sistema em agentes especializados, coordenados por um encaminhador e supervisionados por um Stop Judge, responsável por avaliar se a tarefa foi concluída.A avaliação foi realizada através de 89 consultas de teste, compostas por 58 consultas originais e 31 variantes de paráfrase, em dois modelos de base: gpt-3.5-turboe gpt-4o-mini.As arquiteturas foram avaliadas com base na correção da resposta final e em métricas ao nível do processo, incluindo o comportamento das chamadas de ferramentas, a estrutura de invocação do LLM, os ciclos de revisão, as decisões do Stop Judge, a latência da resposta, o consumo de tokens e a robustez das paráfrases.Os resultados mostram que a arquitetura afeta significativamente o perfil de fiabilidade dos agentes baseados em LLM.O Simple Agent melhorou substancialmente ao utilizar o gpt-4o-mini, aumentando a correção de 0.872 para 0.956 no conjunto de consultas originais, mas permaneceu vulnerável a falhas de validação e de conclusão de tarefas.A arquitetura Planner-Critic alcançou um forte desempenho com o gpt-3.5-turbo,atingindo uma correção de 0.960, mas sofreu uma degradação com o gpt-4o-mini, caindo para 0.862.Esta diminuição esteve associada a um comportamento mais restritivo do crítico e a falhas no ciclo de revisão.A arquitetura Context-Specific Multi-Agent alcançou o desempenho mais estável, com pontuações de correção de 0.968 e 0.976 nos dois modelos no conjunto de consultas original, indicando que o encaminhamento para um domínio mais específico, a exposição restrita às ferramentas e o julgamento explícito da conclusão podem reduzir várias classes de falhas.Em termos gerais, os resultados demonstram que a fiabilidade dos agentes conversacionais i ii apoiados por ferramentas não é determinada exclusivamente pelo modelo base.Em vez disso, esta é o resultado da interação entre a capacidade do modelo, o acesso às ferramentas, a estrutura de orquestração, os mecanismos de validação e o controlo da conclusão das tarefas.Arquiteturas mais estruturadas podem melhorar a fiabilidade e a robustez, mas também introduzem latência adicional, consumo de tokens e riscos de coordenação.Estes resultados destacam a importância de avaliar os agentes de IA conversacionais não só pela qualidade da resposta final, mas também pelos processos internos através dos quais as respostas e as ações são produzidas.
Language: English
Topic: AI in Service Interactions
Subfield: Marketing
Domain: Social Sciences
Open Access status: green
OpenAlex ID: W7213477126