Design and implementation of an academic advising agent based on large language models and retrieval augmented generation
Year: 2026
Type: dissertation
Abstract: El asesoramiento académico en las universidades de investigación opera bajo una tensión estructural persistente, con cargas de trabajo que a menudo superan los 250 o 300 estudiantes por tutor. Los grandes modelos de lenguaje se proponen a menudo como remedio, pero conllevan un riesgo real en este contexto: producen texto fluido y verosímil, no hechos verificados, y un prerrequisito o un juicio de elegibilidad erróneo puede retrasar la graduación de un estudiante. Las herramientas existentes de recuperación aumentada reducen este riesgo, pero siguen siendo en gran medida pasivas, recuperando texto sin verificar la lógica que contiene. Este Trabajo Fin de Máster presenta un agente conversacional de asesoramiento académico construido para tres departamentos del Illinois Institute of Technology: Information Technology Management, Computer Science y Applied Mathematics. El sistema combina un pipeline automatizado que mantiene actualizados el catálogo de asignaturas y las políticas, una capa de recuperación híbrida que combina búsqueda semántica y por palabras clave, y un agente conversacional que orquesta la interacción. De forma crítica, el modelo de lenguaje no decide la elegibilidad por sí solo: un motor de reglas determinista evalúa la lógica de prerrequisitos de cada asignatura directamente contra las asignaturas completadas por el estudiante, de modo que las respuestas se apoyan en lógica verificable y no en la interpretación del modelo. Esta división del trabajo no fue el diseño original. Una versión anterior dejaba la evaluación de prerrequisitos completamente en manos del modelo de lenguaje, y este trabajo recoge la evaluación que motivó el cambio. El sistema se evaluó frente a Google NotebookLM sobre 60 escenarios equilibrados en cuatro categorías de tarea, distribuidos entre los tres departamentos. El sistema propuesto acertó los 60 casos, mientras que NotebookLM acertó 48 de 60, con varias respuestas que contenían información capaz de llevar a una matrícula incorrecta. Introducir el motor de reglas por sí solo resolvió la categoría más débil del sistema, la recomendación de asignaturas, sin cambiar nada más. Estos resultados respaldan una conclusión concreta y calibrada. El sistema fundamenta sus respuestas de forma fiable en el catálogo correcto, y su razonamiento determinista elimina el error más grave en este contexto. La evaluación no permite afirmar que el sistema sea correcto más allá del alcance probado, pero dentro de ese alcance funciona de manera fiable, por razones atribuibles a decisiones de diseño concretas y no al azar. --ABSTRACT-- Academic advising at research universities operates under a persistent structural strain, with advisor caseloads often exceeding 250 to 300 students. General-purpose large language models are frequently proposed as a remedy, but they carry a real risk in this setting: they produce fluent, plausible text rather than verified fact, and a wrong prerequisite or eligibility judgment can delay a student's graduation. Existing retrieval-augmented tools reduce this risk but remain largely passive, retrieving text without verifying the logic inside it. This thesis presents a conversational academic advising agent built for three departments at the Illinois Institute of Technology: Information Technology Management, Computer Science, and Applied Mathematics. The system combines an automated pipeline that keeps the course catalog and policies current, a hybrid retrieval layer that pairs semantic and keyword search, and a conversational agent that orchestrates the interaction. Critically, the language model does not decide eligibility on its own: a deterministic rule engine evaluates each course's prerequisite logic directly against a student's completed courses, so answers rest on verifiable logic rather than the model's interpretation. This division of labor was not the original design. An earlier version left prerequisite evaluation entirely to the language model, and this thesis reports the evaluation that motivated the change. The system was evaluated against Google NotebookLM on 60 balanced advising scenarios across four task categories, evenly distributed across the three departments. The proposed system answered all 60 cases correctly, while NotebookLM answered 48 of 60, with several answers containing information that could have led a student toward an incorrect registration decision. Introducing the deterministic rule engine alone resolved the system's weakest category, course recommendation, without changing anything else. These results support a specific, calibrated conclusion. The system reliably grounds its answers in the correct catalog record, and its deterministic reasoning removes the error category most consequential in advising. The evaluation does not establish correctness beyond the scope tested, but within that scope the system performs reliably, for reasons traceable to specific design decisions rather than chance.
Author: Mateo Muñoz, Alberto
Language: English
Subfield: Education
Field: Social Sciences
Domain: Social Sciences
SDG: Quality education
Open Access status: green
OpenAlex ID: W7223435132