Year: 2026
Type: dissertation
Abstract: Els Grans Models de Llenguatge (LLMs) s’han convertit en una tecnologia crucial per a múltiples dominis organitzatius, oferint millores importants en eficiència, qualitat i escalabilitat dels processos. Tanmateix, el seu desplegament responsable presenta reptes relacionats amb el rendiment, el consum de recursos, la regulació i l’alineació amb les preferències dels usuaris. La selecció de models basada únicament en mètriques de capacitat o rendiment és insuficient per donar suport a una presa de decisions informada en escenaris del món real. Dins d’aquest context, el projecte de recerca ML-Compass emergeix com un marc d’optimització desenvolupat per donar suport a decisions de desplegament d’aprenentatge automàtic des d’una perspectiva de gestió d’operacions. Proporciona un marc unificador que formula la selecció com un problema d’optimització amb restriccions, oferint una base teòrica juntament amb una pipeline pràctica per orientar perfils de capacitat–cost i recomanar models adequats. Sota aquest marc, aquesta tesi demostra com els benchmarks específics d'un domini concret poden ser aprofitats per validar empíricament el marc ML-Compass i explotar plenament la metodologia proposada. Utilitzant HealthBench, un benchmark clínic de LLM d’última generació, es construeix un conjunt de dades de validació personalitzat, vinculant mètriques internes de capacitat i cost dels models amb mesures d’utilitat percebuda, derivades de les avaluacions clíniques basades en rúbriques de HealthBench. Mitjançant la selecció i caracterització de múltiples LLMs i la generació i avaluació a gran escala de respostes de converses mèdiques, HealthBench s’executa sobre un conjunt de 33 LLMs. A partir d’aquests resultats, s’estimen funcions d’utilitat per capturar la utilitat percebuda per l’usuari sota condicions contextuals específiques.
Author: Martín Fernández, Gonzalo
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7139610338