Year: 2024
Type: dissertation
Abstract: Esta tesis examina la integración de los Modelos LLM (Large Language Models) en los Sistemas de Recomendación (RS), centrándose en aprovechar las incrustaciones (embeddings) generadas por LLM a partir de las reseñas de los usuarios para mejorar la calidad de las recomendaciones. Los RS tradicionales a menudo luchan por extraer información procesable del texto no estructurado de las reseñas de los usuarios, una brecha que los LLM, con sus avanzadas capacidades de procesamiento del lenguaje natural, prometen cerrar. Sin embargo, los sustanciales recursos computacionales necesarios para entrenar y desplegar modelos LLM plantean desafíos significativos. Este estudio prueba tres hipótesis: primero, que las incrustaciones de LLM superarán a las incrustaciones a nivel de palabras tradicionales en la mejora del rendimiento de RS, debido a su superior comprensión semántica; segundo, que la integración de estas incrustaciones en los modelos de filtrado colaborativo (CF) enriquecerá los modelos con valiosos conocimientos contextuales; y tercero, que los LLM con mayor efectividad en tareas de procesamiento del lenguaje natural (NLP) no necesariamente producirán mejores recomendaciones, dependiendo del modelo de RS utilizado. Para abordar estas hipótesis, esta investigación aprovecha dos conjuntos de datos de reseñas de Amazon — Música Digital y Comida Gourmet — y emplea incrustaciones de tres LLM distintos: OpenAI, Mistral de Wang y VoyageAI. El análisis tiene como objetivo determinar si las incrustaciones de LLM pueden ser una fuente útil de información para mejorar los algoritmos tradicionales de recomendación. Los resultados del estudio son los siguientes: (i) las incrustaciones de LLM pueden usarse de manera efectiva en modelos basados en reseñas desarrollados para incrustaciones a nivel de palabras, (ii) la utilidad de las incrustaciones de LLM como información adicional en modelos de recomendación simples es limitada, y (iii) los LLM con mayor efectividad en tareas de NLP no necesariamente producen mejores recomendaciones, ya que su impacto varía dependiendo del modelo de RS utilizado. ABSTRACT This thesis examines the integration of Large Language Models (LLMs) into Recommender Systems (RSs), focusing on leveraging LLM-generated embeddings from user reviews to enhance recommendation quality. Traditional RSs often struggle to extract actionable insights from the unstructured text of user reviews, a gap that LLMs — with their advanced natural language processing capabilities — promise to bridge. However, the substantial computational resources required for training and deploying LLMs pose significant challenges. This study tests three hypotheses: first, that LLM embeddings will outperform traditional word-level embeddings in improving RS performance due to their superior semantic understanding; second, that integrating these embeddings into collaborative filtering (CF) models will enrich the models with valuable contextual insights; and third, that LLMs with higher effectiveness in NLP tasks will not necessarily produce better recommendations, depending on the RS model used. To address these hypotheses, this research leverages two Amazon Review Datasets — Digital Music and Fine Foods — and employs embeddings from three distinct LLMs: OpenAI, Wang’s Mistral, and VoyageAI. The analysis aims to determine if LLM embeddings can be a useful source of information to enhance traditional recommendation algorithms. The results of the study are as follows: (i) LLM embeddings can be effectively used in review-based models developed for word-level embeddings, (ii) the usefulness of LLM embeddings as side information in simple recommendation models is limited, and (iii) LLMs with higher effectiveness in NLP tasks do not necessarily produce better recommendations, as their impact varies depending on the RS model used.
Author: Cecere, Nicola
Institution: Universidad Politécnica de Madrid
Language: English
Subfield: Information Systems
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W6983079896
