Evaluación comparativa de modelos de lenguaje (BERT y GPT) en el análisis de sentimiento de reseñas de clientes, con extensión a LlaMA y exploración de sesgos
Year: 2026
Type: dissertation
Abstract: Esta investigación desafía la convención clásica en Procesamiento del Lenguaje Natural (NLP) que establece la superioridad de las arquitecturas discriminativas (encoder-only, como BERT) frente a las generativas (decoderonly) en tareas de clasificación de sentimiento bajo recursos limitados. Mediante una metodología experimental sobre los datasets IMDb, Amazon y Yelp, se evalúa el rendimiento de TinyLlama-1.1B optimizado con técnicas de adaptación de bajo rango (LoRA) y cuantización de 4-bits (NF4), contrastándolo con un baseline de BERT y GPT-2. La evidencia empírica obtenida refuta la hipótesis nula: el modelo generativo TinyLlama alcanzó un F1-Score de 0.9195 en IMDb, superando significativamente al estándar BERT (F1 0.8592) y demostrando que la plasticidad latente de los small language models (SLMs) compensa la falta de bidireccionalidad. Asimismo, se documenta la "Paradoja de la Transferencia Positiva", donde el modelo entrenado en narrativa compleja (cine de IMDB) mejoró su rendimiento al F1 0.9522 en un dominio no visto de productos (Amazon), validando una capacidad de generalización semántica superior. Finalmente, la auditoría ética mediante counterfactual data augmentation reveló riesgos latentes de seguridad, identificando un sesgo de género ("Efecto Heroína") que incrementa artificialmente la confianza del modelo (+9%) ante pronombres femeninos, subrayando la necesidad crítica de alineación en despliegues productivos.
Author: Sánchez Carrillo, Ignacio
Language: Spanish
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7144536492