Automatic generation of counter-narratives using argumentative information to fight hate speech online
Year: 2025
Type: dissertation
Abstract: En el siguiente trabajo elaboramos un dataset de tweets de odio anotados con componentes argumentativos generales y específicos del dominio y con tipos distintos de contra-narrativas definidas según estrategias basadas en estos componentes, con el objetivo de utilizarlos para mejorar el rendimiento de distintos modelos de lenguaje en la tarea de generación automática de contra-narrativas para combatir la xenofobia. Mostramos que se puede obtener un nivel aceptable de acuerdo entre anotadores, a pesar de la naturaleza subjetiva de la tarea, al utilizar un manual de anotación definido a través de un proceso iterativo que involucra a los anotadores y que los componentes argumentativos propuestos pueden ser identificados, luego, de manera automática con un rendimiento satisfactorio. Estudiamos y desarrollamos las falencias que tienen las métricas utilizadas para realizar evaluaciones automáticas de generación de texto en la tarea de generación de contra-narrativas, tanto aquellas basadas en superposición de n-gramas como aquellas basadas en comparación de embeddings y proponemos categorías de evaluación que permiten definir una metodología para asignar puntajes numéricos a las contra-narrativas a la vez que se explicitan las características deseables que deben tener y definen qué significa que una contra-narrativa sea aceptable o buena. Con esta herramienta realizamos una evaluación con anotadores humanos a través de la cual concluimos que para la familia de modelos Flan-T5 el factor que aumenta en mayor medida el rendimiento de los modelos es el ajuste fino a un conjunto de datos de calidad, en comparación a aumentar el tamaño del modelo o incluso a utilizar la información argumentativa. La información argumentativa no mejora el rendimiento de los modelos de manera significativa con la excepción de aquellos que se ajustan utilizando un solo tipo de contra-narrativa y la información argumentativa en la que basan su estrategia. Finalmente, utilizamos la evaluación humana para entrenar modelos para realizar evaluaciones automáticas y evaluamos así la generación realizada por distintos Grandes Modelos de Lenguaje con múltiples configuraciones de generación.
Author: Furman, Damián Ariel
Language: Spanish
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
Awards: G1660683580, G1993864142, G5344391199
OpenAlex ID: W7166420120