Methods and resources for sentiment analysis in multilingual documents of different text types
Year: 2011
Type: dissertation
Abstract: La presente tesis doctoral se ocupa de las cuestiones y los desafios en el desarrollo de metodos y recursos para la tarea del PLN denominada analisis de sentimientos. Definido de forma general, el objetivo de esta tarea es la deteccion de los sentimientos expresados en textos (normalmente por una fuente, sobre un objeto, que puede ser una persona, un evento, un producto, una organizacion etc.) y su clasificacion segun la polaridad/orientacion que tienen (normalmente positiva, negativa o neutra, aunque distintos autores han propuesto escalas mas finas de sentimientos, incluyendo por ejemplo las clases muy positivo o muy negativo).
La investigacion en este campo, la mineria de opiniones (analisis de sentimientos), ha demostrado que el analisis de los sentimientos es un problema dificil, que se tiene que abordar desde diferentes perspectivas y en diferentes niveles, dependiendo de una serie de factores. Estos factores incluyen: nivel de interes (general o especifico, dependiendo de si la general sobre el objeto en cuestion es suficiente o se necesita conocimiento detallado de los sentimientos expresados sobre distintos componentes del objeto), la formula de consulta (Nokia E65/ ?Por que la gente compra el Nokia E65?), el tipo de texto (revision en un foro/blog/dialogo/articulo de periodico), y la forma de expresar la - directamente (mediante declaraciones opinion, por ejemplo, iMe parece que este producto es maravilloso! o iEsta es una iniciativa brillante!), de forma indirecta (utilizando vocabulario relacionado con la expresion del afecto, por ejemplo, Me encantan las fotos tomadas con esta camara! o Personalmente, iestoy conmocionado por como se puede proponer una ley asi!) o implicitamente (con adjetivos que expresan una evaluacion, cuyo objeto se sobrentiende, por ejemplo, Es ligero como una pluma y cabe perfectamente en mi bolsillo o presentando una situacion factual de la que se puede inferir, utilizando conocimiento comun, una emocion positiva o negativa, por ejemplo Se rompio en dos dias.). Otros factores que hacen la tarea de mineria de sentimientos dificil es la aplicacion final y el tipo de texto que se utiliza (resenas, que contienen solo opiniones sobre un producto, escritas por una solo fuente, en comparacion con blogs o debates, que tienen una estructura de dialogo, en el que se expresan opiniones sobre distintos objetos, por distintas fuentes). Finalmente, para las aplicaciones finales, el analisis de sentimientos no es la primera ni la ultima tarea que se debe realizar. Para extraer el sentimiento de textos, primero es necesario recuperar un conjunto de documentos relevantes. El resultado del procesamiento de un texto con un sistema de analisis de sentimientos puede tener mucha informacion redundante e incluso puede no resolver totalmente el problema, debido a la gran cantidad de datos existentes.
Los sistemas implementados para la tarea de analisis de sentimientos se basan en reglas, bolsas de palabras, utilizando un lexico de palabras que tienen una orientacion del sentimiento (positivo o negativo), metodos estadisticos o aprendizaje automatico.
Analizando los sistemas existentes, hemos identificado los siguientes problemas: - La tarea de analisis de sentimientos y los conceptos relacionados no son definidos de forma unica en los diferentes trabajos de investigacion. Por tanto, no esta claro siempre si los distintos investigadores que trabajan en el analisis de sentimientos pueden comparar el rendimiento de sus sistemas, ya que los textos sobre los que evaluan pueden tener diferentes elementos anotados.
- La tarea de analisis de sentimientos se resuelve de la misma manera, independientemente del tipo de texto que se procesa y del objetivo de la aplicacion final.
- No existen recursos anotados para la tarea de analisis de sentimientos en todos los generos textuales.
- No existen lexicos de palabras que expresen sentimientos para otros idiomas distintos al ingles.
- La mayoria de sistemas trabajan a nivel lexico, utilizando reglas, lexicos, metodos estadisticos o aprendizaje automatico. La investigacion que se ha hecho hasta ahora no toma en cuenta otros niveles de analisis, como el sintactico o semantico. Por tanto, el asegurar que la fuente de la expresada es la requerida o sobre que objeto se expresa la en un texto son aspectos que no se toman en consideracion. Estos aspectos pueden tener un alto impacto sobre el rendimiento y la utilidad de los sistemas de analisis de opiniones.
- La mayor parte de la investigacion no distingue sobre los distintos componentes de un texto, en especial sobre el autor, el texto y el lector. La tarea de analisis de sentimientos puede tener diferentes objetivos, dependiendo de la perspectiva que se requiere analizar (por ejemplo, si el autor tiene preferencia sobre un cierto objeto descrito, si el texto contiene informacion que es buena o mala en si, si el lector confia en la fuente de la informacion).
- Las tareas tradicionales (busqueda de informacion, de respuestas, resumenes automaticos) se enfrentan con problemas adicionales en el caso de que la informacion buscada o resumida es de tipo opinion, dadas por las caracteristicas del lenguaje afectivo. Por tanto, para poder adecuar los sistemas de este tipo para tratar informacion que contiene expresiones de afecto, las peculiaridades de este lenguaje tienen que ser estudiadas y se tienen que proponer metodos adecuados para resolver los problemas encontrados de forma eficaz.
El objetivo de nuestro trabajo ha sido crear, explotar y evaluar metodos y recursos tanto nuevos como consagrados para la deteccion y posterior clasificacion de acuerdo a su polaridad (positiva / negativa/ neutro) de los sentimientos expresados en textos.
En concreto, el primer objetivo es desarrollar tecnicas adecuadas para la deteccion y clasificacion de los sentimientos expresados de forma directa, indirecta o implicita en los textos de diferentes tipos (resenas, articulos de periodicos, dialogos/debates y blogs) en diferentes idiomas. El segundo objetivo es aplicar los metodos de analisis de sentimientos que se proponen en el contexto o conjuntamente con otras tareas de PLN (busqueda de respuestas y resumenes automaticos) y proponer tecnicas adecuadas para hacer frente a las cuestiones planteadas en estas tareas por las peculiaridades de la expresion del afecto.
En concreto, nos centramos en: - Definir la tarea y conceptos generales relacionados, a partir del estudio de las definiciones existentes en la literatura y la clarificacion de las inconsistencias detectadas; - Proponer y evaluar metodos para definir y abordar el analisis de los sentimientos de diversos generos textuales en diferentes idiomas; - Redefinir la tarea y proponer metodos para anotar corpus especificos para el analisis de sentimientos en para un tipo de texto en diferentes idiomas, en el caso de que la tarea de analisis de sentimientos no hubiera sido claramente definida para el genero textual en cuestion y/o ningun corpus estuviera disponible para el mismo. Estos recursos estan disponibles al publico para el uso de la comunidad cientifica; - Aplicacion de tecnicas de mineria de en el contexto de los sistemas end-to-end y tambien en conjunto con otras tareas del PLN. Para ello, nos hemos concentrado en realizar analisis de emociones en las tareas de de respuesta y resumen automatico; - Llevar a cabo experimentos con sistemas de de respuesta y sistemas de resumenes automaticos, disenados para hacer frente a datos factuales solamente; - Proponer y evaluar un nuevo marco para lo que llamamos busqueda de respuestas a preguntas de opinion (en ingles - Opinion Question Answering) y los nuevos metodos para elaborar resumenes de opiniones de forma automatica (en ingles - Opinion Summarization), tras realizar un conjunto de experimentos que mostraron que los sistemas de de respuestas y de resumen automatico sobre textos presentando hechos no funcionaban correctamente para analizar textos que contenian opiniones; - Presentacion de un metodo general para la deteccion de la emocion expresada de manera implicita en texto. En primer lugar, presentamos el metodo para construir un lexico de terminos que en si mismos no contienen la emocion, pero que disparan la emocion en un lector. Posteriormente, se propuso un metodo para resumir textos a partir del analisis de los sentimientos expresados basado en claves linguisticas, asi como se propuso y evaluo un metodo para representar el texto como las cadenas de accion. La emocion provocada por la situacion que se presenta en el texto se juzga posteriormente en base a conocimiento de sentido comun sobre el efecto emocional de cada accion en la cadena; - La evaluacion de nuestros enfoques en las competiciones internacionales, a fin de comparar nuestros enfoques con los demas y validarlos.
Con el fin de alcanzar los objetivos propuestos, el trabajo que se presenta ha sido estructurado en torno a responder a cinco preguntas de investigacion. Cada uno de los capitulos de esta tesis presenta metodos y evaluaciones hechas con el fin de responder a estas preguntas.
Author: Alexandra Balahur Dobrescu
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W1535786335