INFLUENCIA DE LAS PARTES DE LA ORACION EN LA CLASIFICACION DE MENSAJES DE TWITTER EN OBJETIVOS O SUBJETIVOS

Transcripción

1 INFLUENCIA DE LAS PARTES DE LA ORACION EN LA CLASIFICACION DE MENSAJES DE TWITTER EN OBJETIVOS O SUBJETIVOS INFLUENCE OF PART OF SPEECH TAGS IN THE CLASSIFICATION OF TWITTER MESSAGES IN OBJECTIVE OR SUBJECTIVE Suilan Estévez-Velarde, Alejandro Piad-Morffis, Yudivián Almeida-Cruz Universidad de La Habana, Cuba, sestevez@matcom.uh.cu, Calle da entre Cruz Verde y, Rpto. Chibás, Guanabacoa Universidad de La Habana, Cuba, apiad@matcom.uh.cu Universidad de La Habana, Cuba, yudy@matcom.uh.cu RESUMEN: En este trabajo se analizan las partes de la oración más relevantes en un proceso de minería de opinión en Twitter. Para esto se emplea un corpus de mensajes de Twitter en español, etiquetados manualmente con una valencia de opinión (objetiva o subjetiva). Previamente se realiza un proceso de normalización del texto de cada mensaje para reducir al máximo las deformaciones lingüísticas. Posteriormente se emplea un modelo de Markov oculto (HMM) para etiquetar cada uno de los términos con la parte de la oración correspondiente. Finalmente se ajusta un modelo de regresión logístico con el objetivo de determinar la influencia de una parte de la oración específica en la clasificación de valencia de opinión. Este análisis permite determinar las partes de la oración que, con mayor precisión, diferencian los mensajes que expresan una opinión. Palabras Clave: Twitter, partes de la oración, minería de opinión. ABSTRACT: In this paper we analyze the most relevant part of speech tags in an opinion mining process on Twitter. We use a corpus of Spanish Twitter messages, manually labeled with respect to the presence of opinion (objective or subjective). First, a normalization process is applied to every message, in order to reduce the linguistic deformations present in Twitter. Then a hidden Markov model (HMM) is used to assign a label to every term with the corresponding part of speech. Finally, a logistic regression model is fitted to the tagged messages, in order to determine the influence that every specific part of speech tag has in the opinion classification. This analysis can help us detect the part of speech tags that, with greater precision, differentiate those message that express an opinion from the rest. KeyWords: Twitter, part of speech, opinion mining.

2 INTRODUCCIÓN Las redes sociales se han popularizado con el incremento de la cantidad de usuarios que participan activamente en las mismas. Twitter es una de las redes más conocidas y cuenta con más de 5 millones de usuarios. Los usuarios por la propia naturaleza de la red tienden a expresar sus opiniones y contar las actividades que realizan o en las que participan. Por tanto resulta interesante conocer cuando un usuario emite o no una opinión para poder realizar análisis posteriores. Debido a esto el proceso de Minería de Opinión ha incrementado su empleo sobre redes sociales como Twitter. Twitter se caracteriza por ser una red de microblogging. Esto implica una limitación en el número de caracteres de un mensaje (tweet), aproximadamente 4 caracteres. Debido a esta restricción se ha visto afectada la forma en que se escriben los mensajes, promoviendo el uso de jerga, emoticones y abreviaturas para disminuir la longitud total del texto. Además, este diseño promueve que se envíen desde dispositivos móviles, incrementando la velocidad de difusión de los mensajes y la falta de atención de los usuarios al escribirlos. En general son comunes las faltas de ortografía, las repeticiones de letras y el uso de etiquetas propias de la red social. Es en estos tweets o mensajes donde el usuario puede emitir una opinión. Para determinar si un mensaje contiene o no una opinión se utiliza un algoritmo de aprendizaje de máquina que clasifique en Objetivo-Subjetivo. En la minería de opinión se han utilizado varios enfoques: no supervisado, semi-supervisado y supervisado. Utilizando fundamentalmente un enfoque supervisado para la clasificación en objetivo o subjetivo [4]. Sobre Twitter también se han realizado varios trabajos de minería de opinión []. En Twitter la longitud de los mensajes puede considerarse similar a la de una oración. Por lo tanto se puede asumir que contienen una única idea en todo el texto []. Una de las características que consideramos podría tener más influencia, en la presencia de opinión, es la utilización de distintos elementos gramaticales (adjetivos, sustantivos, entre otros). Por tanto este artículo se concentra en analizar la influencia de estos componentes en el proceso de minería de opinión. Para esto se analiza la importancia de cada uno de estos componentes de forma independiente. Además se comparan los resultados de incluir el conocimiento de las partes de la oración o emplear el texto original.. DETECCIÓN DE LAS PARTES DE LA ORACIÓN Para analizar la incidencia de los elementos gramaticales en la identificación de tweets que reflejen una opinión fue necesario un proceso de tres etapas: Preprocesamiento, Reconocimiento de Elementos Gramaticales y Clasificación. Cada una de estas etapas se describe a continuación: Preprocesamiento: Las características de la escritura en los tweets presenta irregularidades que pueden ser consideradas errores gramaticales y sintácticos. En esta etapa se modifica el texto original de los mensajes para normalizarlo y facilitar el reconocimiento y aprendizaje posterior. Los términos que contienen jerga, emoticones o etiquetas particulares de Twitter son detectados y etiquetados para la siguiente etapa. Usualmente, en esta fase se eliminan los stopwords y se hace la reducción a lexemas (stemming). Sin embargo, dado que ambos procesos modifican los términos originales, tienen una influencia negativa en el reconocimiento de partes de la oración, que depende fundamentalmente de la morfología de los términos y las relaciones entre estos. Por este motivo, estos procesos no se realizan en nuestra propuesta. Reconocimiento de elementos gramaticales: En esta fase se emplea un algoritmo basado en un modelo de Markov oculto, para detectar las partes de la oración (POS-tagging en inglés). El etiquetador se entrena en un corpus estándar en español [], y luego se aplica al corpus de mensajes de Twitter []. Se emplea una implementación presente en la biblioteca nltk []. El etiquetador reconoce categorías gramaticales []. A estas se adicionan las categorías correspondientes a las etiquetas particulares de Twitter (URL, nombres de usuarios, hash-tags) y etiquetas especiales para los emoticones y expresiones de jerga. Además, se incluye una etiqueta adicional (NING) para los términos desconocidos, para un total de categorías.

3 min w,c Clasificación: En el proceso de clasificación se utiliza un algoritmo de aprendizaje automático basado en regresión logística. Este algoritmo se escoge a partir de los resultados obtenidos en investigaciones anteriores relacionados con la minería de opinión en Twitter [9]. Regresión Logística se basa en la solución de un problema de optimización equivalente a (), que consiste en un problema de clasificación binario con penalización cuadrática L. Se emplea una implementación presente en la herramienta sklearn [5]. n wt w i= log(exp( y i (X i T w+c))+) (). ANÁLISIS COMPUTACIONAL Para analizar la importancia del conocimiento de las partes de la oración en el proceso de clasificación, se realizan varios experimentos con diferentes representaciones de los mensajes. El primero consiste en entrenar un clasificador de regresión logística en el corpus de mensajes, empleando un modelo de bolsa de palabras, sin adicionar la información asociada a las formas gramaticales. Este experimento servirá de base comparativa para medir la importancia de conocer las partes de la oración. Además se representa cada mensaje únicamente con las formas gramaticales presentes, eliminando por completo las palabras y reemplazándolas por la parte de la oración que representan. Esto permitirá valorar cuánto de la carga de opinión asociada a un mensaje es capturado únicamente por las partes de la oración, sin importar la semántica de los términos en sí. Los dos experimentos restantes consisten en dos maneras de combinar los términos del mensaje original con las formas gramaticales correspondientes. En el primero se adicionan al mensaje las formas gramaticales como rasgos independientes, y en el segundo se adicionan emparejadas a la palabra correspondiente. En todos los casos se emplea un corpus estándar de mensajes en español [] clasificado por expertos según la presencia de opinión y la valencia de la misma. Para el entrenamiento del algoritmo de detección de partes de la oración (POS, part-of-speech) se emplea un corpus presente en la herramienta nltk [] diseñado para este propósito. La Tabla I muestra la precisión alcanzada (media y desviación estándar) tras corridas de validación cruzada, de cada uno de los experimentos mencionados. Se adiciona además el p-valor de un test estándar de comparación de medias (t de Student) para medir la significación de los resultados obtenidos. Para valorar la influencia que tiene cada forma gramatical en el proceso de clasificación, se analizan los pesos asociados por el algoritmo a cada una de las partes de la oración. Para esto, se entrena el algoritmo de regresión logística con la representación basada solamente en las partes de la oración, y se reportan los pesos asignados durante la regresión a cada forma gramatical. Esto permite determinar cuáles son las formas gramaticales que más influencian la elección de una u otra categoría en el proceso de clasificación. La primera columna en la Tabla II muestra los pesos asignados a cada forma gramatical. Tabla I: Comparación de la precisión de clasificación empleando distintas representaciones. Representaci ón Original. Sólo POS. Original + POS Original * POS μ σ p-valor e- 5.5e- 9.e- Tabla III: Frecuencias relativas de aparición de cada forma gramatical, en función de la presencia o no de opinión en un mensaje. Tipo Peso μ - Ob j ADJ.49 9 μ - S u b 54 p-valor.4e- VER...45e-

4 B 9 5 SUS T.5 ADV.4 PRO N EMO T..9 ART. JER G NIN G USE R... 5 X 4 HAS H CON J 4 ADP NU M -. URL -. PUN T e- 4.9e-.e- 4.99e-.e-.55e-.e- 4.49e- 4.9e- 4.5e- 9e- 5 59e-.4e-.4e- 5 4.e- Se analizaron además las frecuencias relativas de aparición de cada forma gramatical agrupadas por la categoría del mensaje correspondiente. La frecuencia relativa de aparición de una forma gramatical t k está dada por la expresión (), donde M representa el conjunto de todos los mensajes, m i es el i-ésimo mensaje, y (t k,m i ) es la cantidad de términos en el mensaje m i con la etiqueta (forma gramatical) t k. Se presenta además el p-valor resultante de aplicar una prueba estándar de comparación de medias. Aparecen resaltados los valores que indican una frecuencia de aparición significativamente superior (p-valor < 5) en una u otra categoría. F k = M i (t k,m i ) () m i Finalmente, en la Tabla III se reportan los términos más influyentes en la clasificación, junto a la forma gramatical en que aparecen, y el peso asignado por el regresor logístico. Tabla IIIII: Términos más influyentes en la clasificación. Objetivo Pe s o portadasust -. reuniónsust - 4 plenosust - periódicosust - Todospron - Altoadj - entrevistasust - 9 num - Subjetivo Pe s o graciassust. ;-))emot. ;-)emot granadj 5 felizadj Buenaadj Gustaverb 5 Muyadv 5 votéisning - Buenasadj 4 Resultados no reportados de un test de normalidad (Shapiro-Wilk) demuestran que estas frecuencias no siguen una distribución normal, por lo que se aplica una prueba no paramétrica de Mann-Whitney.

5 @ppopularuser - 5 Buenadj 4 opinión, con una precisión prácticamente igual a la obtenida por los medios tradicionales. Integrar la detección de partes de la oración a los procesos de minería de texto constituye un tema de investigación prometedor. DISCUSIÓN Y CONCLUSIONES Los experimentos realizados confirman la hipótesis de que las partes de la oración son una característica influyente para determinar la presencia de una opinión en un tweet. Se observan diferencias significativas, entre los mensajes objetivos y subjetivos, en de las características analizadas. Uno de los resultados más interesantes es que la presencia de emoticones no resulte significativa, aunque en ocasiones se sugiere su uso para clasificar de forma automática un corpus de entrenamiento. Al comparar la precisión de las diferentes representaciones, podemos apreciar que añadir el conocimiento de las estructuras gramaticales no representa una mejora significativa en el rendimiento. Sin embargo, empleando solamente la información de las partes de la oración se logra una precisión muy cercana a la original. Este resultado sugiere una forma alternativa de reducción de dimensiones, que permite una representación muy compacta de los mensajes. En entornos con grandes volúmenes de datos, esta forma de reducción puede ser superior a las técnicas clásicas de descomposición de matrices. Este resultado permite disminuir considerablemente los efectos de la maldición de la dimensionalidad [], sin perder las ventajas de una representación no lineal, como el empleo de bigramas o trigramas, que es imposible de realizar en el conjunto original de mensajes. En el proceso de clasificación la característica más influyente es la presencia de adjetivos, lo que resulta consistente con el uso de los mismos en el idioma español. Se puede apreciar que entre los términos subjetivos más influyentes aparecen varios sustantivos que son utilizados frecuentemente al expresar una opinión. También se aprecian emoticones particulares que expresan un estado de ánimo, usualmente empleados para expresar sentimientos positivos. Los términos más influyentes en la clase objetiva tienden a ser sustantivos asociados a medios de prensa y otros términos relacionados con la emisión de noticias. Los resultados obtenidos demuestran la importancia del análisis de las partes de la oración en el proceso de minería de opinión. La correcta detección de las formas gramaticales usadas en un mensaje permite determinar la presencia o no de 4. REFERENCIAS BIBLIOGRÁFICAS Bird, Steven, Ewan Klein, and Edward Loper. 9, Natural Language Processing with Python. First. Edited by Julie Steele. O'Reilly. Hu, Xia, Tang Lei, Tang Jiliang, and Liu Huan.. Exploiting Social Relations for Sentiment Analysis in Microblogging. Proceedings of the Sixth ACM International Conference on Web Search and Data Mining, WSDM '. New York, NY, USA: ACM, M. Antonia Martí, Mariona Taulé, Lluís Márquez Manuel Bertran.. CESS-ECE: A Multilingual and Multilevel Annotated Corpus. 4. Pang, B., and L. Lee.. Opinion Mining and Sentiment Analysis. Foundations and Trends in Information Retrieval (-): Pedregosa, F., G. Varoquaux, A. Gramfort, V. Michel, B. Thirion, O. Grisel, M. Blondel, P. Prettenhofer, R. Weiss, V. Dubourg, J. Vanderplas, A. Passos, D. Cournapeau, M. Brucher and M. Perrot. Scikit-learn: Machine Learning in Python. Journal of Machine Learning Research : 5-.. Silva, Nádia F. F., Eduardo R. Hruschka, and Estevam Rafael Jr. Hruschka. 4. Biocom Usp: Tweet Sentiment Analysis with Adaptive Boosting Ensemble. Proceedings of the th International Workshop on Semantic Evaluation.. Slav Petrov, Dipanjan Das, and Ryan McDonald.. A Universal Part-of-Speech Tagset. Proceedings of LREC '.. Villena-Román, J., Lana-Serrano S., Martinez-Cámara E., and J.C. González- Cristóbal.. TASS Workshop on Sentiment Analysis at SEPLN." Procesamiento del Lenguaje Natural. 9. Estévez-Velarde, Suilan. 5. Minería de Opinión en Twitter: Un acercamiento desde el aprendizaje supervisado." Tesis de Maestría. Universidad de La Habana. J.Mira (editor): On the effects of dimensionality on data analysis with neural networks. Springer-Verlag,. 5. SÍNTESIS CURRICULARES DE LOS AUTORES Suilan Estévez-Velarde: La Habana, de Agosto de 99, Cuba.

6 Graduado de Ciencia de la Computación, Universidad de La Habana (UH),. Master en Ciencias de la Computación por la Universidad de La Habana, 5. Profesor Instructor de la Facultad de Matemática y Computación (MATCOM) de la UH. Dirección Postal: Calle da entre Cruz Verde y, Reparto Chibás, Guanabacoa. La Habana, Cuba. Correo electrónico: sestevez@matcom.uh.cu Alejandro Piad Morffis. La Habana, de Noviembre de 99, Cuba. Graduado en Ciencia de la Computación, Universidad de La Habana (UH),. Actualmente se encuentra cursando la Maestría en Ciencias de la Computación (UH). Profesor Instructor de la Facultad de Matemática y Computación (MATCOM) de la UH. Dirección Postal: Ave. Camagüey # e/ 9na y Pastora, Cerro, La Habana, Cuba. Correo electrónico: apiad@matcom.uh.cu Yudivián Almeida-Cruz: La Habana, de Octubre de 9, Cuba. Graduado de Ciencia de la Computación, Universidad de La Habana (UH), 4. Doctor por la Universidad de Alicante, Doctor en Ciencias Matemáticas (por homologación), Cuba,. Profesor Auxiliar de la Facultad de Matemática y Computación (MATCOM) de la UH. Vicedecano de investigación de MATCOM. Dirección Postal: Calle 44 Entre 5 y 9 #949 Apto., San Agustín, La Lisa, La Habana, Cuba. Correo electrónico: yudy@matcom.uh.cu

7