Un esquema de recuperación de conceptos para describir colecciones de textos.

Transcripción

1 Un esquema de recuperación de conceptos para describir colecciones de textos. A concept retrieval scheme for describing text collections Tamara artín Wanton, Henry Anaya Sánchez, Aurora Pons Porrata Centro de Estudios de Reconocimiento de Patrones y inería de Datos (CERPAID), Universidad de Oriente, Patricio Lumumba s/n, Santiago de Cuba, CP {tmartin, henry, aurora}@csd.uo.edu.cu Resumen En este trabajo se propone un esquema general de recuperación de conceptos relevantes para la descripción de colecciones de textos. A partir del mismo se presentan además cinco modelos de recuperación no supervisados que son obtenidos usando a Wordet como repositorio de conceptos y diferentes métodos de ranking. La evaluación de los modelos es realizada en la tarea de Desambiguación del Sentido de las Palabras y en la descripción de colecciones de textos. Los resultados alcanzados son alentadores. Palabras claves: recuperación de conceptos, ranking de conceptos Abstract In this work we present a general concept retrieval scheme for describing text collections. From such a scheme, we derive five unsupervised retrieval models by using Wordet as concept repository and different ranking methods. The evaluation of the given models is performed in both the Word Sense Disambiguation and the description of text collection tasks. Obtained results are encouraging. Keywords: concept retrieval, ranking of concepts Introducción En la actualidad, la mayor parte del conocimiento humano se encuentra almacenado implícitamente en grandes colecciones de documentos digitales que son accesibles a través de la Web. Desafortunadamente, aún cuando se han

2 desarrollado herramientas capaces de indexar grandes volúmenes de documentos, el acceso preciso por parte de los usuarios a determinados contenidos resulta difícil, debido, en general, a la redundancia y poca organización de los mismos. Además, la mayoría de los contenidos se encuentran disponibles en documentos de texto que son codificados en Lenguaje atural, lo que dificulta una adecuada interpretación de los mismos por parte de los ordenadores. Con el propósito de tratar esta problemática, en la última década algunas áreas de investigación relacionadas con aplicaciones prácticas del Procesamiento del Lenguaje atural a la Recuperación de Información han adquirido notable desarrollo. Entre éstas podemos encontrar la Categorización y el Agrupamiento de Textos, la Construcción Automática de Resúmenes, la Extracción de Información, la Búsqueda de Respuestas, etc. Todas ellas se basan en elementos textuales simples, como términos o palabras, para representar los contenidos textuales. Por ejemplo, los lemas de las palabras de contenido (sustantivos, adjetivos, verbos o adverbios) del elemento textual que se representa (frase, cláusula, sentencia, documento, etc.), nombres de entidades compuestos, etc. Debido a que la selección de elementos de representación apropiados es crucial para el desempeño satisfactorio de estas tareas, en este trabajo se considera el uso de conceptos como elementos de representación de contenidos. Específicamente, se propone un esquema general de recuperación de conceptos relevantes para la descripción de elementos textuales a partir de una representación terminológica de los mismos. Se consideran conceptos en lugar de términos o palabras como elementos de representación de contenidos ya que éstos representan de manera no ambigua a objetos reales, eventos, actividades, etc. El esquema de recuperación propuesto usa un recurso ontológico como repositorio y fuente de representación de los conceptos, y un algoritmo de ranking. A partir del mismo, se presentan cinco modelos de recuperación que son obtenidos utilizando a Wordet como recurso ontológico y diferentes métodos de ranking. La evaluación de los modelos es realizada en la tarea de Desambiguación del Sentido de las Palabras y en la descripción de colecciones de textos. En la actualidad existen varias aplicaciones para sistemas de recuperación de conceptos. La más directa es la anotación semántica de textos con respecto a un recurso ontológico como Wordet, ULS en medicina, o Wikipedia. Específicamente, una tarea crucial para el desarrollo de la Web Semántica consiste en la anotación de

3 documentos de la Web con conceptos de un dominio ontológico. Según nuestro conocimiento, no existen ninguna aproximación independiente del dominio y general para la recuperación de conceptos. La mayoría de estos métodos de anotación usualmente se basan en técnicas de Extracción de Información que requieren un conjunto grande y específico de reglas construidas manualmente o un conjunto grande de entrenamiento para inducir las mismas. Como consecuencia, la limitación principal de estas métodos es que son dependientes del dominio y requieren de la intervención de expertos humanos. En este trabajo se resuelve el problema de la recuperación de conceptos como una tarea independiente del dominio y completamente no supervisada. Esquema general de recuperación de conceptos La arquitectura general del esquema de recuperación que se propone se muestra en la Figura. La misma consta de componentes fundamentales: extracción de conceptos candidatos y ranking de conceptos. En la primera, se selecciona un conjunto de conceptos candidatos a ser relevantes partiendo del conjunto de términos que conforman la consulta, y la segunda utiliza un algoritmo de ranking para ordenar los conceptos candidatos según su relevancia con la consulta. (Figura ) Con el objetivo de instrumentar el esquema, en este trabajo se propone el uso de signaturas de tópico como forma general de representación para los conceptos. La signatura de un tópico (Hovy y Lin 000) es un conjunto de la { } forma t, w, K, t n, w n, donde cada t i ( i {, K,n}, n ) es un término altamente correlacionado con el w tópico, que tiene asociado un peso i. En particular, se propone el uso de Wordet como fuente para la construcción de las signaturas además de cómo repositorio de conceptos. De esta manera, los términos que conforman la signatura de un concepto C de Wordet son aquellos que lexicalizan al concepto y a un conjunto de conceptos relacionados al mismo. Además, forman parte de la signatura los términos de los glosarios, los cuales son filtrados y lematizados. Teniendo en cuenta que no todas las relaciones de Wordet tienen la misma importancia, se usa un esquema de pesado en el cual el peso asociado a cada término depende de la relación que existe entre el concepto C y el concepto que lexicaliza a dicho término. 3

4 Extracción de conceptos candidatos a ser relevantes Dada una consulta, que esta formada por un conjunto de términos que son extraídos del elemento textual que se desea caracterizar conceptualmente, se seleccionan inicialmente todos los conceptos de Wordet en cuya signatura aparece al menos uno de estos términos. Debido a que este conjunto puede ser muy grande y que además puede contener conceptos con poca relevancia respecto al elemento textual que determina la consulta, se sugiere filtrarlo para extraer de él un conjunto de conceptos candidatos a ser relevantes siguiendo una heurística. Sea {t,..., t n } el conjunto de términos que representa la consulta. Un concepto recuperado C se considera candidato a ser relevante si satisface al menos una de las condiciones siguientes: i. C lexicaliza algún término t i ( i {, K,n} ) ii. C lexicaliza alguna colocación de Wordet que contenga al menos dos términos de la consulta. iii. Existen conceptos candidatos a ser relevantes C y C y una relación R en Wordet tal que distancia(r, C, C ) λ y distancia( R, C, C ) λ, donde el término distancia(r, C, C ) representa la longitud del camino mínimo entre C y C si consideramos a Wordet como un grafo cuyos vértices son los conceptos, y las aristas están dadas por las relaciones entre ellos. λ es un entero predefinido. Ranking de conceptos La segunda componente de nuestro esquema tiene como objetivo obtener un ranking de los conceptos candidatos a ser relevantes, de modo que el mismo ordene a dichos conceptos de acuerdo con su relevancia respecto a la consulta. Para la obtención de este ranking se tuvieron en cuenta varios modelos de Recuperación de Información y algoritmos de ranking basados en grafos. Sobre la base de los mismos se desarrollaron e implementaron extensiones para el caso de la recuperación de conceptos. Los modelos de Recuperación de Información considerados son: el odelo de Espacio Vectorial, el odelo Probabilístico B5 (Greengrass 000) y odelos de Lenguajes, debido a la efectividad de los mismos en sistemas de recuperación de información. En el caso de los algoritmos de ranking basados en grafos se tuvieron en cuenta al PageRank (Page, Brin, otwani y Winograd 998) y el algoritmo HITS (Dom, Chakabarti, Gibson, Kleinberg, Kumar, Raghavan, Rajagopalan y Tomkins 999). 4

5 La instrumentación de los modelos de Recuperación de Información considerados en nuestro esquema es directa debido a la representación en forma vectorial dada por las signaturas de tópico a los conceptos. Sin embargo, la instrumentación de los algoritmos de ranking basados en grafos requiere de algunos ajustes. Los algoritmos de ranking basados en grafos, son esencialmente una forma de decidir cuan importante es un vértice en un grafo. Para adaptar estos algoritmos a nuestro modelo se construyó un grafo completo no dirigido G = ( V, E), donde V es el conjunto de vértices formado por los conceptos candidatos a ser relevantes y E el conjunto de aristas, que son pesadas usando una medida de semejanza entre los conceptos correspondientes. En el caso del PageRank, se considera la versión usada en (ihalcea 006) que incluye, además de pesos para cada una de las aristas, una probabilidad d de disipación en caminos aleatorios. De esta manera, el ranking de conceptos R puede ser expresado de manera matricial para todo el grafo por medio de la siguiente ecuación en punto fijo: R = ( d ) ( d ) ( d ) / / / + l l d l ( V ) l ( V ) L l ( V ) ( V ) l ( V ) L l ( V ) ( V ) l ( V ) L l ( V ) O R donde es la cantidad de vértices del grafo y l ( V ) i j = k = w ij w kj. ij w representa la semejanza entre los conceptos dados por los vértices V i y V j. Habitualmente, la ecuación anterior suele resolverse empleando un método iterativo, pero debido a que la convergencia del mismo siempre se garantiza, se decidió calcular a R, como solución del siguiente sistema de ecuaciones lineales: I l l d l ( V ) l( V ) L l( V ) ( V ) l( V ) L l( V ) ( V ) l( V ) L l( V ) O = R ( d ) ( d ) ( d ) / / / 5

6 I donde es la matriz identidad de orden. Con esta transformación, se logró mayor eficiencia temporal en el cálculo. Analógamente, el ranking según el algoritmo HITS es calculado resolviendo el sistema: I l l l ( V ) l( V ) L l( V ) ( V ) l( V ) L l( V ) ( V ) l( V ) L l( V ) O R = 0 Evaluación La evaluación de los modelos de recuperación propuestos se realiza en las tareas de Desambiguación del Sentido de las Palabras y en la descripción de colecciones de textos. Evaluación mediante Desambiguación del Sentido de las Palabras Asumiendo que un buen modelo o método de recuperación de conceptos debe producir para una consulta un ranking bien fundado de conceptos, y que en los modelos de recuperación aquí presentados todos los sentidos de las palabras de una consulta son incluidos en el ranking, un método directo de evaluación de los modelos es mediante la tarea de desambiguación. En este trabajo consideramos que un ranking de conceptos recuperados para una consulta Q se dice bien fundado si cumple que: si existen conceptos que son sentidos de una palabra t Q, entonces aquellos que son los apropiados para el contexto Q deben aparecer primero en el ranking que los sentidos de t que no son correctos. En concreto, se propone la evaluación de un modelo teniendo en cuenta cuan apropiado es el primer sentido de cada palabra de la consulta que aparece en el ranking para desambiguarla. Para realizar tal evaluación, se emplearon colecciones de pruebas estándares de las competiciones internacionales SemEval-007 y Senseval-3. Específicamente aquellas correspondientes a la Tarea 7 (Coarse-grained English All-words Task) de SemEval-007, y a la tarea English All-words Task de Senseval

7 En cada caso la desambiguación se llevó a cabo al nivel de sentencia, es decir, se tomaron de cada sentencia los lemas de las palabras etiquetadas para la desambiguación y con ellos se construyó la consulta. Una vez obtenido el ranking de conceptos, se tomó como sentido correcto para cada palabra su primer sentido en el ranking. En el caso de la prueba con Senseval-3 solo consideramos a los verbos y sustantivos debido a que el mapping utilizado para traducir entre las versiones de Wordet.0 y. solo contaba con estas categorías de palabras. La Tabla muestra una comparación de los resultados en la desambiguación de nuestros modelos (señalados con letra negrita), con los resultados obtenidos por los sistemas no supervisados participantes en SemEval-007 (Agirre, arquez y Wicentowski 007). Como se puede apreciar, los modelos de recuperación de conceptos basados en modelos de recuperación de información, en general, obtuvieron mejores resultados que aquellos basados en algoritmos de ranking en grafos. En ambas colecciones de prueba el odelo de Espacio Vectorial resultó ser el mejor. La Tabla muestra una comparación de los resultados obtenidos con este modelo y algunos sistemas de la competición Senseval-3. (Tablas y ) Evaluación en la descripción de colecciones de textos Asumiendo que no existe una colección que incluya descripciones de elementos textuales basadas en conceptos para evaluar su recuperación, se usó un subconjunto compuesto por 4 tópicos de la colección TDT 3 para los cuales un anotador humano identificó conjuntos de conceptos relevantes de Wordet. a través de la condensación abstracta de cada tópico a un alto nivel de compresión. Además, se consideró que las medidas tradicionales del área de Recuperación de Información no eran apropiadas para efectuar la comparación de conjuntos de conceptos relevantes y recuperados, pues las mismas son incapaces de lidiar con la relación de subsunción entre conceptos, que es esencial cuando se opera con abstracciones. De acuerdo con lo anterior, se propuso una extensión de la medida tradicional de relevancia de recuperación de información, que se definió como la razón entre el número de conceptos relevantes (identificados manualmente) que son subsumidos 3 7

8 por conceptos recuperados, y el número de conceptos relevantes. La relación de hiperonimia de Wordet fue considerada como la relación de subsunción. Como el objetivo es dar una evaluación para los rankings obtenidos, se empleó la medida Relevancia ormalizada (del término en inglés ormalized Recall), que usa la extensión de relevancia propuesta. En este experimento el valor promedio de relevancia (de los cinco modelos) obtenido en los 4 tópicos considerados fue de 0.47, el cual es aceptable si consideramos la dureza de esta tare. Es necesario mencionar que tareas como la construcción de resúmenes muy cortos de conjuntos de documentos en la competición DUC, o la notación de productos genéticos en BioCreAtIvE 4, reportan valores de relevancia por debajo de Sin embargo, no podemos comparar directamente esos resultados con los obtenidos en este trabajo pues las colecciones son distintas. Se debe aclarar en este caso que la recuperación de conceptos se lleva a cabo a partir de consultas que contienen los términos más frecuentes de un tópico, que no necesariamente constituyen los conjuntos de términos ideales para obtener las descripciones conceptuales apropiadas de los tópicos. Por otra parte, debido a que Wordet. no contiene todas las entidades que se tratan en los tópicos que se evalúan (por ejemplo, onica Lewinsky, Oprah Winfrey, China Airlines, etc.), y que además son importantes para las descripciones, se realizó una extensión de esta versión de Wordet para incluirle conceptos que las representen. Conclusiones En este trabajo se presentaron un esquema y cinco modelos no supervisados para la recuperación de conceptos relevantes a partir de elementos textuales. Los mismos pueden ser vistos como la base de una primera aproximación a la descripción ontológica de documentos y colecciones de textos. El repositorio usado para la recuperación fue la base de datos léxica Wordet (versión.). A partir de la misma, se propuso una representación genérica para los conceptos, que tuvo forma de signaturas de tópicos. Los modelos propuestos se basan en modelos tradicionales de Recuperación de Información y en algoritmos de ranking basados en grafos. En el caso de estos últimos, se diseñó e implementó un método de cálculo de los mismos más eficiente, que se obtuvo de transformaciones algebraicas de la especificación matricial de ambos

9 La evaluación de los modelos fue realizada en la tarea de Desambiguación del Sentido de las Palabras y en la descripción de colecciones de textos. Los resultados obtenidos son alentadores. Como trabajo futuro, proponemos que se consideren repositorios de conceptos de mayor diversidad (ej. Wikipedia), y que se investiguen otras formas de relacionar conceptos con el objetivo de mejorar los resultados de los algoritmos de ranking basados en grafos. Referencias Agirre, E., arquez, L., Wicentowski, R.: SemEval 007, Proceedings of the 4th International Workshop on Semantic Evaluations. Prague, The Association for Computational Linguistics, 007. Buscaldi, D., Rosso, P. y asulli, F. The upv-unige-ciaoseso WSD system. Senseval-3: Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text :77-8. Greengrass, E. Information Retrieval: A Survey IR Report, Hovy, E. and Lin, C. The Automated Acquisition of Topic Signatures for Text Summarization. In Proceedings of the COLIG Conference. 000 Page, L., Brin, S., otwani, R. and Winograd, T. The PageRank Citation Ranking: Bringing Order to the Web. Technical report, Stanford Digital Library Technologies Project Litkowski, K. Senseval-3 task: Automatic labeling of semantic roles. Senseval-3: Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text :4-46. avigli, R. y Velarde, P. Structural semantic interconnection: a knowledge-based approach to Word Sense Disambiguation. Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text :79-8 ihalcea, R. Random Walks on Text Structures. In Proceedings of 7th Conference on Computational Linguistics and Intelligent Text Processing

10 Ramakrishnan, G., Prithviraj, B. and Bhattacharya, P. A gloss-centered algorithm for disambiguation. Senseval-3: Third International Workshop on the Evaluation of Systems for the Semantic Analysis of Text :7-. Consulta Extracción de Conceptos Candidatos Signaturas Ranking de Conceptos Wordet Conceptos Relevantes ordenados según el ranking Figura : Arquitectura general del Esquema de Recuperación de Conceptos Relevantes. Tabla : Resultados en la tarea Coarse-grained de SemEval-007. Sistemas Relevancia Sistemas Relevancia UPV-WSD 0,786 PageRank 0,648 TKB-UO 0,70 B- 5 0,64 odelo de Espacio Vectorial 0,659 HITS 0,63 odelos de Lenguaje 0,657 SUSSX-FR 0,5 RACAI-SYWSD 0,657 UOFL 0,487 Tabla : Algunos resultados en la tarea All-words de Senseval-3. (Buscaldi, Rosso y asulli 004) Sistemas Categoría Relevancia (Litkowski 004) (avigli y Velarde 004) (Ramakrishnan, Prithviraj y Bhattacharya 004) odelo de Espacio Vectorial Verbos Sustantivos Verbos Sustantivos Verbos Sustantivos 0,340 0,5 0,36 0,53 0,35 0,447 Sustantivos y Verbos 0,9 Verbos Sustantivos Sustantivos y Verbos 0,66 0,443 0,363 0