Integración de conocimiento en un dominio específico para categorización multietiqueta

Transcripción

1 Proesamiento del Lenguaje Natural, nº39 (2007), pp reibido ; aeptado Integraión de onoimiento en un dominio espeífio para ategorizaión multietiqueta María Teresa Martín Valdivia Universidad de Jaén Campus Las Lagunillas, Edif. A3. E Manuel Carlos Díaz Galiano Universidad de Jaén Campus Las Lagunillas, Edif. A3. E Arturo Montejo Ráez Universidad de Jaén Campus Las Lagunillas, Edif. A3. E L. Alfonso Ureña López Universidad de Jaén Campus Las Lagunillas, Edif. A3. E Resumen: En este artíulo se presenta un estudio sobre el uso e integraión de una ontología en un orpus biomédio. Nuestro objetivo es omprobar ómo afetan distintas maneras de enriqueimiento e integraión de onoimiento sobre un orpus de dominio espeífio uando se aplia sobre un sistema de ategorizaión de textos multietiqueta. Se han realizado varios experimentos on distintos tipos de expansión y on diferentes algoritmos de aprendizaje. Los resultados obtenidos muestran una mejora en los experimentos que realizan expansión sobre todo en los asos en los que se utiliza el algoritmo SVM. Palabras lave: Ontología MeSH, orpus biomédio (CCHMC), ategorizaión multietiqueta, integraión de onoimiento, aprendizaje automátio Abstrat: In this paper, we present a study on the integration of a given ontology in a biomedial orpus. Our aim is to verify the effet of several approahes for textual enrihment and knowledge integration on a domain-speifi orpus when dealing with multi-label text ategorization. The different reported experiments vary the expansion strategy used and the set of learning algorithms onsidered. Our results show that for SVM algorithm the expansion performed produes best results in any ase. Keywords: MeSH ontology, biomedial orpus (CCHMC), multi-label text ategorization, knowledge integration, mahine learning. 1 Introduión Las ténias de proesamiento de lenguaje natural se están apliando ada vez on mayor efiienia en el dominio biomédio. Muhas investigaiones reientes exploran el uso de ténias de proesamiento de lenguaje natural apliadas al dominio biomédio (Karamanis 2007, Müller et al 2006). La neesidad de etiquetar y ategorizar automátiamente textos médios se hae ada vez más evidente. Es innegable la importania en la investigaión y desarrollo de sistemas de búsqueda y reuperaión de informaión en el dominio de la biomediina que failiten la tareas de los espeialistas dando soporte y ayuda en su trabajo diario. En este trabajo se presenta un estudio sobre la influenia en un sistema de ategorizaión de una ontología espeífia del dominio biomédio: la ontología MeSH (MeSH 2007). Conretamente, se ha utilizado diha ontología para expandir los términos de un doumento que se quiere ategorizar on el fin de mejorar los resultados sobre un sistema ategorizador multi-etiqueta. Pensamos que la inorporaión de onoimiento mediante la integraión de reursos tales omo las ontologías puede ISSN: Soiedad Española para el Proesamiento del Lenguaje Natural

2 María Teresa Martín Valdivia, Manuel Carlos Díaz Galiano, Arturo Montejo Ráez y L. Alfonso Ureña-López mejorar signifiativamente los resultados obtenidos on los sistemas de informaión. Por otra parte, para llevar a abo la experimentaión se han utilizado distintas onfiguraiones tanto de algoritmos de aprendizaje automátio utilizados omo de parámetros para ada uno de ellos. Conretamente, se ha utilizado el algoritmo SVM (Support Vetor Mahine), una red neuronal tipo pereptrón denominada PLAUM y el algoritmo de regresión bayesiana BBR. Los experimentos muestran que el uso de SVM mejora los resultados prátiamente en todos los asos. El artíulo se organiza de la siguiente manera: en primer lugar, se desribe brevemente la tarea de ategorizaión de textos multietiquetados así omo el sistema ategorizador utilizado TECAT. A ontinuaión, se presentan los dos reursos biomédios integrados (el orpus CCHMC y la ontología MeSH). En la siguiente seión se muestran los experimentos y resultados obtenidos. Finalmente, se omentan las onlusiones y trabajos futuros. 2 Categorizaión multietiqueta La asignaión automátia de palabras lave a los doumentos abre nuevas posibilidades en la exploraión doumental (Montejo, 2004), y su interés ha despertado a la omunidad ientífia en la propuesta de soluiones. La disiplina de reuperaión de informaión, junto on las ténias de proesamiento del lenguaje natural y los algoritmos de aprendizaje automátio son el substrato de donde emergen las áreas de Categorizaión Automátia de Textos (Sebastiani, 2002). En esta última área de investigaión es donde se enmara el presente trabajo y donde vierte sus prinipales aportaiones. En la lasifiaión de doumentos se distinguen tres asos: 1. Clasifiaión binaria. El lasifiador debe devolver una de entre dos posibles ategorías, o bien una respuesta SI/NO. Estos son los sistemas más simples, y al mismo tiempo los sistemas más onoidos en Aprendizaje Automátio. 2. Clasifiaión multi-lase. En este aso el lasifiador debe proporionar una ategoría de entre varias propuestas. Este sistema puede basarse en el anterior. 3. Clasifiaión multi-etiquetado. El doumento se etiqueta no on una únia lase, omo en el aso anterior, sino que puede tomar varias de entre las ategorías disponibles. Es el problema más omplejo, pero puede simplifiarse si utilizamos lasifiadores binarios uya repuesta pueda ombinarse (por ejemplo, mediante un ranking de lases) o entrenando sobre ada lase un lasifiador binario de repuesta SI/NO (omo el sistema que se desribe en este trabajo). Hemos utilizado el software TECAT 1, que implementa un algoritmo para la lasifiaión multi-etiqueta basado en lasifiadores base binarios. El algoritmo usado se muestra a ontinuaión (Algoritmo 1), y onsiste en entrenar un lasifiador binario para ada lase seleionando aquel que mejor rendimiento aporta dada una medida de rendimiento sobre el que se evalúa al lasifiador. Además, aquellas lases para las que no es posible entrenar un lasifiador on un rendimiento mínimo se desarta. Entrada: - un onjunto D t de doumentos multietiquetados para entrenamiento - un onjunto D v de doumentos de validaión - un umbral sobre la una medida de evaluaión determinada - un onjunto L de posibles etiquetas (lases) - un onjunto $C$ de lasifiadores binarios andidatos Salida: - un onjunto C = {1,..., k,..., L } de lasifiadores binarios entrenados Pseudo-ódigo: C ø Para-ada l i en L: T ø Para-ada j en C: entrena( j, l i, D t ) T T { j } Fin-para-ada $ mejor mejor(t, D v ) Si evalua( mejor ) > C C { mejor } Fin-si Fin-para-ada Algoritmo 1. Entrenamiento de lasifiadores base 1 Disponible en 64

3 Integraión de Conoimiento en un Dominio Epeífio para Categorizaión Multietiqueta 3 Reursos utilizados Nuestro objetivo prinipal onsiste en estudiar la influenia que tiene el uso de una ontología média sobre un orpus biomédio uando se desea desarrollar un sistema automátio de ategorizaión de textos multi-etiquetados. Para ello, hemos utilizado dos reursos que desribimos a ontinuaión. 3.1 Corpus CCHMC Se trata de un orpus desarrollado por The Computational Mediine Center 2. Diho orpus inluye registros médios anónimos reopilados en el departamento de radiología del Hospital infantil de Cininnati (the Cininnati Children s Hospital Medial Center s Department of Radiology CCHMC) (CMC, 2007). La oleión está formada por 978 doumentos onsistentes en informes radiológios que están etiquetados on ódigos del ICD-9-CM 3 (Internaional Classifiation of Diseases 9th Revision Clinial Modifiation). Se trata de un atálogo de enfermedades odifiadas on un número de 3 a 5 dígitos on un punto deimal después del terer dígito. Los ódigos ICD-9-CM están organizados de manera jerárquia en los que se agrupan varios ódigos onseutivos en los niveles superiores. El número de ódigos asignados a ada doumento varía de 1 a 7. La Tabla 1 muestra la distribuión del número de etiquetas por doumento. El total de etiquetas distintas utilizadas en la oleión es 142. Clases Doumentos Tabla 1. Número de lases asignadas por doumento La Figura 1 muestra un ejemplo de doumento. Como se puede observar, la antidad de informaión suministrada en ada doumento es muy esasa pero muy relevante y bien estruturada. La oleión se enuentra anotada manualmente por tres expertos. Por lo tanto, en ada doumento existen tres onjuntos de anotaiones, una por ada uno de los expertos. Adiionalmente, se ha añadido un onjunto de etiquetas que unifia la mayoría de los tres expertos. Por otra parte, ada informe ontiene dos partes de texto fundamentales: la historia línia y la impresión o diagnóstio del médio. 3.2 Ontología MeSH La ontología MeSH 4 (Medial Subjet Headings) está desarrollada y mantenida por la National Library of Mediine y se utiliza omo herramienta de indexaión y búsqueda en temas <do id=" " type="radiology_report"> <odes> <ode origin="cmc_majority" type="icd-9-cm">786.2</ode> <ode origin="company3" type="icd-9-cm">786.2</ode> <ode origin="company1" type="icd-9-cm">204.0</ode> <ode origin="company1" type="icd-9-cm">786.2</ode> <ode origin="company1" type="icd-9-cm">v42.81</ode> <ode origin="company2" type="icd-9-cm">204.00</ode> <ode origin="company2" type="icd-9-cm">786.2</ode> </odes> <texts> <text origin="cchmc_radiology" type="clinical_history"> Eleven year old with ALL, bone marrow transplant on Jan. 2, now with three day history of ough.</text> <text origin="cchmc_radiology" type="impression"> 1. No foal pneumonia. Likely hroni hanges at the left lung base. 2. Mild anterior wedging of the thorai vertebral bodies.</text> </texts> </do> Figura 1. Ejemplo de doumento de la oleión CCHMC

4 María Teresa Martín Valdivia, Manuel Carlos Díaz Galiano, Arturo Montejo Ráez y L. Alfonso Ureña-López relaionados on la mediina y la salud. Consiste en un onjunto de unos términos denominados desriptores que se enuentran distribuidos de manera jerárquia permitiendo la búsqueda a varios niveles de utilizado la ontología MeSH para expandir, on informaión média dihos doumentos. Se pretende inorporar informaión de alidad que ayude a mejorar la ategorizaión de doumentos. Doumento Fever x5 days. Findings onsistent with viral or reative airway disease. MeSH ul sl ll Expansión ul Fever x5 days. Findings Expansión onsistent sl with viral or reative airway disease. Fever x5 days. pathologi_proesses Findings Expansión onsistent ll with viral body_temperature_hanges or reative airway disease. Fever x5 days. genomi_instability Findings Expansión onsistent ul-ll with viral aantholysis or reative airway disease. hyperplasia Fever x5 days. fever_of_unknown_origin growth disorders Findings onsistent with viral syndrome or reative airway disease. sweating_sikness pathologi_proesses fever_of_unknown_origin body_temperature_hanges syndrome Figura 2. Estrategias de expansión on MeSH espeifiidad. Un desriptor puede apareer en varias ramas. Existen varios estudios que demuestran que el uso y la integraión de informaión proedente de ontologías y reursos on un voabulario ontrolado, puede mejorar signifiativamente los sistemas de tratamiento de informaión (Chevallet, Lim y Radhouani, 2006, Guyot, Radhouani, y Falquet, 2005, Navigli, Velardi y Gangemi, 2003). Conretamente, nosotros haremos uso de la ontología MeSH on el fin de expandir los doumentos del orpus CCHMC que se desean ategorizar. De esta manera, se pretende inorporar onoimiento a la oleión utilizada on el fin de mejorar los resultados en un sistema de ategorizaión multietiqueta. 4 Desripión de los experimentos 4.1 Expansión on MeSH Debido a que la antidad de informaión en ada doumento de la oleión es esasa, se ha 4 Sin embargo, el uso indisriminado de todos los términos extraídos de la ontología pueden empeorar los resultados puesto que inorporarían demasiado ruido. Así se pone de manifiesto por ejemplo en (Chevallet, Lim y Radhouani, 2006) donde se demuestra que seleionar aquellas ategorías de MeSH más aordes a la temátia de los doumentos, mejora la alidad de la expansión. Con el fin de limitar el número de términos expandidos, se ha filtrado el número de ategorías utilizadas para realizar la expansión. Así, aunque el primer nivel de MeSH inluye 16 ategorías generales, se han seleionado solo las siguientes tres: A: Anatomy C: Diseases E: Analytial, Diagnosti, and Therapeuti Tehniques and Equipment El motivo para elegir preisamente estas tres ategorías es que el orpus inluye asos línios de niños on enfermedades relaionadas on el aparato respiratorio por lo 66

5 Integraión de Conoimiento en un Dominio Epeífio para Categorizaión Multietiqueta que dihas ategorías deberían inluir la mayoría de los términos usados en el orpus. Al realizar la expansión se busa el primer nodo de la ontología que oinide on la palabra a expandir. Una vez enontrado el nodo, la seleión de términos que formarán parte de la seleión se puede realizar de tres maneras distintas (ver Figura 2): Upper level (ul): se seleiona el término que está en un nivel superior a diho nodo, es deir, el nodo padre. Same level (sl): se seleiona los términos que están al mismo nivel que diho nodo, es deir, los nodos hermanos. Lower level (ll): se seleionan los términos inmediatamente inferiores de diho nodo, es deir, los nodos hijos. Las palabras existentes dentro de los nodos seleionados para formar parte de la expansión, han sido onsideradas omo entidades. Por lo tanto, si un nodo ontiene una multipalabra (varias palabras separadas por espaios), dihas palabras se han inluido en la expansión formando un únio término. Con el fin de realizar un estudio para omprobar el omportamiento del sistema on varios tipos de expansión, se han diseñado distintas ombinaiones on las tres expansiones anteriores. De esta forma, se han generado expansiones del tipo: ul+sl, ul+ll, ul+sl+ll En la primera olumna de la tabla 3 se pueden ver todas las expansiones realizadas. 4.2 Configuraiones de TECAT Una vez realizada la expansión, ada experimento se ha realizado ajustando los distintos parámetros de TECAT: Se han eliminado las palabras vaías (stop-words). Se han obtenido las raíes de las palabras usando el stemmer de Porter (Porter 1980). Se han filtrado las araterístias así obtenidas mediante ganania de informaión (Shannon 1948), limitándonos a onsiderar 50,000 araterístias. Se ha usado un pesado según el esquema TD.IDF. Se ha normalizado usando la funión oseno. Debido a que TECAT nos permite apliar varios algoritmos al mismo tiempo, hemos estudiado las onfiguraiones siguientes: SVM-multi india que se han pasado a TECAT varias onfiguraiones simultáneas del algoritmo SVM (Joahims, T., 1998). Estas onfiguraiones son aquellas que dan un peso adiional a los ejemplos positivos (normalmente esasos) on los valores 1, 2, 5, 10 y 20, es deir, 5 onfiguraiones diferentes de SVM que TECAT usará omo lasifiadores base independientes. PLAUM-multi india, también, varias onfiguraiones para el pereptrón PLAUM (Y. Li et al., 2002) on pesados para ejemplos positivos en {0, 1, 10, 100} y pesados para negativos en {-10, -1, 0, 1}. Esto implia pasar a TECAT 16 onfiguraiones diferentes de PLAUM simultáneamente. BBR-multi. De forma similar a los anteriores, aquí el algoritmo BBR (A. Genkin et al., 2006) ha sido parametrizado on valores de umbral {0, 1, 2, 3, 4, 5} y valores de utilidad {0, 1, 2, 3}, si bien no se han analizado las ombinaiones de todos ellos, por lo que las onfiguraiones onsideradas han sido 10 para este algoritmo. Las onfiguraiones en las que intervienen varias algoritmos ombinados han sido realizadas, bien usando la simple de ada uno de ellos, bien la ombinaión de las múltiples parametrizaiones omentadas en ada uno de estos algoritmos. 5 Evaluaión Para evaluar los resultados se han usado validaión ruzada en 10 partiiones. Es deir, se ha dividido la oleión en 10 partiiones diferentes. Se ha ido alternativamente tomando una partiión para test y el resto para entrenamiento. Los resultados finales de evaluaión se alulan haiendo el promedio de ada ejeuión orrespondiente a ada partiipaión. De esta forma se redue el efeto que la seleión de un determinado grupo de doumentos para entrenamiento o evaluaión pudiera tener sobre el resultado final. 67

6 María Teresa Martín Valdivia, Manuel Carlos Díaz Galiano, Arturo Montejo Ráez y L. Alfonso Ureña-López Con las respuestas de un sistema de lasifiaión automátio, y disponiendo de las prediiones reales que un experto humano asignaría, podemos onstruir la siguiente tabla de ontingenia: El sistema die SI El sistema die NO SI es orreto A C Tabla 2. Contingenias. NO es orreto B Las medidas onsideradas son preisión (P), obertura (R) y F1, siendo ésta última la que nos da una visión más ompleta del omportamiento del sistema. Estas medidas han sido obtenidas mediante miro-averaging, es deir, alulando los aiertos y fallos en ada lase de forma aumulativa y alulando los valores finales sobre dihos valores aumulados, tal y omo se refleja en las euaiones siguientes a partir de las medidas orrespondientes según la tabla de ontingenia anterior: A C P A B R F1 C C C A C A C P R 2 P R Los resultados obtenidos se pueden observar en las tablas 3, 4, 5 y 6. Como se puede observar, la integraión de la ontología MeSH mejora prátiamente en todos los asos exepto para el aso de PLAUM, si bien on el algoritmo SVM es on el que la mejora es mayor. De heho, omo se muestra en la tabla 3, on la onfiguraión SVM-multi se obtienen los mejores resultados independientemente del tipo de expansión realizada. Si observamos los resultados desde el punto de vista de la expansión de los doumentos, el método on unos resultados más homogéneos es el que realiza la expansión on los nodos padre (ul). Con este tipo de expansión se C D obtienen términos más generales que pueden onsiderarse omo puntos en omún entre doumentos. En uanto a los algoritmos de aprendizaje utilizados, se puede observar que la expansión funiona en todos los asos exepto on la red neuronal PLAUM uyos resultados son mejores sin ningún tipo de expansión. Tipo de Expansión SVM simple SVM-multi ll 0, ,7675 ul 0, ,7957 sl 0, ,7697 ul-ll 0, ,7766 ul-sl 0, ,7669 ul-sl-ll 0, ,7557 Sin expansión 0, ,7699 Tabla 3. Expansión on SVM Tipo de Expansión BBR simple BBR multi ll 0,7290 0, ul 0,7267 0, sl 0,7400 0, ul-ll 0,7314 0, ul-sl 0, , ul-sl-ll 0,7253 0, Sin expansión 0,7250 0, Tabla 4. Expansión on BBR Tipo de Expansión PLAUM simple PLAUM multi ll 0,7284 0,7228 ul 0,7233 0,7372 sl 0,7163 0,7262 ul-ll 0,7230 0,7263 ul-sl 0,7213 0,7210 ul-sl-ll 0,7177 0,7206 Sin expansión 0,7323 0,7311 Tabla 5. Expansión on PLAUM 68

7 Integraión de Conoimiento en un Dominio Epeífio para Categorizaión Multietiqueta Tipo de Expansión SVM-BBR- PLAUM simple SVM-BBR- PLAUM multi ll 0,7562 0,7490 ul 0,7704 0,7814 sl 0,7642 0,7633 ul-ll 0,7611 0,7757 ul-sl 0,7513 0,7719 ul-sl-ll 0,7569 0,7479 Sin expansión 0,7478 0,7682 Tabla 6. Expansión ombinando los tres algoritmos utilizados 6 Conlusiones y trabajos futuros. En este trabajo se ha presentado un estudio en ategorizaión multietiqueta enriqueiendo e integrado onoimiento. Para ello, se expande el orpus utilizado (CCHMC) en el proeso de ategorizaión multietiqueta, on la ontología média MeSH. Para realizar el estudio se ha utilizado un ategorizador multi-etiqueta TECAT disponible libremente y que permite la onfiguraión y utilizaión simultánea de varios algoritmos de aprendizaje. Nuestro trabajo utiliza SVM, PLAUM y BBR además de una ombinaión de ellos. Los resultados muestran la onvenienia de integrar onoimiento externo proeden de una ontología espeífia biomédia. Sin embargo, las diferenias entre los distintos tipos de algoritmos utilizados no son exesivamente signifiativas. En el futuro se pretende estudiar el uso de otros tipos de expansión utilizando diha ontología, omo por ejemplo la seleión automátia de las ategoría que se utilizan para expandir, o el uso de sinónimos y palabras similares en lugar de nodos padres y/o hijos. Además se intentarán apliar estas ténias de expansión a otro tipo de tareas textual para omprobar el rendimiento de diha ténia. 7 Agradeimientos Este trabajo ha sido parialmente finaniado por el Ministerio de Cienia y Tenología a través del proyeto TIMOM (TIN C06-03). Bibliografía Chevallet, J. P., J. H. Lim y S. Radhouani A Strutured Visual Learning Approah Mixed with Ontology Dimensions for Medial Queries. Leture Notes in Computer Siene. Volume 4022/2006. Pages CMC The Computational Mediine Center s 2007 Medial Natural Language Proessing Challenge. Disponible en hallenge/mchallengedetails.pdf Genkin, A., D.D. Lewis and D. Madigan Large-Sale Bayesian Logisti Regression for Text Categorization. Tehnometris Guyot, J., Radhouani, S., y Falquet, G Ontology-based multilingual information retrieval. In CLEF Workhop, Working Notes Multilingual Trak, Vienna, Austria, September Joahims, T Text ategorization with support vetor mahines: learning with many relevant features. Proeedings of ECML-98, 10th European Conferene on Mahine Learning, N. 1398, Springer Verlag, pp Karamanis, N Text Mining for Biology and Biomediine. Computational Linguistis. Volume 33. Pages Li, Y., H. Zaragoza, R. Herbrih, J. Shawe- Taylor y J. Kandola The Pereptron Algorithm with Uneven Margins. Proeedings of the International Conferene of Mahine Learning (ICML2002). MeSH Medial Subjet Headings. Aesible desde la página web: Montejo-Ráez, A. y R. Steinberger Why keywording matters. High Energy Physis Libraries Webzine. Num. 10. Diiembre. Müller, H., T. Deselaers, T. Lehmann, P. Clough y W. Hersh Overview of the ImageCLEFmed 2006 medial retrieval and annotation tasks. Evaluation of Multilingual and Multi-modal Information Retrieval Seventh Workshop of the Cross-Language Evaluation Forum, CLEF LNCS Navigli, R. Velardi, P. y Gangemi, A., Ontology learning and its appliation to automated terminology translation. Intelligent Systems, volume 18, issue 1, pp

8 María Teresa Martín Valdivia, Manuel Carlos Díaz Galiano, Arturo Montejo Ráez y L. Alfonso Ureña-López Porter, M An Algorithm for Suffix Stripping. Program,Vol. 14 (3), pp , Sebastiani, F Mahine learning in automated text ategorization. ACM Computing Survey, Vol. 34, Num. 1, pp Shannon, C. E A mathematial theory of ommuniation. Bell System Tehnial Journal, vol. 27, pp y