CATEGORIZACIÓN AUTOMÁTICA DE DOCUMENTOS UTILIZANDO MAPAS AUTO-ORGANIZADOS DE KOHONEN Proyecto de Tesis de Magíster en Ingeniería del Software

Transcripción

1 CATEGORIZACIÓN AUTOMÁTICA DE DOCUMENTOS UTILIZANDO MAPAS AUTO-ORGANIZADOS DE KOHONEN Proyecto de Tesis de Magíster en Ingeniería del Software Maestrando: Lic. Daniel Goldenberg Director: Dr. Ramón García Martínez 1. INTRODUCCIÓN La Categorización de Documentos (Document Clustering) puede definirse como la tarea de separar los documentos en consideración en grupos en los que sus elementos guarden afinidad. El criterio de agrupamiento se basa en las similitudes existentes entre los documentos que pertenecen a cada grupo [Kaufmann et al., 1990]. La categorización previa de todos los documentos disponibles se ha investigado como una forma de mejorar el rendimiento de los motores de búsqueda de información [Van Rijsbergen, 1979; Dunlop y Van Rijsbergen, 1991; Faloutsos y Oard, 1995; Yolis et al., 2003]. Debido al incremento en los volúmenes de información disponibles en forma electrónica y a la necesidad cada vez mayor de encontrar la información buscada en un tiempo mínimo, éstas técnicas han estado recibiendo creciente atención [Hearst y Pedersen, 1996; Zamir y Etzioni, 1999; Strehl et al., 2000; Maarek et al., 2000]. Otro enfoque de la categorización automática consiste en usar éstas técnicas luego de la búsqueda, agrupando los resultados para hacer más fácil su revisión por parte del usuario final [Croft, 1978; Cutting et al., 1992; Allen et al., 1993; Leousky y Croft, 1996]. El relevamiento efectuado en internet en buscadores institucionales [Biblioteca Británica, 2003; Biblioteca Nacional Argentina, 2003; Biblioteca Nacional de España, 2003; Biblioteca Nacional de Maestros, 2003; Library of Congress, 2003; National Library of Australia, 2003; National Library of Scotland, 2003; Library and Archives of Canada, 2003] indica que en la práctica, la utilización de la técnica de categorización no es lo habitual al realizar búsquedas de documentos. Esto ocasiona que el usuario reciba como resultado una lista de documentos que, según la clave de búsqueda utilizada, podría ser muy extensa y como consecuencia pueda ser muy difícil encontrar el documento que se necesita. El mismo relevamiento indica que en los casos en que se hace uso de la técnica de categorización, el resultado de la búsqueda no es totalmente satisfactorio siendo todavía difícil encontrar el documento que se necesita y en algunos casos con un tiempo de respuesta poco satisfactorio. En este contexto, surge como área de interés la exploración de nuevas tecnologías que permitan obtener mejores resultados en el proceso de categorización de documentos tanto por la calidad del mismo como por el tiempo de respuesta. 2 ESTADO DE LA TECNOLOGÍA Los métodos de categorización automática de documentos se basan en la premisa de que documentos similares contienen palabras (términos) similares. Los algoritmos tradicionales para la categorización de documentos pueden dividirse en dos categorías: jerárquicos y no jerárquicos [Rasmussen, 1992]. 1

2 Los métodos jerárquicos consiguen la categorización final mediante la separación (métodos divisivos) o la unión (métodos aglomerativos) de grupos de documentos. Así, estos métodos generan una estructura en forma de árbol en la que cada nivel representa una posible categorización de los documentos [Willet, 1998]. Los algoritmos de categorización jerárquicos son determinísticos (dado un conjunto de documentos, generan siempre la misma categorización), y no preveen la reasignación de un documento que ya fue incluido en un grupo. Los métodos no jerárquicos, también llamados de optimización, no producen una serie de grupos anidados, sino que llegan a una única categorización que optimiza un criterio predefinido o función objetivo [Everitt, 1993]. Los algoritmos comienzan con una partición inicial de los documentos y luego van reasignando los mismos entre los grupos hasta que se cumpla la condición de fin. La mayoría de los métodos utilizan una partición inicial aleatoria, aunque algunos tratan de generarla con algún método que intente conseguir grupos disímiles entre si [Anderberg, 1973]. En general, la efectividad de la técnica de optimización está fuertemente influenciada por la partición inicial. Una de las características principales del problema de la categorización de documentos es su naturaleza combinatoria [Duran y Odell, 1974; Pentakalos et al., 1996]. Para un problema de dimensiones reales, el uso de un algoritmo determinístico que evalúe cada una de las posibles categorizaciones lleva a tiempos de cómputo inaceptables. Para el caso de los algoritmos de optimización, la partición aleatoria elegida situará al algoritmo en un sector particular del espacio de soluciones. Se estima que el uso de los llamados mapas autoorganizados de Kohonen (en inglés, Kohonen selforganized maps) puede contribuir a mejorar la calidad de los resultados de la categorización así como a disminuir los tiempos de resolución del problema. Los mapas autoorganizados de Kohonen imponen restricciones en las vecindades de las unidades de procesamiento de información de salida, de modo que una propiedad topológica en los datos de entrada se refleja en los pesos de los elementos de salida [Hilera y Martínez, 1995; Jang et al., 1997; García-Martinez et al., 2003]. 3. IDENTIFICACIÓN DEL PROBLEMA Cuando se realizan búsquedas sobre un gran volumen de documentos, la cantidad de resultados puede ser muy grande. En los sitios de internet relevados, correspondientes a catálogos de bibliotecas, la lista de resultados se presenta sin ningún tipo de categorización. En este caso, el usuario del sistema se ve obligado a revisar todos los documentos descartando aquellos que no son relevantes para él; si los resultados se agrupan, la hipótesis del agrupamiento indica que los documentos del mismo grupo serán relevantes para una subconsulta más específica que la original. De esta forma, los documentos quedarán separados en grupos temáticos (los grupos son una división de los documentos originales, y cada grupo responde a una subconsulta más específica dentro del tema buscado) [Rüger et. al., 2000; Yolis, 2003]. Así, con sólo revisar uno o dos documentos de cada grupo, el usuario podrá determinar cuál es el subtema al que responden todos los documentos del grupo, pudiendo descartar rápidamente los documentos irrelevantes para su búsqueda. [Croft, 1978; Cutting et al., 1992; Allen et al., 1993; Leousky y Croft, 1996; Maarek et al., 2000; Yolis et al., 2003]. 2

3 4. OBJETIVOS Definir un marco teórico para determinar las estructuras de información y operadores que debe usar un mapa autoorganizado de Kohonen para que pueda aplicarse al problema de la categorización automática de documentos. Especificar, diseñar, implementar y evaluar un método de categorización automática de documentos que incorpore a los mapas autoorganizados de Kohonen para conseguir una solución al problema planteado. Determinar la calidad de las soluciones obtenidas mediante la aplicación del nuevo método, utilizando medidas de evaluación apropiadas que permitan compararlas con resultados previos. 5. ESBOZO DE LA SOLUCIÓN Se desarrollará una herramienta que realice una categorización automática de documentos, la misma estará basada en la tecnología de los mapas autoorganizados de Kohonen. El sistema asistirá al usuario que necesite realizar búsquedas sobre documentos de modo que el resultado de la búsqueda aparezca categorizado en forma correcta y en un tiempo razonable, ayudando así a que el usuario encuentre fácilmente el documento buscado. 6. PLANIFICACIÓN TENTATIVA 5.1. Estudio de las posibles estructuras de datos y operadores de los mapas autoorganizados de Kohonen para determinar la forma en la que mejor puedan adaptarse al problema de categorización automática de documentos. Tiempo estimado: 75 días Análisis, diseño y desarrollo de un ambiente que soporte un método de categorización automática de documentos que utilice a los mapas autoorganizados de Kohonen como base para obtener las soluciones. Diseño y desarrollo de un método que permita evaluar la calidad de las soluciones obtenidas. Se procederá de acuerdo las etapas propuestas por la metodología Métrica 3, de acuerdo al siguiente detalle: Fase 0: Plan de sistemas de información. (10 días). Fase 1: Análisis de sistemas (13 días). Fase 2: Diseño de sistemas (10 días). Fase 3: Construcción de sistemas (25 días). Fase 4: Implantación de sistemas. Teniendo en cuenta que se trata de un sistema standalone que no será instalado en ninguna organización, en esta fase se procederá solamente a realizar las tareas relacionadas con las pruebas (4 días). Tiempo estimado: 62 días. 3

4 5.3. Establecido el ambiente y los métodos de evaluación, se procederá al diseño experimental y su posterior ejecución para verificar que las suposiciones teóricas subyacentes en la propuesta son consistentes. Tiempo estimado: 20 días Identificación de las limitaciones del trabajo realizado y planteo de futuras líneas de investigación. Tiempo estimado: 10 días Compaginación final de la Tesis. Tiempo estimado: 15 días. Tiempo total estimado para el Proyecto de Tesis: 182 días. 6 REFERENCIAS Allen, R. B., Obry, P. y Littman, M. (1993). An interface for navigating clustered document sets returned by queries, Proceedings of the ACM Conference on Organizational Computing Systems. British Library (2003). Sitio web vigente al 27/10/03: Biblioteca Nacional Argentina. (2003). Sitio web vigente al 27/10/03: paginas/reser.htm Biblioteca Nacional de España. (2003). Sitio web vigente al 27/10/03: Biblioteca Nacional de Maestros. (2003). Sitio web vigente al 27/10/03: gov.ar/ Croft, W. B. (1978). Organizing and searching large files of documents, Ph.D. Thesis, University of Cambridge. Cutting, D. R., Karger, D. R., Pedersen, J. O. y Tukey, J. W. (1992). Scatter/Gather: A cluster-based approach to browsing large document collections, Proceedings of the 15 th International ACM SIGIR Conference on Research and Development in Information Retrieval, Páginas Dunlop, M.D. y Van Rijsbergen, C. J. (1991). Hypermedia and free text retrieval. RIA091 Conference, Barcelona. Faloutsos, Christos y Oard, Douglas W. (1995). A survey of Information Retrieval and Filtering Methods. Technical Report CS-TR3514, Dept. of Computer Science, Univ. of Maryland. García Martínez, R., Servente, M. y Pasquini, D Sistemas Inteligentes. 347 páginas. Editorial Nueva Librería. ISBN

5 Hearst, Marti A. y Pedersen, Jan O. (1996). Reexamining the Cluster Hypothesis: Scatter/Gather on Retrieval Results. Proceedings of ACM SIGIR 96, Zurich. Hilera, J. Y Martínez, V. (1995). Redes Neuronales Artificiales. Fundamentos Modelos y Aplicaciones. RA-MA. Madrid. Jang, J., Sun, C. Y Mizutani, E. (1997). Neuro Fuzzy and Soft Computing. Prentice Hall Inc. Londres. Kaufmann, Leonard y Rousseeuw, Peter J. (1990). Finding Groups in data: An introduction to Cluster Analysis. John Wiley & Sons, Inc., NY. Library and Archives of Canada. (2003). Sitio web vigente al 27/10/03: Library of Congress (2003). Sitio web vigente al 27/10/03: Leousky, A. V. y Croft, W. B. (1996). An evaluation of techniques for clustering search results, Technical Report IR-76, Department of Computer Science, University of Massachusetts, Amherst. Maarek, Yoelle S., Fagin, Ronald, Ben-Shaul, Israel Z. y Pelleg, Dan. (2000). Ephemeral Document Clustering for Web Applications. IBM Research Report RJ National Library of Australia. (2003). Sitio web vigente al 27/10/03: National Library of Scotland. (2003). Sitio web vigente al 27/10/03: Rüger, S. M. R. y Gauch, S. E. (2000). Feature reduction for document clustering and classification. Technical report, Computing Department, Imperial College, Londres, RU. Strehl, A., Ghosh, J. y Mooney, R. (2000). Impact of Similarity Measures on Web-page Clustering. AAAI-2000: Workshop of Artificial Inteligence for Web Search. Van Rijsbergen, C. J. (1979). Information Retrieval. Butterworths. Londres, 2da edición. Yolis, E., Britos, P., Sicre, J., Servetto, A., García-Martínez, R. y Perichinsky, G. (2003). Algoritmos Genéticos Aplicados a la Categorización Automática de Documentos. Proceedings del VIII Congreso Argentino de Ciencias de la Computación. Pág Facultad de Informática. Universidad Nacional de La Plata. Zamir, Oren y Etzioni, Oren. (1999). Grouper: A Dynamic Clustering Interface to Web Search Results. Proceedings of the Eighth International World Wide Web Conference, Computer Networks and ISDN Systems. 5