Clasicación Automática de Documentos

Transcripción

1 Clasicación Automática de Documentos Carlos G. Figuerola, José Luis Alonso Berrocal, Angel F. Zazo Universidad de Salamanca Grupo REINA Carlos G. Figuerola (Grupo REINA) Clasicación Automática 1 / 23

2 Clasicación Automática de Documentos Dos cosas diferentes: Clasicación Supervisada también conocida como categorización parte de la existencia de un conjunto de clases pre-establecidas el objetivo es colocar cada documento en la clase que le corresponda Clasicacion no supervisada también llamada clustering no hay clases preestablecidas el propio sistema establece las clases o clusters de forma totalmente automática Carlos G. Figuerola (Grupo REINA) Clasicación Automática 2 / 23

3 Clasicación Supervisada se parte de un conjunto de clases diseñadas por personas previamente el sistema debe asignar cada documento a la clase que le corresponda Aplicaciones: ltrado de documentos routing o DSI recuperación mediante browsing asignación automática de descriptores, encabezamientos de materias o similares Carlos G. Figuerola (Grupo REINA) Clasicación Automática 3 / 23

4 Clasicación Supervisada La mayoría de los algoritmos parten la elaboración de un modelo o patrón para cada clase Esta fase se conoce como entrenamiento Necesita una colección de documentos ya clasicada manualmente (colección de entrenamiento) Requiere intervención humana para la clasicación de la colección de entrenamiento y para la revisión y renamiento de resultado Carlos G. Figuerola (Grupo REINA) Clasicación Automática 4 / 23

5 Clasicación Supervisada. Entrenamiento Podemos verlo como la elaboración de un centroide para cada clase. Carlos G. Figuerola (Grupo REINA) Clasicación Automática 5 / 23

6 Clasicación Supervisada El proceso de clasicación consiste en estimar la similitud entre el documento a clasicar y cada uno de los centroides Sistemas que asignan cada documento a una sola clase Sistemas que asignan un documento a varias clases En sistemas con asignación de clase única el centroide más similar indica a qué clase hay que asignar el documento En sistemas con asignación de clases múltiples un umbral de similitud indica a qué clases hay que asignar el documento Carlos G. Figuerola (Grupo REINA) Clasicación Automática 6 / 23

7 Clasicación Supervisada Carlos G. Figuerola (Grupo REINA) Clasicación Automática 7 / 23

8 Clasicación Supervisada. Algoritmos Naive Bayes Rocchio Vecino más próximo Knn Carlos G. Figuerola (Grupo REINA) Clasicación Automática 8 / 23

9 Clasicación Supervisada. Naive Bayes Naive Bayes tiene una base probabilística calcula la probabilidad de que un documento encaje en una clase a partir de la probabilidad de que documentos que contengan determinados términos pertenezcan a esa clase estas probabilidades de los términos se estiman mediante los términos que aparecen en los documentos de entrenamiento en la práctica considera solamente pesos binarios de esos términos es rápido y fácil de implementar es ecaz Carlos G. Figuerola (Grupo REINA) Clasicación Automática 9 / 23

10 Clasicación Supervisada. Rocchio Algoritmo de Rocchio se basa en las mismas ideas utilizadas en la realimentación por relevancia se contruyen vectores que tratan de representar cada clase a partir de los documentos de entrenamiento para el vector de cada clase: los documentos de entrenamiento de esa clase se usan como ejemplos positivos los documentos de entrenamiento de las demás clases se usan como ejemplos negativos Carlos G. Figuerola (Grupo REINA) Clasicación Automática 10 / 23

11 Clasicación Supervisada. Rocchio Algoritmo de Rocchio el vector representativo de una clase se construye sumando los pesos de los términos de los ejemplos positivos de él se restan los pesos de los términos de los ejemplos negativos aplicando coecientes multiplicadores, es posible dar más o menos importancia a los ejemplos positivos o a los negativos el resultado es un vector de términos con pesos como el utilizado en el modelo vectorial para clasicar un nuevo documento, no hay más que estimar la similitud entre el vector de ese documento y los vectores de cada una de las clases Carlos G. Figuerola (Grupo REINA) Clasicación Automática 11 / 23

12 Clasicación Supervisada. Rocchio Carlos G. Figuerola (Grupo REINA) Clasicación Automática 12 / 23

13 Clasicación Supervisada. Vecino Más Próximo y KNN Vecino más próximo y Knn la colección de entrenamiento se indiza mediante cualquier motor de recuperación cuando se desea clasicar un nuevo documento, éste se utiliza como una consulta en ese motor de recuperación la consulta se ejecuta contra la colección de entrenamiento. El documento considerado como más relevante nos indica la clase a la que debe pertenecer el documento a clasicar la variante K-nn consiste en considerar los K primeros documentos más relevantes en lugar del primero sólo Carlos G. Figuerola (Grupo REINA) Clasicación Automática 13 / 23

14 Clasicación Supervisada. Vecino Más Próximo y KNN Vecino más próximo y Knn Carlos G. Figuerola (Grupo REINA) Clasicación Automática 14 / 23

15 Clasicación Supervisada. Casos prácticos Carlos G. Figuerola (Grupo REINA) Clasicación Automática 15 / 23

16 Clasicación No Supervisada. Clustering aunque la teoría se formula en años 70, las aplicaciones reales datan de la segunda mitad de los 90 Usos del clustering: visualización de colecciones documentales recuperación de documentos anes navegación por colecciones documentales desambiguación de resultados de búsquedas convencionales Carlos G. Figuerola (Grupo REINA) Clasicación Automática 16 / 23

17 Clustering agrupación de documentos en clusters sin intervención humana los grupos o clusters deben maximizar cohesión externa los clusters deben maximizar separación externa Carlos G. Figuerola (Grupo REINA) Clasicación Automática 17 / 23

18 Clustering Tipos de clustering Según diversos criterios: clusters planos vs. jerárquicos clusters duros vs. fuzzy clustering incremental vs. no incremental basados en redes neuronales basados en teoría de grafos Carlos G. Figuerola (Grupo REINA) Clasicación Automática 18 / 23

19 Clustering Proceso general Varias fases: representación de documentos construcción de matriz de similitud diversos algoritmos de clustering Carlos G. Figuerola (Grupo REINA) Clasicación Automática 19 / 23

20 Clustering Representación de documentos y métricas requiere algún sistema que permita estimar entre documentos la distancia (euclidiana, Manhatan) la similitud o asociación: Coseno, coecientes de Dice, Jacqard Carlos G. Figuerola (Grupo REINA) Clasicación Automática 20 / 23

21 Clustering Representación de documentos y métricas requiere algún sistema que permita estimar entre un documento y un cluster single link: la similitud máxima entre el documento y cada uno de los integrantes del cluster full link: la similitud mínima entre el documento y cada uno de los integrantes del cluster average link: la media de las similitudes entre documento y cada uno del cluster dos clusters single link: la similitud máxima entre todos los pares posibles de documentos full link: la similitud máxima entre todos los pares posibles de documentos average link: la media de las similitudes entre todos los pares posibles Carlos G. Figuerola (Grupo REINA) Clasicación Automática 21 / 23

22 Clustering Clusters Planos: algoritmo de paso único tomar el primer documento e iniciar con él un cluster añadir a ese cluster todos los demás documentos similares al primero tomar el siguiente documento de los restantes y añadirlo al cluster si es similar a él en caso contrario, inciar un nuevo cluster con él; añadir a ese cluster los documentos restantes similares proceder de la misma forma hasta que no haya más documentos Carlos G. Figuerola (Grupo REINA) Clasicación Automática 22 / 23

23 Clustering Clusters Planos: algoritmo k-means Carlos G. Figuerola (Grupo REINA) Clasicación Automática 23 / 23