Recuperación Avanzada de la Información

Transcripción

1 Máster en Sistemas Inteligentes Recuperación Avanzada de la Información Máster en Sistemas Inteligentes 1 Carlos G. Figuerola 1 Ángel Zazo Rodríguez 1 1 Departamento de Informática y Automática Grupo de Investigación REINA Universidad de Salamanca Salamanca, 2009

2 Máster en Sistemas Inteligentes Parte I: Organización de la Asignatura Parte II: Introducción a la recuperación de Información Parte I 1 Organización Organización de la asignatura Trabajos Evaluación 2 Bibliografía Manuales de tipo general Revistas Científicas Congresos Recursos web

3 Máster en Sistemas Inteligentes Parte I: Organización de la Asignatura Parte II: Introducción a la recuperación de Información Parte I 1 Organización Organización de la asignatura Trabajos Evaluación 2 Bibliografía Manuales de tipo general Revistas Científicas Congresos Recursos web

4 Máster en Sistemas Inteligentes Parte I: Organización de la Asignatura Parte II: Introducción a la recuperación de Información Parte II 3 Introducción Representación 4 Introducción Anatomía de un motor de RI 5 6 Fichero Invertido

5 Máster en Sistemas Inteligentes Parte I: Organización de la Asignatura Parte II: Introducción a la recuperación de Información Parte II 3 Introducción Representación 4 Introducción Anatomía de un motor de RI 5 6 Fichero Invertido

6 Máster en Sistemas Inteligentes Parte I: Organización de la Asignatura Parte II: Introducción a la recuperación de Información Parte II 3 Introducción Representación 4 Introducción Anatomía de un motor de RI 5 6 Fichero Invertido

7 Máster en Sistemas Inteligentes Parte I: Organización de la Asignatura Parte II: Introducción a la recuperación de Información Parte II 3 Introducción Representación 4 Introducción Anatomía de un motor de RI 5 6 Fichero Invertido

8 Organización Bibliografía Parte I Organización de la Asignatura

9 Organización Bibliografía Organización de la asignatura Organización de la asignatura Trabajos Evaluación Horario De forma presencial será los días: martes 10 de marzo de 16:30 a 17:30 miércoles 11 de marzo de 16:30 a 17:30 jueves 12 de marzo de 18:00 a 19:30 viernes 13 de marzo de 18:30 a 19:30 El lunes 23 de marzo tendrá lugar la presentación pública de los trabajos. El horario será de 16:30 hasta la finalización.

10 Trabajos Organización Bibliografía Organización de la asignatura Trabajos Evaluación El alumno deberá seleccionar un trabajo de la lista disponible en la plataforma Moodle ( Cada trabajo tendrá solamente a un alumno. El reparto de los trabajos lo realizarán inicialmente los alumnos y deberá estar el miércoles 11. Si los alumnos no hicieran el reparto, los profesores realizarán mediante sorteo la asignación. El trabajo deberá entregarse en formato PDF y obligatoriamente debe emplearse la plantilla para informes técnicos del departamento (existe en formato word y latex). Deberá subirse, empleando la tarea habilitada para ello. La presentación de la defensa pública del trabajo se enviará también en PDF en la tarea habilitada.

11 Evaluación Organización Bibliografía Organización de la asignatura Trabajos Evaluación Se tendrá en cuenta la asistencia a las clases presenciales. Se valorará la presentación realizada del trabajo. El trabajo entregado.

12 Organización Bibliografía Bibliografía. Manuales I Manuales de tipo general Revistas Científicas Congresos Recursos web Information retrieval : data structures and algoritms ed. por William B. Frakes, Ricardo Baeza-Yates Upper Saddle River: NJ, 1992 Baeza-Yates, F. y Ribeiro-Neto, B. Modern Information Retrieval. Addison-Wesley, Harlow, England, Hay parte de él en Ellis, David Progress and problems in information retrieval. London, Library Association Publishing, cop Kowalski, Gerald Information retrieval systems. Boston : Kluwer, 1997

13 Organización Bibliografía Bibliografía. Manuales II Manuales de tipo general Revistas Científicas Congresos Recursos web Manning, Christopher D.; Raghavan, Prabhakar y Schütze, Hinrich. Introduction to Information Retrieval. Cambridge University Press hinrich/information-retrievalbook.html Rijsbergen, C.J. van. Information Retrieval. Dept. of Computer Science, University of Glasgow, 2 o ed., hay versión en red en: Salton, Gerard Automatic text processing : the transformation, analysis, and retrieval of information by computer. Reading, MA: Addison-Wesley, 1989.

14 Organización Bibliografía Bibliografía. Manuales III Manuales de tipo general Revistas Científicas Congresos Recursos web Salton, Gerard; McGill M.J. Introduction to Modern Information Retrieval. McGraw-Hill, New York, 1983.

15 Organización Bibliografía Manuales de tipo general Revistas Científicas Congresos Recursos web Bibliografía. Revistas científicas I Journal of the American Society for Information Science and Technology. Journal of Documentation. Journal of Information Science. Information Processing & Management. Information Retrieval. Communications of the ACM. ACM Transactions on Information Systems. Procesamiento del Lenguaje Natural.

16 Organización Bibliografía Bibliografía. Congresos I Manuales de tipo general Revistas Científicas Congresos Recursos web Cross-Language Evaluation Forum (CLEF). TExt Retrieval Conferences (TREC). NII-NACSIS Test Collection for IR Systems (NTCIR). ACM Special Interesting Group in Information Retrieval (ACM-SIGIR). European Conference on Research and Advanced Technology for Digital Libraries (ECDL). WWW Conference. Congreso de la SEPLN (Sociedad Española para el Procesamiento del Lenguaje Natural).

17 Organización Bibliografía Bibliografía. Recursos web I Manuales de tipo general Revistas Científicas Congresos Recursos web Information Retrieval and Natural Language Processing Course ircourse Center for Intelligent Information Retrieval de la Universidad de Massachusstes. Glasgow IDOM - IR resources. Information Retrieval Sites Information Retrieval and Natural Language Procesing diekemar/ir.html

18 Introducción Parte II Introducción a la Recuperación de Información

19 Introducción Representación La Recuperación de Información La información es pieza fundamental en todos los procesos de nuestra sociedad Desarrollo de las Tecnologías de la Información (TI) han creado sistemas y servicios de información requeridos cada vez con mayor celeridad Cambios en soportes de la información (electrónica). Desarrollo de las comunicaciones: acceso a información remota (Internet). Gran cantidad de repertorios documentales, de corpus, etc.

20 Introducción Representación Gran volumen de información Información crece y crece sin parar: Capacidad de digerir la información. Sobrecarga informativa. Acceso a la información:. Seleccionar información para una necesidad informativa. Descartar la que no interesa.

21 Introducción Representación La Recuperación de Información básicamente es: Dados un conjunto de documentos y una necesidad informativa de un usuario, el objetivo de la RI es obtener los documentos pertinentes para esa necesidad, ordenarlos por algún criterio, y mostrárselos al usuario.

22 Pasos en la RI Introducción Representación 1 Obtener representación de los documentos. Generalmente los documentos se presentan utilizando un conjunto más o menos grande de términos índice. La elección de dichos términos es el proceso más complicado. 2 Identificar la necesidad informativa del usuario. Se trata de obtener la representación de esa necesidad, y plasmarla formalmente en una consulta acorde con el sistema de recuperación 3 Búsqueda de documentos que satisfagan la consulta. Consiste en comparar las representaciones de documentos y la representación de la necesidad informativa para seleccionar los documentos pertinentes 4 Presentación de los resultados al usuario. Puede ser desde una breve identificación del documento hasta el texto completo 5 Evaluación de los resultados. Para determinar si son acordes con la necesidad informativa

23 Introducción Representación Paradigma de la RI Representación y búsqueda (indexing & searching). La idea es obtener representaciones homogéneas de documentos y consultas para su comparación

24 Introducción Representación Aspectos a tener en cuenta procedimiento manuales vs. procedimientos automáticos. el almacenamiento, es parte de la RI?. recuperar datos vs. recuperar información.

25 Introducción Representación Los documentos pueden ser: documentos primarios: informes, artículos, páginas web, etc. documentos secundarios (título, autor, resumen, etc.). La necesidad informativa se expresa formalmente mediante una consulta: Puede emplear términos índice y operadores booleanos. Puede realizarse en lenguaje natural. Aplicaciones: Bibliotecas digitales. Buscadores de Internet. Herramientas de búsqueda personal (correos electrónicos, documentos personales, etc.).

26 Representación Introducción Representación Representación: Documentos y consultas se representan con términos índice. Término índice: palabra o grupo de palabras que se utiliza para representar un concepto. Indización: conjunto de términos o procedimientos sintácticos (frases nominales) y convencionales para representar el contenido de un documento, con el fin de permitir su recuperación. Los sistemas de recuperación basados en términos índice se apoyan en la idea fundamental de que tanto el contenido de los documentos como la necesidad informativa del usuario pueden representarse con términos índice.

27 Indización Manual Introducción Representación Muy costosa en tiempo: muy lenta, mucho más que la producción de documentos. Muy costosa en dinero. Problemas de inconsistencia inevitable entre indizadores (sinonimia, polisemia, etc.), se requieren índices de concordancia y control de autoridades. Dos personas pueden asignar diferentes palabras al mismo concepto, y la misma palabra puede aparecer en documentos que traten temas diferentes: vendo coche usado vs. automóvil de segunda mano.

28 Introducción Catálogo de biblioteca Representación

29 Ficha I Introducción Representación

30 Ficha II Introducción Representación

31 Introducción Representación Indización Semiautomática-Esquema

32 Introducción Representación Indización Semiautomática-CDU

33 Introducción Representación Indización Semiautomática-Tesauros

34 Introducción Representación Indización Semiautomática-Base de datos

35 Introducción Representación Indización Semiautomática-Consulta

36 Introducción Los documentos electrónicos Introducción Anatomía de un motor de RI Requieren de nuevos procedimientos.

37 Introducción I Introducción Anatomía de un motor de RI

38 Introducción Indización Automática II Introducción Anatomía de un motor de RI Los documentos electrónicos requieren técnicas automáticas, siendo el concepto actual de RI. Proceso complejo que asigna automáticamente los mejores términos índice a los documentos. Se persigue que las consultas puedan realizarse en lenguaje natural (texto libre). Problemas: información pobremente estructurada. formatos de documentos. codificación de la información. problemas de detección y conversión. normalización de términos (mayúsculas/minúsculas, acentos...).

39 Introducción Introducción Anatomía de un motor de RI Anatomía básica de un motor de RI

40 Pasos Introducción Introducción Anatomía de un motor de RI 1 Análisis del texto para determinar el tratamiento que se realizará sobre números, guiones, signos de puntuación, tratamiento de mayúsculas y/o minúsculas, etc.. 2 Eliminación de palabras vacías, muy frecuentes y muy poco frecuentes. Se reduce el número de términos con valores muy pocos significativos para la recuperación. 3 Aplicación de lematización sobre los términos resultantes para eliminar variaciones morfo-sintácticas y obtener lemas. 4 Selección de términos que serán considerados términos índice (sustantivos, nombres propios). 5 Utilización de tesauros. Puede ayudar tanto en el proceso de indización como en el de búsqueda de información (expansión de consultas).

41 Introducción Introducción Anatomía de un motor de RI 1. Análisis del texto (tokenización) Separación de palabras y localización. Carácter espacio, punto, comas,... Caracteres de puntuación. A veces forman parte de términos (TVE-1, sub 21, Canal+, ). Tratamiento de acentos. Importante en otras fases del proceso léxico Tratamiento de números. Detección de sintagmas y grupos nominales. Nombres propios y expresiones multipalabra Almacenamiento en mayúsculas/minúsculas.

42 Introducción Introducción Anatomía de un motor de RI 2. Palabras vacías, muy frecuentes y muy poco frecuentes (stop word) Se pretende: Reducir el ruido que pueda introducir la indización de todos los términos de un documento. Disminuir el tamaño de la base de datos. Palabras vacías. Poseen muy poca capacidad semántica. Palabras muy frecuentes. Si un término aparece en casi todos los documentos no sirve para diferenciar unos de otros Palabras muy poco frecuentes. Suelen ser errores de tecleado o palabras muy específicas (la probabilidad de que un usuario las solicite es muy baja).

43 Introducción Introducción Anatomía de un motor de RI 3. Proceso de lematización (stemming) En un diccionario o repertorio léxico, elegir convencio-nalmente una forma para remitir a ellas todas las que derivan de su misma familia por razones de economía [DRAE, 22 a ed.] Palabras que son variaciones morfológicas con un significado prácticamente idéntico. Tratamiento: Simple: eliminación de plurales (s-stemmer) o sufijos. Complejo: sofisticadas técnicas de análisis procedente del PLN. Se basan en: Aplicación de reglas. Autómatas finitos.

44 Introducción 4. Selección de términos índice Introducción Anatomía de un motor de RI Con el objetivo de reducir la carga computacional, se intentan seleccionar los mejores términos índice: Posibilidades: Valor de discriminación: capacidad de un término para discriminar unos documentos de otros. Tiene un coste computacional muy elevado. Además está relacionado con la frecuencia de aparición del término en toda la colección de documentos. Naturaleza morfo-sintáctica del término: las palabras que actúan como nombres tienen mayor contenido semántico. Se pueden emplear técnicas del PLN para esta tarea, pero su coste computacional es muy elevado en comparación con sus beneficios.

45 Introducción 5. Aplicación de tesauros. Introducción Anatomía de un motor de RI Un tesauro es un diccionario de términos controlados que contiene relaciones entre términos. Usos en RI: Indización (generalmente manual):. los tesauros proporcionan un vocabulario controlado para la normalización de conceptos. Consultas: Los tesauros se utilizan para plasmar con mayor exactitud la necesidad informativa del usuario, o bien, para reducir o ampliar los resultados del sistema en función de la jerarquía de términos presentes en el tesauro. Expansión de consultas: trata de plantear una nueva consulta añadiendo nuevos términos relacionados con los de la consulta original (es necesario realizar un recálculo de pesos).

46 Introducción Representación y búsqueda: modelos

47 Modelo Booleano Introducción Documentos: Suele realizarse indización manual: a partir de la lectura y comprensión del texto el indizador decide asignar los mejores términos que representen su contenido: descriptores Consultas: Las consultas se formulan utilizando los términos índice (descriptores) y una serie de operadores (booleanos, de proximidad, selección, truncamiento, etc.) y facilidades (índices, tesauros, etc.) El sistema de recuperación es sencillo, todo el esfuerzo recae en el usuario a la hora de plantear la consulta Típico en bibliotecas, OPAC, etc.

48 Introducción Modelo Vectorial (y probabilístico) Documentos: Se lleva a cabo una indización automática: Proceso complejo que trata de asignar automáticamente los mejores términos índice a los documentos (selección y extracción de términos) Consultas: Las consultas se realizan en lenguaje natural. El mismo proceso de indización automática se aplica a la consulta para obtener los términos índice que la representan. El sistema de recuperación es complejo. Todo el esfuerzo recae en él. Típico en motores de búsqueda de Internet (los mejores motores añaden información de enlaces, ej. Google).

49 Fichero invertido Introducción Fichero Invertido

50 Búsqueda de frases Introducción Fichero Invertido