webir /08/2018

Transcripción

1 webir /08/2018

2 webir Libertad Tansini [webir] Lunes y Miércoles 14:30 a 16:00 2

3 webir Metodología y Evaluación Teórico Proyecto Investigación sobre un tema relacionado con el curso Diseño de una solución a un problema Posible implementación de la solución El tema deberá ser validado por el docente previamente Escribir un informe y hacer una presentación oral (15 min) Evaluación Asistencia a clases al menos 60% Informe sobre el proyecto realizado = 60% Presentación oral del proyecto = 40% 3

4 webir Bibliografía Manning, Raghavan and Schütze Introduction to Information Retrieval Cambridge University Press, ://nlp.stanford.edu nlp.stanford.edu/ir- /IR-book book/ 4

5 webir - Temas Recuperación de información Cada usuario debe poder obtener de manera rápida la información que satisfaga sus necesidades Se debe poder encontrar, indexar y analizar la información Funcionamiento de los motores de búsqueda de (Internet) Relevance feedback y expansión de consultas Filtrado colaborativo Análisis de enlaces 5

6 webir Recuperación de Información Ejemplo: se buscan obras de Shakespeare que tengan las palabras Brutus y Caesar, pero no Calpurnia Brutus AND Cesar AND NOT Calpurnia El caso de las obras completas de Shakespeare - menos de 1 millón de palabras Usar comando grep de Unix 6

7 webir Recuperación de Información Procesar la información que existe hoy en Internet - orden de millones de millones de palabras y sigue creciendo 7

8 webir Recuperación de Información Colecciones o corpus extensos como Internet Operaciones de búsqueda más complejas La palabra Romans cerca de countrymen A lo más a 5 palabras de distancia o Que aparezcan en la misma oración Devolver los documentos que contienen la información o la palabra ordenados por algún criterio de calidad ranking function 8

9 webir Matriz de palabras-documentos o de incidencia Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth... Antony Brutus Caesar Calpurnia Cleopatra mercy worser

10 webir Matriz de palabras-documentos Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth... Antony Brutus Caesar Calpurnia Operamos con los vectores para Brutus, Caesar y el complemento de Calpurnia AND AND =

11 webir Matriz de palabras-documentos Antony and Cleopatra Julius Caesar The Tempest Hamlet Othello Macbeth... Antony Brutus Caesar Calpurnia Operamos con los vectores para Brutus, Caesar y el complemento de Calpurnia AND AND =

12 webir Recuperación Booleana Modelo de recuperación de información Cualquier consulta se formula mediante una expresión booleana de palabras usando AND, OR y NOT Los documentos son conjuntos de palabras 12

13 webir Sistemas de RI Necesidad de información de un usuario no es lo mismo que la consulta Un documento es relevante si contiene información adecuada para satisfacer su necesidad de información Medidas de efectividad 13

14 webir Sistemas de RI Documentos Relevantes Documentos Recuperados Documentos No Relevantes 14

15 webir Sistemas de RI Precisión P = Documentos relevantes recuperados Documentos recuperados Exhaustividad en recuperación o Recall R = Documentos relevantes recuperados Documentos relevantes F = 2*(P*R)/(P+R) F β = (1+β 2 )*(P*R)/(β 2 P+R) 15

16 webir Sistemas de RI Precisión = Docs relevantes recuperados/ Docs recuperados Documentos Relevantes Documentos Recuperados Documentos No Relevantes Recall = Docs relevantes recuperados/ Docs relevantes 16

17 webir Indice Invertido Es siempre factible/útil construir la matriz? Matrices muy grandes Muy pocos 1 s Registrar sólo 1 s Indice invertido Diccionario de palabras (términos) - vocabulario Lista de documentos donde aparece cada palabra (ev. también la posición) - post o posting Se puede ordenar las listas por algún criterio, por ejemplo docid calpurnia

18 webir Indice Invertido Construcción Colección de documentos a indexar Friends, Romans, countrymen... Separar en palabras (tokenize) Friends Romans countrymen So let Procesamiento lingüístico para normalizar las palabras friend roman countryman so let Crear el índice So let it be with Caesar... 18

19 webir Indice Invertido Crear parejas de palabras y docid Ordenar las parejas en orden alfabético por palabras Unificar ocurrencias repetidas de palabras Agregar datos para mejorar la eficiencia número de documentos en que está cada palabra Ordenar postings por docid 19

20 webir Indice Invertido ambitious be 2 2 brutus 1 2 capitol 1 caesar 1 2 calpurnia Memoria vs disco veremos estructuras de datos Potings Listas enlazadas o vectores de tam. variable frec. modif. 20

21 webir Indice Invertido ambitious 1 be brutus capitol 1 1 caesar calpurnia Procesamiento de las consultas Orden Optimización 21

22 webir Indice Invertido Ejercicio Dibujar el índice invertido para los siguientes documentos: Doc1: Venta de casas en Montevideo Doc2: Alquiler y venta de inmuebles Doc3: Precios de casas en aumento Doc4: Montevideo record de precios de inmuebles 22

23 webir Indice Invertido Ejercicio Doc1: Venta de casas en Montevideo Doc2: Alquiler y venta de inmuebles Doc3: Precios de casas en aumento Doc4: Montevideo record de precios de inmuebles Alquiler: 2 Aumento: 3 Casas: 1, 3 De: 1, 2, 3, 4 En: 1, 3 Inmuebles: 2, 4 Montevideo: 1, 4 Precios: 3, 4 Venta: 1, 2 Record: 4 Y: 2 23

24 webir Recuperación Booleana Extendida Medidas de cercanía? a lo más a 5 palabras de distancia que aparezcan en la misma oración o párrafo Westlaw (1975) 24

25 webir Extensiones Deseables Recuperación tolerante a errores de ortografía y otras inconsistencias Búsqueda de conceptos, por ej. sistema operativo Medidas de cercanía, por ej. Gates cerca de Microsoft Registrar y considerar la cantidad de veces que aparecen las palabras en los documentos term frequency Devolver los documentos ordenados por algún criterio de calidad ranking function 25

26 webir - Procesamiento Lingüístico para la Construcción del Indice Invertido Elección de la unidad documento a indexar Páginas Libros o Capítulos Un buen sistema de RI debería ofrecer distintos niveles de granularidad Depende Colección de documentos Uso por parte de los usuarios 26

27 webir Tokenization para la Construcción del Indice Invertido Separar en palabras (tokenize) Friends, Romans, countrymen... So let it be with Caesar... Friends Romans countrymen So let Las palabras son unidades semánticas instanciadas que aparecen en los documentos Los términos son palabras (ev. normalizadas) que aparecen en el diccionario de un sistema de RI 27

28 webir Tokenization para la Construcción del Indice Invertido Ignorar espacios en blanco y caracteres especiales Cómo separar correctamente las palabras? aren t arent are aren n t t Depende del idioma Identificación del idioma 28

29 webir Tokenization para la Construcción del Indice Invertido Identificación del idioma 29

30 webir Tokenization para la Construcción del Indice Invertido Palabras especiales ev. dependen del idioma C++ o C# B-52 libertad@fing.edu.uy Direcciones IP Fechas Guiones: Hewlett-Packard, co-education Los Angeles, San Francisco, Universidad de la República 30