Evolución de la IR Web e Integración de PLN y Web Semántica en los modelos clásicos de IR

Transcripción

1 El futuro de los buscadores: Nuevas tendencias en Recuperación de Información Evolución de la IR Web e Integración de PLN y Web Semántica en los modelos clásicos de IR FESABID 2007 José Ramón Pérez Agüera Dpto. de Ingeniería de Software e Inteligencia Artificial Universidad Complutense de Madrid

2 Índice Antecedentes y evolución de la IR Web según A. Broder Tendencias Bases del desarrollo futuro de buscadores Problemas Primeras soluciones Conclusiones José R. Pérez Agüera Dpto. Ingeniería de Software e Inteligencia Artificial

3 Antecedentes IR Web 11 de junio 1994 Brain Pinkerton anuncia WebCrawler (4000 servidore crawleados) 15 de diciembre 1995 Digital presenta Altavista 30 millones de páginas indexadas y 2.5 millones de páginas al día. Afirman que es 100 veces más rápido que sus competidores 1998 Nace Google e tres años se hace con el mercado. Ofrece calidad y cantidad José R. Pérez Agüera Dpto. Ingeniería de Software e Inteligencia Artificial

4 Modelo de buscador Web El modelo de buscador Web se impone a otros modelos basados en directorios y bookmarks. La puerta de acceso a la Web se materializa en una simple caja de búsqueda.

5 IR Clásica La IR clásica se basa en: Una colección de documentos de tamaño prefijado Recuperación de documentos que cumplan la necesidad de información de los usuarios

6 El concepto de relevancia Para una consulta Q y un documento D almacenado en una colección C asignamos una valor numérico Score(Q,D) que define la relevancia de D con respecto a Q.

7 La necesidad de información en la Web Diferentes tipos de necesidades: Informacionales (40 65%) quiero información sobre un tema concreto. Ej. coliseo de Roma. Navegacionales (25 15%) quiero acceder a una web determinada. Ej. Acceso a la web del ayuntamiento de Roma Transaccionales (35 20%) quiero acceder a webs para realizar trasacciones. Ej. billete de avión a Roma.

8 Evolución de la IR web Según Andrei Broder podemos hablar de 4 generaciones: 1ª generación: Se usan datos exclusivos de los documentos: idioma, frecuencia de palabras (Excite, Lycos, etc) 2ª generación: Se incluyen datos ajenos al documento: Análisis de enlaces, texto de los enlaces, análisis de weblog 3ª generación: Se analiza la necesidad de información que existe detrás de la consulta: Análisis semántico, Integración de múltiples fuentes de datos (ej. wikipedia), Ayudas contextuales al usuario (refinamiento y recomendación de consultas) 4 ª generación: Recuperación por voz

9 Evolución de la IR web Cada nueva generación añade mejoras a la anterior. Los métodos de hace 40 años no han quedado absoletos y forman la base de las mejoras que se han hecho en cada nueva evolución.

10 Evolución de la IR web 3ª 2ª 1 ª Análisis semántico PLN, Reconocimiento de entidades nombradas, Text Mining, etc Análisis de características propias de la Web (grafos web, texto en los enlaces, etiquetado de la página, etc) TF IDF /Modelos algebraicos/modelos probabilísticos Modelo booleano: Concepto de relevancia bivaluada

11 Tendencia en la IR web Coincidencia sintáctica (Syntactic Matching) Coincidencia semántica (Semantic Matching)

12 Los pasos siguientes (según Broder) Demanda explicita de información representada por la consulta del usuario Aumento en la utilización del contexto Suministro de información relevante a partir de la actividad y el contexto del usuario

13 Buscadores como mediadores entre la información y el usuario: Nacimiento del Documentalista Artificial ; ) Pilares de la IR Web del futuro Web Semántica Procesamiento de Lenguaje Natural Recuperación de Información

14 Problemas por resolver La integración de información lingüística en sistemas de IR estadísticos no es trivial Podemos romperlo todo!!!!!

15 Un ejemplo Pesticidas en alimentos para bebés Stemming en el índice: pestic aliment beb Stemming por expansión de consulta (Porter) pesticidas pesticida péstico, alimentos, alimenta, alimentaba, alimentaban, alimentación, alimentada, alimentadas, alimentado, alimentador, alimentadoras, alimentados, alimentamos, alimentan, alimentando, alimentar, alimentara, alimentarla, alimentarle, alimentarles, alimentarlo, alimentarlos, alimentaron, alimentarse, alimentará, alimentarán, alimentaría, alimentarían, alimente, alimenten,, alimentica, alimenticos, alimento, alimentándose, alimentó, bebés. bebé, bebe, beb....

16 Resultado del experimento Precisión.43 con stemming en el índice Precisión.20 con stemming de expansión directa de consulta.?

17 Integración de información lingüística en IR Trabajos realizados junto a Hugo Zaragoza (Yahoo! Research Barcelona) y Lourdes Araujo (Grupo IR PLN UNED) Hoy en día casi todas las funciones de ranking que usan los buscadores ignoran la información estructural en el cálculo final del ranking. Tras todos los procesos de expansión, ponderación y selección de características, las funciones de ranking reciben una serie de términos entre los cuales asumen una completa independencia, ordenando los documentos en función a esa asunción.

18 Integración de información lingüística en IR La afirmación anterior quiere decir que aunque seamos capaces de detectar una relación semántica entre casa y vivienda TF IDF ó BM25 no serán capaces de interpretar esta información semántica.

19 Otros casos donde ocurre los mismo Nos encontramos el mismo problema cuando: Usamos información extraída de documentos XML Usamos tesauros, ontologías o diccionarios (Wordnet) Usamos cualquier tipo de información lingüística

20 Soluciones Integración de la infomación lingüística en el índice. Reformulación de las funciones de ponderación y ranking para que no trabajen sobre la asunción de independencia de términos. Ej. Modificación del TF para que se tenga en cuenta la frecuencia de un concepto CF como la suma de frecuencias del léxico que se refiera a ese concepto

21 Explicación sobre BM25 simplificado T Q w tf K+tf idf C Q w cf K+cf icf

22 Conclusiones PLN y Web Semántica parecen el camino a seguir para hacer realidad el futuro de los buscadores basado en la Information Supply de Broder Su integración con la IR actual no está resuelta Pese a todo el avance de esta ciencia es acumulativo y las antiguas técnicas de IR seguiran estando vigentes por mucho tiempo