Webir /09/2014

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Webir - 2014 15/09/2014"

Natividad Iglesias Piñeiro
hace 8 años
Vistas:

1 15/09/2014

2 Temas Compresión de índices - vocabulario Proyectos 2

3 Indexación Dinámica Agregar/quitar términos y actualizar listas de postings Reconstruir completamente el índice Pocos/espóradicos cambios Tiempo de recontrucción completa es aceptable Índice auxiliar (IA) de documentos nuevos Vector de bits para documentos eliminados Costos: Cada lista de postings en un archivo Un solo archivo - O(T 2 /n) Varios IA de tamaños 2 0 n, 2 1 n, 2 2 n,, - O(T log(t/n)) 3

Índice auxiliar (IA) de documentos nuevos Vector de bits para documentos eliminados Costos: Cada

4 Compresión de Índices Menos uso de disco Mejor uso de cache Términos frecuentes Más información en la memoria Descomprimir a medida que sea necesario Menos accesos a disco Compresión del vocabulario Compresión de las listas de postings 4

Descomprimir a medida que sea necesario Menos accesos a

5 Compresión de Índices Ley de Heap Tamaño del vocabulario (M) en función del tamaño de la colección es lineal en una representación log-log (log( M vs log T) T M = kt b T es el tamaño de la colección (número de tokens) b ~ k 100 Vocabulario sigue creciendo a medida que crece la colección Vocabularios grandes para grandes colecciones 5

es el tamaño de la colección (número de tokens) b ~ 0.

6 Compresión de Índices Ley de Heap 6

7 Compresión de Índices Ley de Zipf Un pequeño número de palabras son utilizadas con mucha frecuencia Un gran número de palabras son poco empleadas cf i = K/i (cf i proporcional a 1/i) log cf i = log K + log i cf i es la frecuencia de una palabra en la i-ésima posición ordenadas de mayor a menor frecuencia lineal en una representación log-log (log( cf vs log rank) 7

1/i) log cf i = log K + log i cf i es la frecuencia de una palabra en la i-ésima posición

8 Compresión de Índices Ley de Zipf 8

9 Compresión de Índices - Vocabulario El vocabulario es pequeño comparado con las listas de postings Aumentar la velocidad de recuperación Menos accesos a disco Limitaciones de Hardware Celulares, etc. Acelerar el tiempo inicial 9

velocidad de recuperación Menos accesos a disco

10 Compresión de Vocabulario Forma más simple de guardar términos: Orden alfabético Array de celdas de igual tamaño (fijo) Búsquedas por bipartición término frequencia documento Puntero a lista postings a 656,265 aachen Zulu 221 Ejemplo Reuters espacio necesario: : 20 bytes 4 10 bytes 4 bytes Ejemplo Reuters espacio necesario

frequencia documento Puntero a lista postings a 656,265 aachen 65.

11 Compresión de Vocabulario Ejemplo 20 bytes para el término promedio 8 bytes 4 bytes para la frecuencia (número de docs en que aparece) 4 bytes para el puntero a la lista de postings Reuters-RCV1 M * (20+4+4) = * 28 = 11.2 megabyte (MB) 11

en que aparece) 4 bytes para el puntero a la lista de

12 Compresión de Vocabulario - Desventajas Desperdicio de espacio Qué pasa con términos largos? 12

13 Compresión de Vocabulario - Diccionario en un Solo String Lista continua de todos los términos Reducción de hasta 60% Se debe tener el puntero a donde comienza cada término También indica donde termina el anterior Búsquedas por bipartición 13

Se debe tener el puntero a donde comienza cada término

14 Compresión de Vocabulario - Diccionario en un Solo String... arbolarteriaarterioesclerosisartrosis... Frec Postings Comienzo

15 Compresión de Vocabulario - Diccionario en un Solo String Ejemplo Reuters-RCV1 Para direccionar el espacio de los términos (largo prom. = 8) * 8 = 3.2 * 10 6 log * 10 6 = 22 bits = 3 bytes 4 bytes para la frecuencia (número de docs en que aparece) 4 bytes para el puntero a la lista de postings M * ( ) = * 19 = 7.6 MB 1/3 15

16 Compresión de Vocabulario Por Bloques Se puede comprimir aún más separando el vocabulario anterior en bloques de k términos... 5Arbol7Arteria17Arterioesclerosis8Artrosis Elemental8Elemento8Eliminar Zorro6Zorzal8Zozobrar... Sólo se guarda el puntero al comienzo del bloque Se agrega un byte adicional a cada término para indicar su largo Se eliminan k-1 punteros a términos por bloque 16

..... 9Elemental8Elemento8Eliminar...... 5Zorro6Zorzal8Zozobrar.

17 Compresión de Vocabulario Por Bloques Ejemplo Reuters-RCV1 k = 4 se agregan 4 bytes para indicar largo, se eliminan (k-1)*3 = 9 Por cada bloque se ahorran 5 bytes * ¼ * 5 = 0.5 MB Total 7.1 MB 17

18 Compresión de Vocabulario Por Bloques Cómo se hacen las búsquedas? Se puede mejorar la compresión aumentando el tamaño de los bloques? 18

19 Compresión de Vocabulario Por Bloques Se puede mejorar la compresión aumentando el tamaño de los bloques? Aumenta el tiempo de búsqueda Búsqueda por bipartición de bloques y búsqueda secuencial dentro de cada bloque 19

Aumenta el tiempo de búsqueda Búsqueda por bipartición

20 Compresión de Vocabulario Por Bloques El orden alfabético asegura que pueden haber muchas palabras consecutivas con prefijos en común Codificación Frontal Front Coding... 8Automata8Automate9automatic10Automation Automat*a1 e2 ic3 ion... Se marca el final del prefijo común con * y se reemplaza por en los términos siguientes Ejemplo Reuters-RCV1 Se ahorran 1.2 MB Total 5.9 MB 20

.. 8Automata8Automate9automatic10Automation...... 8Automat*a1 e2 ic3 ion.

21 Proyectos Los proyectos constan de tres actividades Investigación sobre un tema relacionado con el curso Diseño de una solución a un problema (usando lo aprendido) Implementación de la solución Los proyectos deben concluirse con Informe sobre el trabajo realizado Una presentación oral del trabajo (max. 15 minutos) El tema específico deberá ser validado Fechas tentativas 29/9 y 1/10 21

22 Proyectos - Optimización en SRI Análisis de Consultas "Improving search engines by query clustering, Ricardo Baeza-Yates, Carlos Hurtado, Marcelo Mendoza, 2007 "Agglomerative clustering of a search engine query log, D Beeferman, A Berger, Proceedings of the sixth ACM SIGKDD, 2000 "CETR: content extraction via tag ratios", Tim Weninger, William H. Hsu, Jiawei Han, Proceedings of the 19th international conference on World wide web, 2010 Intención de usuario - Aprendizaje supervisado, semi supervisado y no supervisado Weka homepage: "Semi-Supervised Learning Literature Survey", Xiaojin Zhu, University of Wisconsin Madison Manejo y búsqueda de información no tradicional (multimedia, imágenes, etc.). 22

23 Proyectos - Optimización en SRI Seguridad y RI Misuse detection for information retrieval systems, Cathey, Ma, Goharian, Grossman, Proceedings of the twelfth international conference on Information and knowledge management, 2003 Using relevance feedback to detect misuse for information retrieval systems, Ma, Goharian, Proceedings of the thirteenth ACM international conference on Information and knowledge management, 2004 Query length impact on misuse detection in information retrieval systems, Ma, Goharian, Proceedings of the 2005 ACM symposium on Applied computing, 2005 Perfil de Usuario "Deriving Concept-based User Profiles from Search Engine Logs, Kenneth Wai-Ting Leung, Dik Lun Lee, IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING, 2007 "Using A Graph-based Ontological User Profile For Personalizing Search", Mariam Daoud, Lynda Tamine-Lechani, Mohand Boughanem, CIKM 08,

24 Proyectos - Optimización en SRI Filtrado Colaborativo "Item-based collaborative filtering recommendation algorithms", Badrul Sarwar, George Karypis, Joseph Konstan, John Reidl, Proceedings of the 10th international conference on World Wide Web, 2001 "Recommendation as Classification: Using Social and Content-Based Information in Recommendation", Chumki Basu, Haym Hirsh, William Cohen, AAAI-98 Proceedings, 1998 Trust "Trust-aware recommender systems", Paolo Massa,Paolo Avesani, Proceedings of the 2007 ACM conference on Recommender systems, "Trust-aware collaborative filtering for recommender systems", P. Massa and P. Avesani, Proc. of Federated Int. Conference On The Move to Meaningful Internet: CoopIS, DOA, ODBASE, 2004 "Incorporating similarity and trust for collaborative filtering", Su Chen, Tiejian Luo, Wei Liu, Yanxiang Xu, Proceedings of the 6th international conference on Fuzzy systems and knowledge discovery, 2009 "Trust in recommender systems", John O'Donovan, Barry Smyth, 24 International Conference on Intelligent User Interfaces, 2005

25 Proyectos - Redes Sociales y RI 1. Extracción del contexto social MySpace, Facebook 2. Autoridad en redes sociales Authoritative sources in a hyperlinked environment, J. Kleinberg, Proc. 9th ACM-SIAM Symposium on Discrete Algorithms, 1998 "The Anatomy of a Large-Scale Hypertextual Web Search Engine", Sergey Brin, Larry Page, Proceedings of the 7th international conference on World Wide Web (WWW), 1998 Predicting Positive and Negative Links in Online Social Networks, J. Leskovec, D. Huttenlocher, J. Kleinberg., Proc. 19th International World Wide Web Conference, 2010 "Extracting reputation in multi agent systems by means of social network topology, Josep M. Pujol, Ramon Sangüesa, Jordi Delgado, Proceedings of the first international joint conference on Autonomous agents and multiagent systems: part 1 table of contents, Recomendaciones "FilmTrust: Movie Recommendations using Trust in Web-based Social Networks, Jennifer Golbeck, James Hendler, 2006 "Recommending collaboration with social networks: a comparative evaluation, David W. McDonald, Proceedings of the SIGCHI conference on Human factors in computing systems, 2003 "Tag-Based Contextual Collaborative Filtering", Reyn Nakamoto, Shinsuke Nakajima, Jun Miyazaki, Shunsuke Uemura, IAENG International Journal of Computer Science, 2008 Personalization via friendsourcing, BERNSTEIN,TAN, SMITH, CZERWINSKI, HORVITZ, ACM Transactions on Computer-Human Interaction (TOCHI), Small-World Phenomena "The Small-World Phenomenon and Decentralized Search, J. Kleinberg. 25 A short essay as part of Math Awareness Month, appearing in SIAM News 37(3), 2004

26 Proyectos - Web Crawling y Estructura de la Web 1. Por temas Por zonas geográficas 2. Estructura de la Web Authoritative sources in a hyperlinked environment, J. Kleinberg, Proc. 9th ACM-SIAM Symposium on Discrete Algorithms, 1998 "The Anatomy of a Large-Scale Hypertextual Web Search Engine", Sergey Brin, Larry Page, Proceedings of the 7th international conference on World Wide Web (WWW), 1998 "Inferring Web communities from link topology, D. Gibson, J. Kleinberg, P. Raghavan, Proc. 9th ACM Conference on Hypertext and Hypermedia,

Documentos relacionados

Webir - 2014 10/09/2014

Webir - 2014 10/09/2014 Temas Recuperación tolerante a errores de ortografía y otras inconsistencias Construcción de índices 2 Búsquedas con Comodines mon* - árbol de búsqueda para las palabras del vocabulario