Fusión de Anotaciones de Información Multimedia: Recuperación de Texto e Imágenes

Transcripción

1 Fusión de Anotaciones de Información Multimedia: Recuperación de Texto e Imágenes Rubén Granados rgranados@lsi.uned.es VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia"

2 Contenidos 1. Presentación Información Multimedia Recuperación Multimedia de Imágenes Multimedia Semantic Gap Fusión Multimedia 2. Propuesta Prefiltrado Textual Late Semantic Multimedia Fusion Contribución 3. Evaluación de la propuesta Marco de experimentación Experimentos monomodales Experimentos multimedia Ejemplos 4. Conclusiones VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 2 de 23

3 Información Multimedia - Repositorios tradicionales o modernas aplicaciones (ej. médicas) - Muy presente en Internet - sitios Web: Youtube (vídeos) o Picassa y Flicker (imágenes) - redes sociales: Facebook, Twitter, Instagram o Pinterest - Colecciones personales VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 3 de 23

4 Recuperación Multimedia de Imágenes (modos Textual y Visual) - TBIR (Text Based Image Retrieval) - anotaciones, metadatos, etiquetas, enlaces,... - más utilizadas y con mejores resultados - métodos de IR clásica (modelos, similitud, rankings,...) - CBIR (Content Based Image Retrieval) - descriptores visuales (color, forma, textura,...) - peores resultados - Recuperación Multimedia - combinación de TBIR y CBIR VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 4 de 23

5 Multimedia Semantic Gap + buceador, sumergido, mar, persona en bañador, azul, primer plano, etc. VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 5 de 23

6 Escala semántica en Multimedia Baeza-Yates, R., & Ribeiro-Neto, B. (2011). Modern Information Retrieval (second edition). Addison-Wesley. VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 6 de 23

7 Multimedia Semantic Gap (ejemplos) CBIR Consulta (parte visual) - Ejemplo tomado de ImageCLEF La búsqueda CBIR está dirigida por el color, la textura, etc. VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 7 de 23

8 Multimedia Semantic Gap (ejemplos) - Ejemplo tomado de Google Images (2012) VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 8 de 23

9 Multimedia Semantic Gap Consulta (parte textual): diver underwater TBIR Consulta (parte visual) - Ejemplo tomado de ImageCLEF La búsqueda es confundida por el texto VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 9 de 23

10 Multimedia Semantic Gap? Combinación multimedia? Combinar información textual y visual Combinar resultados monomodales Otros tipos de combinación VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 10 de 23

11 Combinación multimedia - Estado del arte - Resultados TBIR > Resultados CBIR Benavent, J., Benavent, X., Granados, R., & Garcia-Serrano, A. (2010). Experiences at ImageCLEF 2010 using CBIR and TBIR Mixing Information Approaches. In CLEF 2010 Working Notes. Clinchant, S., Csurka, G., & Ah-Pine, J. (2011). Semantic Combination of Textual and Visual Information in Multimedia Retrieval. ACM International Conference on Multimedia Retrieval. Trento, Italy: ACM. - Beneficios potenciales colaboración Multimedia (MM) Granados, R., Benavent, J., Benavent, X., de Ves, E., & Garcia-Serrano, A. (2011). Multimodal information approaches for the Wikipedia collection at Image-CLEF In CLEF 2011 Working Notes Chatzichristofis, S., Zagoris, K., Boutalis, Y., & Papamarkos, N. (2010). Accurate Image Retrieval based on Compact Composite Descriptors and Relevance Feedback Information. IJPRAI, 24(2), Atrey, P., Hossain, M., & Kankanhalli, M. (2010). Multimodal fusion for multimedia analysis: a survey. Multimedia Systems, Hasta 2010: aproximaciones TBIR globalmente mejor que MM ImageCLEF2010 Evaluation Objectives ( - Reto actual: aprovechar complementariedad entre modos (textual y visual) mediante nuevas aproximaciones de Fusión Multimedia VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 11 de 23

12 Fusión multimedia - Definición: integración de diversos modos de información y sus características asociadas con el objetivo de llevar a cabo una determinada tarea Atrey, P., Hossain, M., & Kankanhalli, M. (2010). Multimodal fusion for multimedia analysis: a survey. Multimedia Systems, Características (de las modalidades involucradas) a tener en cuenta en una tarea de fusión multimedia: Heterogeneidad de formatos Asincronía Niveles de confianza variables Costes y complejidad de captura y procesamiento - Planteamiento: niveles de fusión a nivel de características (early fusion) a nivel de decisiones (late fusion) híbrida VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 12 de 23

13 Fusión multimedia: early fusion - Nivel de características (early fusion): las características extraídas de los datos de entrada son combinadas y, posteriormente, enviadas como entrada para llevar a cabo la tarea de análisis C1 C2... Fusión temprana C1,n Decisión D Cn Ventajas: - Solo una fase de decisión - Correlación Desventajas: - Dimensionalidad - Sincronización - Heterogeneidad VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 13 de 23

14 Fusión multimedia: late fusion - Nivel de características (late fusion): inicialmente se toman decisiones locales basadas en características individuales y, posteriormente, dichas decisiones son combinadas para obtener la decisión final C1 Decisión C2... Decisión... Fusión tardía D1,n Decisión D Cn Decisión Ventajas: - Representación - Escalabilidad - Flexibilidad Desventajas: - Sin correlación - Fase de decisión independiente para cada modalidad VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 14 de 23

15 Contribución Propuesta combinación multimedia para evitar el Semantic Gap, se propone una combinación asimétrica: Late Semantic Multimedia Fusion Prefiltro Textual Fusión Tardía Combinación asimétrica: 1. Fase inicial de prefiltrado textual - similar a la técnica image reranking - restringe semánticamente la colección de búsqueda para CBIR - evaluado en ImageCLEF Prefiltrado textual + Fusión tardía textual y visual: Late Semantic Multimedia Fusion Resultado: la fusión MM supera a la textual y a la visual Granados, R., Benavent, J., Benavent, X., de Ves, E., & Garcia-Serrano, A. (2011). Multimodal information approaches for the Wikipedia collection at Image-CLEF In CLEF 2011 Working Notes VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 15 de 23

16 Propuesta: Fusión Semántica Tardía 1. Prefiltrado Textual ( image reranking) reducción de la colección mejora de resultados de CBIR mantiene cobertura contraejemplos visuales VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 16 de 23

17 Prefiltrado Textual. Ejemplo VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 17 de 23

18 Propuesta: Fusión Semántica Tardía 2. Fusión tardía (a nivel de decisiones): combina resultados TBIR y CBIR (tras prefiltro textual) análisis, evaluación e implementación de algoritmos de fusión (Product, OWA, Enrich, MaxMerge, FilterN) selección dependiente de la colección, la tarea y el objetivo Algoritmo Scores Ranks Combinación Lineal Balanceado Normalización Product Si No No Si Si OWA Si No Si No Si Enrich Si Si No No Si FilterN No Si Si No No MaxMerge Si No Si Si Si Scores: fusión basada en los valores de relevancia Ranks: tiene en cuenta las posiciones en las listas de resultados Combinación Lineal: fusión basada en una combinación lineal Balanceado: misma importancia para todas las entradas Normalización: necesidad de normalización VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 18 de 23

19 Experimentación. Arquitectura IDRA (Granados Muñoz, R., García Serrano, A., Goñi Menoyo, J La herramienta IDRA (Indexing and Retrieving Automatically). Procesamiento de Lenguaje Natural, vol. 1, nº 43) Lucene CBIR-UV Departamento de Informática Universidad de Valencia VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 19 de 23

20 Experimentación. Resultados monomodales - Resultados monomodales (TBIR, CBIR, CBIR tras prefiltro) - Escenario: ImageCLEF (consultas 2011) - Interesante mejora CBIR con Prefiltro Textual (pero lejos de TBIR) Experimento Mode MAP P@10 P@20 TBIR TXT media mejor CBIR CBIR (prefiltro) IMG media mejor VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 20 de 23

21 Experimentación. Resultados Multimedia Experimento MAP TBIR CBIR (Prefiltro) Product (2º) OWA FilterN Enrich MaxMerge Media2011 (11,110) Mejor2011 (Xerox) Experimento MAP Product (1º) media (127,9) mejor (Xerox) ImageCLEF 2011 Experimento MAP Product (1º) media 0, mejor (Xerox) ImageCLEF 2010 ImageCLEF ( ) VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 21 de 23

22 Comentarios finales MAP MAP Consultas 2010 Consultas 2011 TBIR Experimento CBIR (prefiltro) Propuesta LSMF Mejora 7.83% 12.10% 9.51% 10.22% 11.70% 17.86% 9.49% 12.62% TBIR Late Semantic Multimedia Fusion VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia" 22 de 23

23 Fusión de Anotaciones de Información Multimedia: Recuperación de Texto e Imágenes Rubén Granados rgranados@lsi.uned.es VII Jornadas MAVIR: "Avances en Tecnologías de la Lengua y Acceso a la Información Multimedia"