VI Jornadas Mavir Tecnologías de Acceso a la Información: Estado actual y retos

Transcripción

1 VI Jornadas Mavir Tecnologías de Acceso a la Información: Estado actual y retos Tecnologías Mavir Visión integrada y escenario

2 Índice Introducción Breve escenario ilustrativo Visión general Secuencia funcional

3 Índice Introducción Breve escenario ilustrativo Visión general Secuencia funcional

4 Introducción Panorámica de tecnologías Mavir Labor articulada en torno al objetivo 4 Interacción con usuario Dos primeros años de progreso en el proyecto Objetivos generales de esta actividad Visualizar las tecnologías disponibles o en desarrollo de cada grupo de investigación Visión integradora de las tecnologías y capacidades del consorcio, aplicaciones potenciales, potencial convergencia y complementariedad (futuros proyectos, etc.) Soporte a la colaboración y sinergias entre los grupos del consorcio Identificación de valor añadido y potencial de transferencia tecnológica

5 Introducción (cont) Metodología Concreción de módulos y componentes que implementan las diferentes tecnologías Identificación de conexiones potenciales Definición de escenarios y casos de uso donde las tecnologías se complementan Dominios y fuentes considerados: vídeos de turismo y patrimonio cultural, noticias de la Unión Europea, Canalcam TV, AECID TV, Flickr, y YouTube Progreso Preparación de un corpus de referencia: 63 vídeos en turismo y patrimonio ti i nacional, inglés + español: transcripción, segmentación, etiquetado manual Corpus auxiliar vídeo en el dominio turístico: 2h español + 1h inglés Especificación detallada de 22 módulos (entrada / salida, funcionalidad) Especificación de estructuras y formatos de datos Implementación de 16+ prototipos / demos sobre el corpus de referencia Instituto de Turismo

6 Áreas tecnológicas Procesamiento multimedia (audio / vídeo / imagen) UPM, URJC, UAM Anotación automática UC3M, UEM Recuperación de información / personalización / análisis de opinión UNED, URJC, UPM, UAM Visualización y acceso a resultados UNED, URJC

7 Índice Introducción Breve escenario ilustrativo Visión general Secuencia funcional

8 Escenario María planea una excursión de fin de semana Introduce en el sistema Mavir la consulta turismo cultural en España La consulta es enviada al subsistema de búsqueda, que integra varios motores multimodales El sistema presenta los resultados, una amplia lista de documentos de texto y vídeo, en inglés y castellano Para hacerse una idea visual de los posibles destinos, María filtra los resultados por vídeo e idioma castellano María visiona segmentos de algunos vídeos Tecnologías: reconocimiento del idioma, transcripción de habla, indexación de texto, segmentación de vídeo, extracción de fotogramas

9 Escenario (cont) La lista de vídeos es muy larga, y María utiliza la funcionalidad agrupar El sistema muestra resultados agrupados María selecciona un grupo relacionado con Barcelona, visualiza varios vídeos relacionados con modernismo, pintura y Gaudí, y los añade a sus favoritos El sistema actualiza el perfil de usuario de María con las etiquetas que anotan los vídeos María habilita la búsqueda personalizada y recomendación, busca arte gótico El sistema personaliza los resultados de la búsqueda En un área aparte, el sistema muestra recomendaciones para el perfil de María Tecnologías: clustering, mapas autoorganizativos, anotación, personalización, recomendación

10 Escenario (cont) Para tener una impresión ió rápida sobre los contenidos recomendados, d María solicita una selección de destacados El sistema selecciona vídeos y segmentos que reflejan valoraciones positivas En esta selección, María visiona un vídeo titulado Un paseo por Montjuic El sistema muestra enlaces a las entidades y conceptos que aparecen en el vídeo María pincha en el concepto Museu Nacional d Art A través de un concepto de ontología, el sistema nuestra la página Wikipedia de este museo María va añadiendo a una lista de favoritos los vídeos y documentos de interés, documentando los lugares que planea visitar en su excursión El sistema actualiza el perfil de María Tecnologías: análisis de opinión, anotación semántica (entidades y conceptos)

11 Índice Introducción Breve escenario ilustrativo Visión general Secuencia funcional

12 Visualización / acceso a resultados query, itemlist query, itemlist videolist video video UNED1 Acceso a información mediante SOM UNED3 Clustering de resultados (Jbraindead) URJC2 Generador de Índices visuales URJC7 Generador de resúmenes visuales URJC8 Segmentador de secuencias itemlists itemclusters framelist video videolist Recuperación de información videolist UPM1 Selección de vídeo temático videosegmentlist URJC1 Búsqueda de segmentos de vídeo por palabra clave itemlist Minería de opinión / personalización-recomendación recomendación itemlist sentencepoaritylist itemlist trancription, query keyword, video itemlist UAM1 Búsqueda personalizada UAM2 Recomendación UPM4 Análisis de opinión UNED2 Indexación UNED2 Búsqueda query, userprofile userprofile query, transcription query query Anotación de contenidos ÍNDICE ANOTACIONES entitylist freebaseconceptlist PERFILES DE USUARIO TRANSCRIP- CION UC3M Reconocedor de entidades transcription UEM Anotador de video con conceptos FreeBase transcription transcription Procesamiento multimedia UPM2 Transcripción habla-texto languagelist speakerlist keywordtimeintervallist audio frameattributelist boolean categorylist frame videosegmentlist UAM3 Verificador de idioma UAM4 Verificador de locutores UAM5 Detección de palabras clave en audio audio audio query, audio URJC5 URJC6 UPM3 Clasificador de Tecnologías Mavir Visión Extractor de integrada y Detector escenario de características cambio de escena imágenes ETSI Informática, Universidad Rey Juan frame Carlos, frameattributelist de noviembre frame 2011 URJC3 Extractor de fotogramas video, time URJC4 Extractor de segmentos video, timeinterval

13 Índice Introducción Breve escenario ilustrativo Visión general Secuencia funcional

14 Tratamiento de vídeo Un paseo por Montjuic Extracción de keyframes Barcelona pintura Palabras / Entidades / Conceptos Anotaciones manuales / sociales cultura gótico mediterráneo arte jardines Montjuic Joan Miró Museu Nacional d'art medieval surrealismo Olimpiadas arquitectura Extracción de segmentos [ 00:00:00 00:07:21 ] [ 00:07:21 00:11:60 ] [ 00:11:60 00:14:89 ] [ 00:14:89 00:17:25 ] [ 00:17:25 00:20:10 ] [ 00:20:10 00:23:06 ] [ 00:23:06 00:25:60 ] [ 00:25:60 00:28:83 ] [ 00:28:83 00:31:23 ]

15 Tratamiento de audio Un paseo por Montjuic Detección del idioma Reconocedor de Fonemas akasalamrateio a a a a Modelado Modelo de Estadístico L i = P( X LMi ) Idioma LM i Lenguaje Score i P ( X LM i ) = log P( X UBM ) Modelo Universal UBM Modelado Estadístico Lenguaje L U = P( X UBM) En la práctica se combina esta técnica con otras que emplean directamente la acústica de cada idioma, e incluso la prosodia.

16 Tratamiento de audio Separación de habla y música úi Un paseo por Montjuic <AudioTranscript> <Music starttime="0.000" endtime="8.476"/> <Speech starttime="8.476" endtime="21.466"/> <Music starttime="21.466" endtime="30.000"/>... </AudioTranscript>

17 Tratamiento de audio Separación de habla y música úi Un paseo por Montjuic <Speech starttime="8.476" endtime="21.466"/>...

18 Tratamiento de audio Transcripción ió de habla Un paseo por Montjuic <Speech speaker="loc" starttime="8.476" endtime="21.466"> Barcelona es una ciudad amante de la cultura en todas sus expresiones. El arte está vivo en sus calles. Su luz y su ambiente ha sido encrucijada de artistas t y tendencias. Al las faldas de la montaña de Montjuic, el Museu Nacional d'art de Catalunya ofrece un gran fondo de arte medieval </Speech>...

19 Extracción de semántica y anotación automática Barcelona es una ciudad amante de la cultura en todas sus expresiones. El arte está vivo en sus calles. Su luz y su ambiente ha sido encrucijada de artistas y tendencias. A las faldas de la montaña de Montjuic, el Museu Nacional d'art de Catalunya ofrece un gran fondo de arte medieval, en el que destaca la exclusiva y única colección de pintura gótica. Entre los jardines y paseos de montaña, la fundación de Joan Miró presenta el color del surrealismo mediterráneo. Cerca, las instalaciones de las Olimpiadas muestran la arquitectura del nuevo milenio. Indexación DocID: Montjuic_esp Término: montjuic Extracción Nº ocurrencias:3 3 Frecuencia: 1 Stopwords Peso: Stemming Campos VSM / TF-IDF (IDRA) Segmentos Campos / segmentos etc. (Lucene) Servicio Web (SOLR) Indexació ón Indice MAVIR

20 Extracción de semántica y anotación automática Extracción de conceptos y entidades nombradas Barcelona es una ciudad amante de la cultura en todas sus expresiones. El arte está vivo en sus calles. Su luz y su ambiente ha sido encrucijada de artistas y tendencias. A las faldas de la montaña de Montjuic, el Museu Nacional d'art de Catalunya ofrece un gran fondo de arte medieval, en el que destaca la exclusiva y única colección de pintura gótica. Entre los jardines y paseos de montaña, la fundación de Joan Miró presenta el color del surrealismo mediterráneo. Cerca, las instalaciones de las Olimpiadas muestran la arquitectura del nuevo milenio. Extracción SPINDEL-Spanish NE Recognizer Freebase concepts Barcelona Joan Miró Montjuic Museu Nacional d'art de Catalunya Olimpiadas

21 Recuperación de información: búsqueda Consulta arte gótico Búsqueda Motor de búsqueda Resultados Barcelona: recorrido por el Barrio Gótico Alcalá lá de Henares: ciudad d Patrimonio de la Humanidad Cuenca: ciudad Patrimonio de la Humanidad Ibiza: ciudad Patrimonio de la Humanidad Índice MAVIR Barcelona modernista Baeza: Patrimonio de la Humanidad Un paseo por Montjuic 0.53 Disfrutar del arte de Valencia

22 Personalización: búsqueda personalizada Personalización ió Resultados Búsqueda personalizada Gaudí modernismo Motor de personalización Gaudí Perfil de usuario Gaudí 0.5 modernismo 0.4 pintura 0.3 museo 0.3 surrealismo s Gaudí, arquitectura de ensueño Barcelona: recorrido por el Barrio Gótico Un paseo por Montjuic Barcelona modernista pintura museo pintura surrealismo Alcalá de Henares: ciudad Patrimonio de la Humanidad Cuenca: ciudad Patrimonio de la Humanidad Ibiza: ciudad Patrimonio de la Humanidad Baeza: Patrimonio de la Humanidad

23 Personalización: recomendación Recomendación Relaciones entre ítems (contenido) pintura museo Perfil de usuario (favoritos) Gaudí, arquitectura de ensueño Barcelona: recorrido por el Barrio Gótico Un paseo por Montjuic Motor de recomendación surrealismo Recomendación por contenido Recomendaciones Dalí, maestro dls del Surrealismo Disfrutar del arte de Valencia La Laguna, Ciudad Patrimonio de la Humanidad Barcelona modernista Recomendación colaborativa Relaciones usuario / item (colaborativo)

24 Extracción de semántica y anotación automática Análisis de opinión [ Barcelona es una ciudad amante Frase de la cultura en todas sus expresio- relevante nes ]. El arte está vivo en sus calles. Su luz y su ambiente ha sido encrucijada Término de artistas y tendencias. A las faldas de consulta de la montaña de polaridad = 0% Montjuic, el Museu Nacional d'art de Catalunya ofrece un gran fondo de arte medieval, en el que [ destaca la exclusiva y única colección de pintura gótica ]. Entre los jardines y paseos de montaña, la fundación de Joan Miró presenta el color del surrealismo mediterráneo. Cerca, las instalaciones de las Olimpiadas muestran la arquitectura

25 Extracción de semántica y anotación automática Análisis de opinión Barcelona es una ciudad amante de la cultura en todas sus expresiones. El arte está vivo en sus calles. Su luz y su ambiente ha sido encrucijada de artistas y tendencias. A las faldas de la montaña de Montjuic, el Museu polaridad = 60% Nacional d'art de Catalunya ofrece un gran fondo de arte medieval, en el que [ destaca la exclusiva y única colección de pintura gótica ]. Entre Frase los jardines y paseos de montaña, la relevante fundación de Joan Miró presenta el color del surrealismo Término mediterráneo. Cerca, las instalaciones de consultade las Olimpiadas muestran la arquitectura del nuevo milenio.

26 Ejemplo 2. Necesidad de información generalista

27 Ejemplo 2. Necesidad de información generalista

28 Visualización e interacción en JBraindead Query Box E xploracion basada en Director rios Web Exploracion basada en retículos Vide eos asocia ados al no odo explo rado

29 Visualización e interacción en JBraindead Clusters rela acionados con el nodo o explorado Clusters no relevantes con respecto al nodo explorado

30 Mapas autoorganizativos Colección de vídeos Mapa de la colección

31 Mapas autoorganizativos Lista personalizada de vídeos de María Mapa personalizado para María +