Indexado de Audio. Indexado de Audio

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Indexado de Audio. Indexado de Audio"

Arturo Sáez Paz
hace 5 años
Vistas:

1 Indexado de Audio Índice Fernando Díaz de María - DTSC - UCIIIM 1

2 Análisis por Contenidos de Documentos Multimedia So in only a few years, we will be able to save everything no information will have to be thrown out- and the typical piece of information will never be looked at by a human being Indexado: concepto y aplicaciones Fernando Díaz de María - DTSC - UCIIIM 2

3 Tareas video parsing abstraction video Índice Fernando Díaz de María - DTSC - UCIIIM 3

4 Indexado de audio Extracción de Características [Zhang 2001] Frecuencia Fundamental Audio Extracción de Características ZCR Segmentación Energía Clasificación Fernando Díaz de María - DTSC - UCIIIM 4

5 Análisis localizado: tramas las propiedades de la señal cambian lentamente Enventanado Fernando Díaz de María - DTSC - UCIIIM 5

6 Ventanas: longitud Energía Fernando Díaz de María - DTSC - UCIIIM 6

7 Tasa de cruces por cero Fernando Díaz de María - DTSC - UCIIIM 7

8 Frecuencia fundamental (I) Fernando Díaz de María - DTSC - UCIIIM 8

9 Frecuencia fundamental (II) Fernando Díaz de María - DTSC - UCIIIM 9

10 Frecuencia fundamental (III) Fernando Díaz de María - DTSC - UCIIIM 10

11 Índice Segmentación Fernando Díaz de María - DTSC - UCIIIM 11

12 Fernando Díaz de María - DTSC - UCIIIM 12

13 Índice Clasificación Silencios Con Componentes Musicales vs. Sin Componentes Musicales Voz vs. No Voz Fernando Díaz de María - DTSC - UCIIIM 13

14 Audio Extracción de Características Voz con fondo Musical Segmentación Audio Perceptible Con Componentes Musicales Otros Clasificación Sin Componentes Musicales Voz Silencio Ruido de Ambiente Detección de Silencios Fernando Díaz de María - DTSC - UCIIIM 14

15 Música vs. No Música (I) Música vs. No Música (II) Fernando Díaz de María - DTSC - UCIIIM 15

16 Música vs. No Música (III) Fernando Díaz de María - DTSC - UCIIIM 16

17 Clasificación fina de la clase Con Componentes Musicales Voz con fondo Musical Ruido Ambiental Armónico Con Componentes Musicales Música Clasificación Audio Perceptible Silencio Canción Ruido Fondo Musical Con Componentes Musicales Fernando Díaz de María - DTSC - UCIIIM 17

18 Con Componentes Musicales Voz con fondo Musical Ruido Ambiental Armónico Con Componentes Musicales Música Clasificación Audio Perceptible Silencio Canción Ruido Fondo Musical Trazas de Picos Espectrales (I) Frecuencia Fundamental Audio Extracción de Características ZCR Energía Trazas de Picos Espectrales Fernando Díaz de María - DTSC - UCIIIM 18

19 Trazas de Picos Espectrales (II) Fernando Díaz de María - DTSC - UCIIIM 19

20 Trazas de Picos Espectrales (III) Clasificación fina de la clase Con Componentes Musicales Fernando Díaz de María - DTSC - UCIIIM 20

21 Clasificación fina de la clase Sin Componentes Musicales Audio Extracción de Características Voz con fondo Musical Segmentación Audio Perceptible Con Componentes Musicales Otros Clasificación Sin Componentes Musicales Voz Silencio Ruido de Ambiente Fernando Díaz de María - DTSC - UCIIIM 21

22 Sin Componentes Musicales Posprocesado Fernando Díaz de María - DTSC - UCIIIM 22

23 Índice Tecnologías del habla involucradas Fernando Díaz de María - DTSC - UCIIIM 23

24 Fernando Díaz de María - DTSC - UCIIIM 24

25 Reconocimiento de habla para indexado Fernando Díaz de María - DTSC - UCIIIM 25

26 Fuentes de información para RAH Representación paramétrica Parámetros extraídos de la señal de voz Modelado acústico Describe los sonidos que conforman el habla Reconocimiento de habla Diccionario Describe la secuencia de sonidos que forman palabras válidas Modelo de lenguaje Describe la probabilidad de existencia de secuencias de palabras Características del reconocedor Fernando Díaz de María - DTSC - UCIIIM 26

27 Problemática (I) Problemática (II) Fernando Díaz de María - DTSC - UCIIIM 27

28 Problemática (III) Problemática (IV): Variabilidad intralocutor Cualidad de la voz Gutural, tensa, susurrante, patológica Variaciones de estilo Claro, articulado, formal, espontáneo, normal, lectura, dictado Velocidad de elocución Normal, lenta, rápida Contexto Deporte, profesional, entrevista, conversación libre, diálogo hombre-máquina Estrés Efecto Lombard (con ruido) Factores emocionales Carga cognitiva Fernando Díaz de María - DTSC - UCIIIM 28

29 Sistemas actuales Sistema Tasa de error (%) Relación tasa de reconocimiento y resultados del indexado Tasa de error de palabra = WER = S + I + B N Fernando Díaz de María - DTSC - UCIIIM 29

30 Precisión vs. tasa de error (WER) Precisión: : nº de registros relevantes obtenidos/nº total de registros obtenidos 100 Precisión (%) % of Text IR Tasa de error de palabra (%) Recall vs. tasa de error (WER) Recall: nº de registros relevantes obtenidos/nº total de registros relevantes Recall (%) % of Text IR Tasa de error de palabra (%) Fernando Díaz de María - DTSC - UCIIIM 30

31 Bibliografía (I) Bibliografía (II) The LIMSI Broadcast News Transcription System SpeechBot: An Experimental Speech-Based Search Engine for Multimedia Content in the Web Fernando Díaz de María - DTSC - UCIIIM 31

Documentos relacionados

Interfaces conversacionales

Interfaces conversacionales Índice Fernando Díaz de María, DTSC, UCIIIM 1 El tamaño de los terminales móviles Prototipos 3G Fernando Díaz de María, DTSC, UCIIIM 2 Posibilidades de interacción Interfaces