Proyecto de fin de carrera: Detección de Estribillos Gabriela Saráchaga Virginia Sartori Laura Vignoli

Transcripción

1 Reconocimiento de Patrones de Repetición Proyecto de fin de carrera: Detección de Estribillos Gabriela Saráchaga Virginia Sartori Laura Vignoli

2 Índice Introducción Procedimiento General Matriz de Similitud Método Principal Estribillo Método Alternativo Resumen Herramientas de Cálculo MFCC Vectores de Cromas Referencias

3 Introducción Objetivo Generar una síntesis (estribillo) de una canción de forma automática Motivación Aumento de las bases de datos musicales Aplicaciones: Tienda de discos Descarga de música de la web Thumbnail (huella) Base de datos a analizar: música popular

4 Características generales del estribillo Parte más memorable de una canción Repetición Aumento en la dinámica: cambia melodía, ritmo y armonía Aumento en la sonoridad Introducción de nuevos instrumentos Duración de entre 10 y 30s aprox.

5 Procedimiento General Entrada: Señal de audio y t muestreada a 32 bit y 16 KHz en formato wav (obtenida desde un archivo mp3)

6 Matriz de Similitud (S) Visualización de estructura de piezas musicales Comparación de características extraídas Valor de S(i,j) proporcional a la similitud entre instantes i y j Valores representados en una imagen en escala de grises, con blanco correspondiendo a vectores idénticos

7 Matriz de Similitud Diagonal principal blanca por comparar instantes con sí mismos Cuadros claros representan fragmentos homogéneos de la canción Fragmentos repetidos (estribillos) son visibles como diagonales casi blancas paralelas a la diagonal principal

8 Métodos de Análisis de la Matriz 2 métodos: Método Principal Detecta el estribillo, se basa en repeticiones Método Alternativo Enfoque distinto: Busca el intervalo más parecido a la totalidad de la canción

9 Método Principal Se resaltan las diagonales

10 Método Principal: problemas Hueco en líneas = estribillos con distinta entonación en alguna sílaba o palabra o a la adición de instrumentos Ej: Tracy Chapman She s got her ticket estribillos 1 y 2: detalles 1 y 2:

11 Método Principal: problemas Aparición de triángulos = segmentos de canción compuestos de pequeños fragmentos iguales. Ej. Police, Can t stand loosing you Estos problemas se resuelven considerando cada caso en el tratamiento de las imágenes.

12 Método Alternativo Resumen: el intervalo más similar a la totalidad de la canción Dado un segmento de largo L que comienza en k y termina en k+l, la semejanza Q del segmento con S, se calcula como la suma de sus filas entre k y k+l normalizada: Q k = 1 k L N L N L i=k j =1 S i, j El máximo Q se corresponde con el k inicio del segmento buscado

13 Herramientas de cálculo MFCC (Coeficientes Cepstrales de Frecuencia Mel) Usado para reconocimiento de voz, enfatiza las bajas frecuencias Se relaciona con la forma en que percibimos los sonidos. Vectores de Cromas Basado en octavas y semitonos

14 MFCC: Extracción de Características Variación del Cepstrum C=IFFT(log(Densidad Espectral)) MFCC=IFFT(log(Coef.Mel(Dens.Espectral)))

15 MFCC: Coeficientes Mel Mel : unidad de medida del pitch percibido Banco de Filtros triangulares, centrados en la frecuencia Mel. Medida de distancia para S: distancia coseno

16 Vectores de Cromas: Extracción

17 Vectores de Cromas: Cálculo de Similitud La similitud S i, j entre los vectores y se define como: v t j v t i v t v t i max v t j max v t c c i c c j S i, j =1 12 donde S i, j varía de 0 a 1.

18 Ejemplo: MFCC vs Cromas Alanis Morisette Head over feet MFCC Cromas

19 Ejemplo: MFCC vs Cromas Alanis Morisette Head over feet MFCC Cromas Real est 1: est 2: est 3: est 4:

20 Ejemplo: Método Alternativo Ana Belén Sólo le pido a Dios est 1: est 2: resumen (cromas):

21 Referencias MFCC Auditory Toolbok Michael Slaney Discovering Structure and Repetition in Musical Audio D.Van Dteeland, B.De Baets, H.De Meyer, M.Leman, J.P. Martens, L.Clarisse, M.Lesaffre Visualizing Music and Audio using Self-Similarity Jonathan Foote Vectores de Chromas A chorus-section detecting method for musical audio signal Masataka Goto Resumen Automatic Music Summarization via Similarity Analysis Matthew Cooper and Jonathan Foote