Herramientas de análisis de sonidos sonoros

Transcripción

1 Herramientas de análisis de sonidos sonoros seminario de audio 2009 iie, eme

2 Sonidos Sonoros Casi estacionarios. Casi periódicos. Ej: Vocales, m, n, l, instrumentos de viento, cuerdas, etc.

3 Representación de Sonidos Sonoros Localmente periódicos y casi representables con una serie de Fourier (pocos coeficientes representan la señal) f t

4 Cómo representar un sonido sonoro? Lenguaje que permita representar bien a los sonidos sonoros... Entonces hay que construir un diccionario para el lenguaje que concentre la energía en pocos elementos. A es el diccionario b es el audio (PCM es como usualmente se tiene) x es una frase que describe a b usando el diccionario A. Ax = b

5 Cómo representar un sonido? Si A es ortogonal, sol única. Si A no es ortogonal, criterios: norma 2 - min cuadrados, norma 1 Ax = b norma 0 (sol esparsa, conceptual).

6 Sonidos Sonoros Buena representación: Sonidos sonoros con una descripción corta. Y que el lenguaje sea simple (definido con pocos parámetros). Qué tiene que permitir describir el lenguaje? Suena razonable empezar por: tiempo, frecuencia.

7 Tiempo Tiempo - Audio PCM Base: deltas en tiempo discreto

8 Tiempo Tiempo - Audio PCM Perfecto para representar señales de banda limitada Ineficiente para sonidos sonoros. Excelente localización temporal, malísima localización frecuencial nada esparso! el diccionario no sirve para describir sonidos sonoros conceptualmente.

9 Frecuencia Frecuencias Fourier Más concentradas pero pero no concentra la energía en pocos términos! frecuencia A x = b... = tiempo F -1 {I}x=b

10 Ppio Incertidumbre Principio de Incertidumbre No es posible conocer posición y cantidad de movimiento de una partícula con precisión arbitraria. x p h 2 No se puede tener bien definido tiempo y frecuencia de una partícula sonora...

11 Tiempo-Frecuencia Short Time Fourier Bases: sin, cos enventanados Buena localización frecuencial y/o espacial tiempo tiempo frecuencia tiempo A x = b... = tiempo F -1 x=b

12 Tiempo-Frecuencia Transformada de Fourier de Tiempo Discreto. Dimensiones del espacio 2: t,f Diseño: elección de la ventana.

13 Tiempo-Frecuencia Y se puede mejorar la representación usando una resolución relativa constante...

14 Tiempo-Frecuencia STFT Multi Resolución Base: sin, cos, ventana variable. Muy buena localización espacial y temporal. tiempo tiempo frecuencia tiempo A x = b... = tiempo

15 Tiempo-Frecuencia STFT Multi Resolución: Transformada Q (CQT,MRFFT,IIR-CQT) Dimensión del espacio 2: t, f. Diseño: ventana y el factor de calidad Q. Mejor compromiso resolución tiempo-frecuencia.

16 Principio de Incertidumbre. Pero los sonidos sonoros no son partículas. Se puede sacrificar resolución en una dimensión y ganarla en la otra.

17 Chirps, chirplets Curvelets Base: sin, cos de frecuencia variable enventanados Excelente localización temporal y/o frecuencial! tiempo tiempo frecuencia tiempo A x = b... = tiempo F -1 x=b

18 Transformada Fan chirp lineal Fase: φ α (t) = ( αt)t. Frecuencia instantánea: f i (t) = (1 + αt)f. Dimensión 3: t, f, α. El diseño: elección de la ventana.

19 , dimensión frecuencia tiempo pendiente

20 , implementación Implementación: Generando cada chirplet y proyectando (muy costoso) Time Warping + FFT

21 , time warping Fan chirp transform: Time warping + FFT:

22 , time warping Fan chirp transform: Time warping + FFT: f f f t t t

23 Vecindad en Frecuencia/Pendiente Campo generado por una sinusoide, sinuoides y chirps armónicos. sinusiode sinusoides armónicas chirps armónicos frecuencia pendiente

24 Geometría En módulo muy similar al Núcleo de Tensor Voting. tangente normal Nucleo de tensor voting

25 Geometría - Propiedades Las tres dimensiones del espacio son dependientes entre sí... frecuencia 0 pendiente tiempo Espacio 3D pero la dimensión en que viven los parciales de

26 Fan chirp lineal + Q Para cada parcial: φ α (t) = kf 0 ( αt βt2 )t Entonces: f i (t) = kf 0 (1 + αt) es una aproximación local Si β no es nulo, el error de aproximación es: kf 0 βt 2 El rango de tiempo de validez de la aproximación disminuye con k.

27 Combinando la Fan-Chirp lineal con la transformada Q Lo problemas se atenúan combinando la Transformada Q con la Transformada Fan Chirp. Tiempos de análisis más chicos para frecuencias altas hacen un análisis más local sólo donde la aproximación lineal es buena.

28 Combinando la Fan-Chirp lineal con la transformada Q

29 Q, implementación Implementación: Generando cada chirplet enventado y proyectando (muy costoso) Time Warping + FFT + IIR-CQT Orden: N log N = O(FFT)

30 Generalizando un poco más la Fan Chirp Lineal Fan-Chirp: Lineal Chirps armónicos donde la fase varía cuadráticamente: φ α (t) = f ( αt)t f i (t) = (1 + αt)f Posibles mejoras: Aproximación de orden 3 o 4. φ α (t) = f ( αt βt γt3 )t Aprendido a partir datos reales.

31 Aprendido a partir datos reales Haciendo estadísticas de la base Ground truth Mirex 2004 tomando segmentos de frecuencia fundamental de 100ms y normalizando respecto a la frecuencia central f i (t) = f 0GT (t + kt ) cont [ T w /2, T w /2] f 0GT (kt ) Haciendo PCA de todos los f i se obtiene una aproximación con los vectores propios con mayores valores propios: j=l φ α (t) = (1 + α j v j (t))t j=1

32 Aprendido a partir datos reales Con 3 vectores propios se captura casi toda las variaciones Distribución de las componentes principales 2 y 3 Distribución en las componentes principales 2 y ra componente principal ta componente principal da componente principal da componente principal

33 Aprendido a partir datos reales Con 3 vectores propios se captura casi toda las variaciones 0.2 Muestreo en las dimensiones de las componentes principales Muestreo 3ra componente principal Muestreo 2da componente principal

34 Aprendido a partir datos reales Con 3 vectores propios se captura casi toda las variaciones 25 Valores propios 2,3 y

35 Aprendido a partir datos reales Con 3 vectores propios se captura casi toda las variaciones Vectores propios f/f c Tiempo

36 Comparación chirplet lineal: ventana constante y Q. Espectrograma usando Chirplet lineal, ventana constante Espectrograma usando Chirplet lineal, Q constante Frecuencia 500 Frecuencia Frame Frame

37 Preguntas y ejemplos? Preguntas