ANÁLISIS LOCALIZADO. 1. Análisis Localizado en el Dominio Temporal. 2. Análisis Localizado en el Dominio Frecuencial

Transcripción

1 ANÁLISIS LOCALIZADO 1. Análisis Localizado en el Dominio Temporal Energía Localizada. Autocorrelación Localizada. 2. Análisis Localizado en el Dominio Frecuencial Transformada de Fourier Localizada 3. Predicción Lineal. Análisis LPC

2 ANÁLISIS LOCALIZADO Introducción Estacionariedad de la señal de voz Tie m po (s ) n m= [ ( ) ( )] Q = T x m w n m Aspecto a Evaluar Ventana Transformación

3 ANÁLISIS LOCALIZADO EN EL DOMINIO TEMPORAL Energía Localizada ( ) 2 xn ( ) () 2 En = x( m) w( n m) m= x 2 ( n) En hn ( ) hn w n 2 ( ) = ( )

4 ANÁLISIS LOCALIZADO EN EL DOMINIO TEMPORAL Autocorrelación Localizada R ( ) ( ) ( ) ( ) ( ) n k = x m w n m x m k w n m k xn ( ) m= h ( n) k R ( ) n k z k h ( n) = w( n) w( n k) k Aplicaciones: Estimación de Pitch Predicción Lineal Diferente para cada k

5 ANÁLISIS LOCALIZADO EN EL DOMINIO FRECUENCIAL Transformada de Fourier Localizada xn ( ) j 0n e ω j 1n e ω ( j ω Xn e ) = x( m) w( n m) e h ( n) 0 h( n) 1 m= X X n n 0 ( e jω ) 1 ( e jω ) jωm j N 1 e ω n hn ( ) 1 n X n j 1 ( e ωn )

6 ANÁLISIS LPC Representación de las características espectrales de forma precisa y eficiente Pocos parámetros, Cálculos Sencillos Predicción Lineal Error de Predicción sn ( ) A( z) Pz ( ) Pz ( ) p = az i i= 1 p sn ˆ( ) = asn i ( i) i= 1 en ( ) = sn ( ) sn ˆ( ) i sn ˆ( ) en ( ) Az ( ) 1 p = + i= 1 az i i

7 Cálculo de los Coeficientes p sˆ( n) = as i ( n i) i= 1 p 2 E{ e ( n) } = E s( n) + as i ( n i) i= 1 en ( ) = sn ( ) sn ˆ( ) Criterio de Mínimo Error Cuadrático Medio E e 2 { ( n) } a k i= 1 p 2 p = 2 E s( n) + as i ( n i) s( n k) = { } { } p = E snsn ( ) ( k) + sn ( k) asn i ( i) = 0 k = 1, 2,..., P i= 1 E snsn ( ) ( k) = ae sn ( isn ) ( k) R( k) = ar( i k) k= 1,..., P i s i s i= 1 i= 1 p

8 Cálculo de los Coeficientes Ecuaciones de Yule-Walker Rs(0) Rs(1) K Rs( N 1) a1 Rs(1) R (1) R (0) R ( N 2) a R (2) K M M M M M Rs( p 1) Rs( p 2) K Rs(0) a p Rs( p) s s s 2 s 1 = Ra s = Bs a= Rs Bs Matriz de Autocorrelación (Toeplitz) Dos Métodos de Estimación: a) Método de la Autocorrelación Se obtiene una matriz toeplitz Resolución mediante algoritmo de Levinson-Durbin b) Método de la Covarianza Se obtiene una matriz NO toeplitz Resolución mediante descomposión factorial (Cholesky)

9 Algoritmo de Levinson-Durbin INICIO (0) E = R(0) i:1... p 1 Ki = R i a R i j ( i 1) + E () i 1 ( i 1) j ( ) j= 1 a ( i ) j = K i j:1... i-1 a = a K a ( i) ( i 1) ( i 1) j j i i j j ( 1 i ) E = K E ( i) 2 ( i 1) i INICIO

10 Coeficientes PARCOR Para pasar de un predictor de orden i a uno de orden i+1 hay que recalcular los coeficientes del predictor Los coeficientes de correlación parcial (PARCOR) permiten obtener los coef. de orden i a partir de los de orden i-1 a = a K a ( i) ( i 1) ( i 1) j j i i j En ocasiones, puede resultar más conveniente trabajar con los PARCOR. Pasamos de Estructuras transversales a Estructuras en Celosía (Lattice)

11 Coeficientes PARCOR sn ( ) b 0 ( n) e 0 ( n) K K z 1 z b 1 ( n) e 1 ( n) K 2 K 2 e 2 ( n) b 2 ( n) z 1 i b ( n) Error Backward de Orden i i e ( n) Error Forward de Orden i K i = n n i 1 i 1 e n b n ( ) ( 1) ( i 1 ) ( i 1 e ( n) b ( n 1) ) 2 2 n Coeficientes de reflexión del modelo de concatenación de tubos

12 Análisis LPC Salvo en los sonidos nasales, el modelo de producción es AR (todo polos) en ( ) sn ( ) H ( z) H ( z) = P G 1 α i z i = 1 i en ( ) sn ( ) en ˆ( ) H ( z) Az ( ) H( z) = G Az ( )

13 Análisis LPC Residuo Para un Segmento Sonoro

14 Análisis LPC Residuo Para un Segmento Sordo

15 Análisis LPC Envolvente Espectro

16 REPRESENTACIONES DE LA SEÑAL DE VOZ 1. Análisis Homomórfico Cepstrum Cepstrum de la señal de voz 2. Modelo de degradación Ambiental 3. Representaciones Perceptuales MFCC: Mel-Frequency Cepstrum Coefficients PLP: Perceptual Linear Prediction Transformación Bilineal

17 Análisis Homomórfico ( ) Una transformación homomórfica: xn ˆ[ ] = D xn [] convierte una convolución xn [] = en [] hn [] en suma xn ˆ[] = en ˆ[] + hn ˆ[] Un Sistema homomórfico estará compuesto por * * D[ ] L[ ] D -1 [ ] xn [] xn ˆ[ ] yn ˆ[ ] yn [] Cepstrum

18 Análisis Homomórfico Sistema de Análisis D[ ] * Z[ ] x ln + Z -1 [ ] + en []*[] hn E[] z H[] z ln( E[ z]) + ln( H[ z]) en ˆ[ ] + hn ˆ[]

19 Análisis Homomórfico Sistema de Síntesis D -1 [ ] + Z[ ] + e ( ) x Z -1 [ ] * en ˆ[ ] + hn ˆ[] ln( E[ z]) + ln( H[ z]) E[] z H[] z en []*[] hn

20 Análisis Homomórfico SPECTRUM Cepstrum complejo pero π π CEPSTRUM ˆ[ ] 1 jω jωn xn = ln[ X( e )] e d ω 2π π ln[ Xe ( jω)] = ln Xe ( jω) + jarg[ Xe ( jω)] ˆ[ ] 1 jω jωn ln ( ) j jω jωn xn= X e e dω+ arg[ X( e )] e dω 2π 2π π Si x[n] es real el cepstrum complejo es real π π

21 Análisis Homomórfico Cepstrum real π [] 1 jω jωn cn = ln X( e ) e d ω 2π π Cepstrum real es la parte par del cepstrum complejo ˆ[] ˆ cn [] = xn+ x[ n] 2 Variable independiente n Quefrency tiempo

22 Análisis Homomórfico Cepstrum de la señal de voz Excitación e[n] Filtro h[n] e[n]*h[n] Excitación e[n]: secuencia periódica de pulsos ruido blanco Filtro: Función de transferencia racional ARMA

23 Análisis Homomórfico Cepstrum de un sistema ARMA (polo-ceros) M M i (1 1 o Az D a z ) (1 u z ) k k Hz [] = k= 1 k= 1 N N i (1 1 o b z ) (1 v z ) k k k= 1 k= 1 Tomando logaritmos M 1 ln[ ( )] ln[ ] ln[ D i Hz = A+ z ] + ln(1 a z ) + k k= 1 M N N o i 1 o ln(1 u z ) ln(1 b z ) ln(1 v z ) k k k k= 1 k= 1 k= 1

24 Análisis Homomórfico Utilizando el desarrollo en serie de Taylor x n ln(1 x) = n n= 1 Por ejemplo, el término asociado a los polos internos N N n b i ln(1 b z ) = z k 1 1 k 1 n k= n= = i 1 k n Secuencia sobre la que calculamos la transformada Z

25 Análisis Homomórfico ln[ z D ] El término lleva información del origen de tiempos y normalmente no se tiene en cuenta en el cálculo. ln[ A ] + jσ n= 0 N n M n i b i a hn ˆ[ ] = k k n> 0 k 1 n k 1 n = = M u n N v n o k o k n< 0 k= 1 n k= 1 n σ = π si A< 0 σ = 0si A> 0

26 Análisis Homomórfico Propiedades 1. Si el filtro no tiene polos y ceros fuera del circulo unidad (sistema de fase mínima) hn ˆ[ ] = 0paran< 0 2. En sistemas de fase mínima el cepstrum complejo está determinado de forma unívoca por su cepstrum real 0 n< 0 hn ˆ[ ] = cn [] n= 0 2[ cn] n> 0 3. El cepstrum es una secuencia infinita pero decae como 1/n concentrado en el origen

27 Análisis Homomórfico En el caso de un filtro AR (todo-polos) Hz () = G P 1 a z k k k= 1 Ganancia y coeficientes se calculan utilizando Predicción Lineal 0 n< 0 ln[ G] n= 0 n 1 k ˆ ˆ hn [] = a + hk [] a 0n p n < n k k 1 n = n 1 k hka ˆ[ ] n > p n n k k= n p

28 Análisis Homomórfico Cepstrum de una señal periódica (enventanada) M 1 en [] = α δ[ n kn] k k= 0 Su transformada Z M 1 M Ez [] = α z kn (1 a z N = ) k k k= 0 k= 1 Su cepstrum m M a en ˆ[ ] = k δ( n mn) m> 0 m k= 1

29 Análisis Homomórfico Caso límite: tren infinito de impulsos unidad en [] = δ( n kn) k= 0 1 en ˆ[ ] = δ( n mn) m m= 1 Propiedades: 1. Es distinta de cero solo en múltiplos enteros de N, siendo cero en el origen 2. Decae con el factor 1/m con el tiempo

30 Análisis Homomórfico Cepstrum localizado de la señal de voz: Cálculo a través de la Transformada de Fourier Localizada Sea x[n] la secuencia enventanada N 1 j2 π kn/ N Xk [] = xne [] 0 k< N n= 0 1 N 1 ˆ j2 π kn/ N x p [] n = N ln X[] k e = xn ˆ[ + rn] k = 0 r = Para reducir el aliasing N grande

31 Análisis Homomórfico Cepstrum localizado voz hombre Filtro Pitch

32 Análisis Homomórfico Cepstrum localizado voz mujer

33 Análisis Homomórfico Separación excitación-filtro por filtrado homomórfico Filtering Liftering: filtrado homomórfico Filtro Excitación

34 Análisis Homomórfico

35 Análisis Homomórfico Segmento de voz sordo

36 Análisis Homomórfico Aplicación del filtrado homomórfico a la deconvolución ciega Señal de voz con distorsión convolutiva desconocida s[n] h[n] x[n]=s[n]*h[n] Suposición: filtro h[n] invariante en el tiempo En el domino cepstral Tomando el valor medio ( ) xn ˆ[] = sn ˆ[] + hn ˆ[] E xn ˆ[] = Esn ˆ[] + Ehn ˆ[] = Esn ˆ[] + hn ˆ[] Sustrayendo la media ( ) ( ) ( ) ( ) ( ) xn ˆ[] E xn ˆ[] = sn ˆ[] E sn ˆ[] Desaparece el filtrado, pero...

37 Análisis Homomórfico Aplicación del filtrado homomórfico a la deconvolución ciega... quitamos también la media del cepstrum de la señal de voz ( ˆ[ ]) E sn que está relacionado con la densidad espectral de potencia promedio a largo término de la señal de voz: - Comportamiento pasobajo influenciado en gran medida por el pulso glotal En el análisis localizado, influencia de la ventana. Se requieren ventanas de longitud mucho mayor que la longitud de la respuesta impulsional a ecualizar. Ejemplo

38 Modelo de Degradación Ambiental En el habitáculo de un vehículo: Ruido aditivo proveniente de diversas fuentes Ruido multicamino: distorsión convolucional

39 Modelo de Degradación Ambiental Original Filtrada

40 Modelo de Degradación Ambiental

41 Modelo de Degradación Ambiental Señal degradada

42 Modelo de Degradación Ambiental La señal de voz en general puede venir degradada por distorsiones aditivas y convolutivas: Ruido aditivo de fuentes independientes Distorsión de canal r[n] s[n] h[n] + x[n] x[n]=s[n]*h[n]+r[n] jω 2 jω 2 jω 2 jω 2 Xe ( ) = Se ( ) He ( ) + Re ( ) jω jω jω + 2 Se ( ) He ( ) Re ( )cos ( ) ( θω) Valor medio cero

43 Modelo de Degradación Ambiental jω 2 jω 2 jω 2 jω 2 Xe ( ) Se ( ) He ( ) + Re ( ) Tomando logaritmos jω 2 jω 2 jω 2 ln Xe ( ) ln Se ( ) + ln He ( ) + ln 1+ jω 2 Re ( ) jω 2 jω 2 Se ( ) He ( )

44 Modelo de Degradación Ambiental jω 2 jω 2 jω 2 ln Xe ( ) ln Se ( ) + ln He ( ) ln jω jω jω 1+ exp ln Re ( ) ln Se ( ) ln He ( ) Pasando al dominio cepstral ( ˆ ) xn ˆ[] = sn ˆ[] + hn ˆ[] + g rn ˆ[] sn ˆ[] hn [] Donde g(z) es una función no lineal ( 1 ) g[] z = Cepstrum ln(1exp + Cepstrum () z

45 Representaciones Perceptuales MFCC: Mel-Frequency Cepstrum Coefficients Cepstrum real sobre una escala frecuencia no lineal: Escala perceptual MEL {} 2595log 10 1 x Mel x = + 700

46

47 Representaciones Perceptuales

48 Representaciones Perceptuales PLP: Perceptual Linear Prediction (Hermansky, 90) Motivación: incluir propiedades perceptuales en el análisis LPC

49 Representaciones Perceptuales Transformación bilineal 1 s= z α 1 1 α z Célula pasatodo 0<α<1 Hace un mapeado en el plano complejo de la circunferencia de radio unidad sobre si misma αsen( ω) Ω= ω+ 2arctan 1 α cos( ω ) Eligiendo adecuadamente α es similar a Bark o Mel

50 Representaciones Perceptuales

51 Multimodalidad Lectura de labios: Integración audio-visual Video Input Lip Finding / Tracking Lip Feature Extraction Recog. Process Recog. Result Audio Input Preprocessing Voice Feature Extraction Recog. Process HMM