Procesamiento de voz - Reconocimiento de voz II

Transcripción

1 Procesamiento de voz - Reconocimiento de voz II Marc S. Reßl Roxana Saint-Nom 2009 Ingeniería Electrónica Instituto Tecnológico de Buenos Aires

2 Reconocimiento de voz Las técnicas que vimos hasta ahora son deterministas. Existen técnicas estadísticas: Hidden Markov Models (HMM) Algoritmos de Baum-Welch, y de Viterbi Redes neuronales

3 Hidden Markov Models Un modelo oculto de Markov (HMM) es una máquina de estados finita que evoluciona a tiempo discreto.

4 Hidden Markov Models Dynamic Time Warping + Hidden Markov Modeling

5 Hidden Markov Models Cara o cruz? Usemos un modelo de Markov para modelar el proceso: K (cara) Z (Cruz) Ejemplo de una realización: KKZKZZKZ

6 Hidden Markov Models El modelo oculto de Markov (con dos monedas): 1 2 K Z K Z Ejemplo de una realización: KKZKZZKZ

7 Hidden Markov Models Un ejemplo de un modelo observable: una moneda Un ejemplo de un modelo oculto: dos monedas

8 Hidden Markov Models Un ejemplo de un modelo oculto: 3 monedas

9 Hidden Markov Models Se puede construir un modelo para N monedas, denominado modelo derecha-izquierda: Las transiciones son: bucle, estado siguiente, avance rápido Las probabilidades son: aij (de transición), bi (de emisión)

10 Hidden Markov Models Las probabilidades de emisión de observaciones son:

11 Hidden Markov Models Las probabilidades de emisión pueden tener distribución discreta:

12 Hidden Markov Models También pueden tener distribuciones continuas.

13 Hidden Markov Models Se suele usar un modelo ergódico para reconocimiento de locutor:

14 Hidden Markov Models Se suele usar un modelo derecha-izquierda para reconocimiento de voz:

15 b 1 (x) b 2 (x) b 3 (x) Probabilidad de salida x x x Modelo de fonemas Feature vectors Fonema k-1 Fonema k Tiempo Fonema k+1 Hidden Markov Models Reconocimiento de voz (Furui)

16 Hidden Markov Models La distribución gaussiana: Los parámetros de la distribución son:

17 Feature vectors Histogramas Parámetro 1 Parámetro 2 Parámetro d Distribución multi-variable Hidden Markov Models Distribuciones multi-variable

18 Hidden Markov Models Distribuciones multi-variable: Feature vector: Modelos: Parámetros de modelo:

19 Hidden Markov Models Vector de medias: Matriz de covarianza: Cuando la matriz de covarianzas es diagonal:

20 Gaussian Mixture Models Si se aplica el logaritmo a la probabilidad, la suma se transforma en producto: Ésta transformación también simplifica las pdf gaussianas: La probabilidad logarítmica conserva la comparación (log(x) es una función monótona creciente):

21 Gaussian Mixture Models Así se puede definir un modelo de mezclas gaussianas (combinaciones lineales de gaussianas para representar una pdf dada): en donde ckj son los coeficientes de las mezclas gaussianas. Se debe cumplir que:

22 Gaussian Mixture Models GMM provee un mejor modelo que HMM, pero: tiene más parámetros suele ser más difícil de entrenar

23 Modelado de probabilidades de emisión En el enfoque paramétrico, las pdf de la emisión son continuas. En el enfoque no-paramétrico: las pdf s de la emisión son discretos. los feature vectors se cuantizan vectorialmente a M clases. los bij son reducidos a M valores. Los bij(k) determinan la probabilidad de que el vector xk es emitido. La distribución será:

24 Ejemplo Un ejemplo de HMM:

25 Ejemplo Aquí: aij es la probabilidad de transición del estado i al estado j. bij(k) es la probabilidad de emisión del símbolo xk cuando se produce la transición del estado i al estado j.

26 Ejemplo Para el ejemplo:

27 Resumen Para construir un modelo HMM se deben resolver éstas preguntas: Dado una secuencia de feature vectors observados X = [x(1), x(2),..., x(l)] y un modelo W = (A, B), cómo se puede calcular p(x W), la probabilidad de observar la secuencia X, sabiendo que el modelo la emitió? Dado una secuencia de feature vectors observados X y un modelo W = (A, B), cuál es la secuencia de estados Q = [q(1), q(2),..., q(l + 1)] que mejor describe la secuencia? Cómo se pueden definir los parámetros de los modelos tal que se maximice P(X W)?

28 Reconocimiento de palabras aisladas Asumamos que un modelo W ha sido entrenado para una palabra dada, por cierto método de aprendizaje. La tarea del sistema de reconocimiento de voz consiste en buscar, entre todos los modelos de las palabras conocidas, el modelo W ^ que sea el más probable para la observación vista.

29 Reconocimiento de palabras aisladas O sea: en donde: P(X W) es la probabilidad de emisión de la observación X por un modelo de palabra W dado. P(W) es la probabilidad a priori de un modelo de palabra W, ligado al modelo de lenguaje usado. P(X) no depende del modelo.

30 Reconocimiento de palabras aisladas ^ El modelo W maximiza la probabilidad conjunta:

31 Reconocimiento de voz State-of-the-art (Furui)

32 Alineamiento probabilista Un modelo oculto de Markov (HMM) es una máquina de estados finita que evoluciona a tiempo discreto, y cuando la máquina cambia de estado, genera un vector xk con probabilidad de emisión bij(xk): Estado Feature vectors: Tiempo

33 El algoritmo de Baum-Welch Para encontrar los parámetros ocultos de un HMM se puede usar el algoritmo de Baum-Welch. Hace uso del algoritmo forward-backward, que computa la probabilidad de una secuencia observada en el contexto de un HMM. Es un caso especial de un algoritmo generalizado de expectationmaximization.

34 El algoritmo de Baum-Welch (forward) Si tenemos una probabilidad hacia adelante αj(t):

35 El algoritmo de Baum-Welch (forward) En donde: La probabilidad total será:

36 El algoritmo de Baum-Welch (backward) Si tenemos una probabilidad hacia atrás βj(t):

37 El algoritmo de Baum-Welch (backward) En donde: Y para la probabilidad total se dará:

38 El algoritmo de Baum-Welch La probabilidad total es: en donde la probabilidad hacia adelante es: y la probabilidad hacia atrás es:

39 El algoritmo de Baum-Welch O sea que:

40 El algoritmo de Baum-Welch Los pasos son: calcular las probabilidades antes-después para todos los estados qi. calcular las probabilidades ɣij de haber transitado en cualquier instante del estado i al estado j. usar ɣij para calcular los nuevos valores de aij: el algoritmo se itera, hasta que el valor de la probabilidad total no muestra una mejora importante.

41 El algoritmo de Baum-Welch Podemos obtener ɣij así: Podemos calculas los nuevos aij así: ɣi corresponde todas las transiciones partiendo del estado qi. ɣij corresponde a todos los estados. Ambos se calculan así:

42 Ejemplo: el algoritmo de Baum-Welch Re-estimación de a11:

43 Ejemplo: el algoritmo de Baum-Welch Re-estimación de a11:

44 Ejemplo: el algoritmo de Baum-Welch Re-estimación de a11:

45 El algoritmo de Viterbi El algoritmo de Viterbi es otro método para calcular los parámetros ocultos de un HMM. Es un algoritmo de programación dinámica para encontrar la secuencia de estados más probable (denominado camino de Viterbi), resultando en una secuencia de eventos observados.

46 El algoritmo de Viterbi Aquí:

47 El algoritmo de Viterbi En este caso: Y aplicando el logaritmo, resulta: