Sistemas Inteligentes. Tema B2T7: Algoritmo de Viterbi. Estimación de modelos de Markov.

Transcripción

1 Sistemas Inteligentes Escuela Técnica Superior de Informática Universitat Politècnica de València Tema BT7: Algoritmo de Viterbi. Estimación de modelos de Markov. DSIC UPV: Octubre, 8 SIN-TemaBT7 índice Algoritmo de Viterbi Aprendizaje: estimación de probabilidades en modelos de Markov Inicialización de la re-estimación por Viterbi DSIC UPV: Octubre, 8 Página BT7.

2 SIN-TemaBT7 Aproximación de Viterbi a P (y M) Dado un modelo oculto de Markov M = (Q, Σ, π, A, B) con estado final F, y una cadena y = y y m Σ +, la probabilidad de que M genere y es: P (y M) = P (y, z) = P (y, q,..., q m ) z Q + q,...,q m Q + Una aproximación a P (y M) es la llamada aproximación de Viterbi: P (y M) = max q,...,q m Q + P (y, q,..., q m ) La correspondiente secuencia de estados más probable es: q = ( q,..., q m ) = argmax P (y, q,..., q m ) q,...,q m Q + En general este cálculo tiene un coste exponencial ya que el número de secuencias de estados crece exponencialmente con m. DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Algoritmo de Viterbi Definimos V (q, t) como la probabilidad máxima de que un modelo oculto de Markov M alcance el estado q en el instante t, emitiendo el prefijo y... y t : V (q, t) = max q,...,q t q t =q V (q, t) puede calcularse recursivamente: V (q, t) = max q,...,q t q t =q P (y y t, q,..., q t ) P (y y t, q,..., q t ) = max q Q max q,...,q t q t =q P (y y t, q,..., q t ) A q,q B q,yt = max q Q V (q, t ) A q,q B q,yt π q B q,y si t = En general: V (q, t) = max V q Q (q, t ) A q,q B q,yt si t > DSIC UPV: Octubre, 8 Página BT7.

3 SIN-TemaBT7 Algoritmo de Viterbi (cont.) Aproximación de Viterbi a P (y M): P (y M) = max q Q V (q, y ) A q,f La función V () puede representarse como una matriz: V q,t V (q, t). Esta matriz define un grafo multietapa denominado trellis y permite el cálculo iterativo eficiente de V (q, y ) por Programación Dinámica. La correspondiente secuencia óptima de estados, q, se calcula recorriendo el trellis hacia atrás. Complejidad temporal del algoritmo: O(mb), donde m es la longitud de la cadena y b es el número de transiciones entre estados. DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Algoritmo de Viterbi: ejemplo b c b a I F.8 DSIC UPV: Octubre, 8 Página BT7.5

4 SIN-TemaBT7 Algoritmo de Viterbi: ejercicio Sea M un modelo con: Q = {,,, F } Σ = {a, b, c} π = π =, π = A F B a b c. Halla el trellis para la cadena abc.. Obtén la secuencia óptima de estados asociada. DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Ejercicio: solución V a t = = = 8 F b t = = 8 8 = 7 = 8 = 9 = 8 = 8 c t = 8 = 5 = 57 = 8 = 9 = 9 = 8 = 78 = 8 = 5 57 = 9 = 5 = 5 Q = (,,, F ) DSIC UPV: Octubre, 8 Página BT7.7

5 SIN-TemaBT7 Ejercicio: presentación gráfica de la solución I a b c DSIC UPV: Octubre, 8 F 5 Página BT7.8 SIN-TemaBT7 Clasificación sintáctico-estadística mediante Viterbi En la práctica, las probabilidades condicionales de las clases suelen aproximarse mediante Viterbi. Consideremos el ejercicio de la página 8 del tema 5. P (y M A ) = max(p (aab, q q q = A), P (aab, q q q = A), P (aab, q q q = A)) = max(.5,.8,.8) =.5 P (y M B ) = max(p (aab, q q q = B), P (aab, q q q = B)) = max(.8,.8) =.8 P (A y) = P (y M A ) P (A) P (y c ) P (c ) = c P (B y) = P (A y) = =.555 c(y) = argmax c=a,b DSIC UPV: Octubre, 8 P (c y) = A resultado idéntico al obtenido mediante Forward Página BT7.9

6 SIN-TemaBT7 PÁGINA INTENCIONADAMENTE EN BLANCO DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 índice Algoritmo de Viterbi Aprendizaje: estimación de probabilidades en modelos de Markov Inicialización de la re-estimación por Viterbi DSIC UPV: Octubre, 8 Página BT7.

7 SIN-TemaBT7 Estimación de probabilidades de un modelo de Markov Problema: Estimar las probabilidades de un modelo de Markov, M, mediante una secuencia de cadenas de entrenamiento Y = {y,..., y n } extraidas independientemente de acuerdo con la ley de probabilidad P (y M). Como las cadenas se han extraído independientemente: P (Y M) = n P (y k M) k= El estimador de máxima verosimilitud de M es: ˆM = argmax M n k= P (y k M) argmax M n k= P (y k M) DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Estimación mediante el algoritmo de Viterbi Idea básica: Analizar todas las cadenas Y, contabilizando las frecuencias de uso de las transiciones entre estados, de generación de símbolos en cada estado, etc. y normalizar adecuadamente. Problema: Cómo analizar las cadenas si no se conocen las probabilidades de del modelo? Una posible solución:. Inicializar las probabilidades adecuadamente. Analizar cada cadena de Y mediante el algoritmo de Viterbi y obtener la secuencia de estados correspondiente. A partir de esta secuencia de estados, contabilizar las frecuencias requeridas.. Normalizar las frecuencias para obtener nuevas probabilidades del modelo 5. Repetir pasos - hasta convergencia. DSIC UPV: Octubre, 8 Página BT7.

8 SIN-TemaBT7 Estimación mediante el algoritmo de Viterbi: ejemplo Se dispone de tres cadenas de contorno de -direcciones que representan tres dígitos siete manuscritos. A partir de estas cadenas se desea re-estimar las probabilidades de un modelo de Markov para estos dígitos. Utilizando el algoritmo de Viterbi se han obtenido las siguientes secuencias óptimas de estados para cada cadena: Cadena: Secuencia óptima de estados: Cadena: Secuencia óptima de estados: Cadena: Secuencia óptima de estados: aaaaaddcdcdcdcdccbabaabababccccb F aaaaaddcdcdcdccdcbabababaabcccdcbb F aaaadcdcdcdcdcdcbababababccdccbaab F Para mayor claridad se representan los trazos horizontales como =a, =c y los verticales como =b, =d. DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Estimación mediante el algoritmo de Viterbi: ejemplo (cont.) π = / = π = π = π = A F A F B a b c d B a b c d DSIC UPV: Octubre, 8 Página BT7.5

9 SIN-TemaBT7 Algoritmo de reestimación por Viterbi Input: M = (Q, Σ, π, A, B ) /* Modelo inicial */ Y = {y,..., y n } /* cadenas de entrenamiento */ Output: M = (Q, Σ, π, A, B) /* Modelo optimizado */ M = M repeat M = M; π = ; A = ; B = for k = to n do m = y k /* secuencia de estados más probable para y k, */ q,..., q m = argmax q,...,q m P (y k, q,..., q m M ) /* por Viterbi */ π q ++; B q,y k, ++ /* actualización de contadores */ for t = to m do A qt, q t ++; B qt,y k,t ++ done; A qm,f ++ done s = q Q π q forall q Q do /* normalización de contadores */ π q = π q /s a = q Q A q,q ; forall q Q do A q,q = A q,q /a b = σ Σ B q,σ; done forall σ Σ do B q,σ = B q,σ /b until M = M DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Reestimación por Viterbi: ejercicio Sea M un modelo de Markov de conjunto de estados Q = {,, F }; alfabeto Σ = {a, b}; probabilidades iniciales π () =.7, π () =.; y probabilidades de transición entre estados y de emisión de símbolos: A F B a b.... Reestima los parámetros de M mediante una iteración de reestimación por Viterbi, a partir de las cadenas de entrenamiento a a a y b b a. DSIC UPV: Octubre, 8 Página BT7.7

10 SIN-TemaBT7 Ejercicio: secuencias de estados mas probables I a a a F. I b b a F.88 Los pares cadena-secuencia óptima de estados obtenidos son: DSIC UPV: Octubre, 8 a a a b b a F F Página BT7.8 SIN-TemaBT7 Ejercicio: parámetros reestimados ˆπ () = = ˆπ () = = A F B a b DSIC UPV: Octubre, 8 Página BT7.9

11 SIN-TemaBT7 índice Algoritmo de Viterbi Aprendizaje: estimación de probabilidades en modelos de Markov Inicialización de la re-estimación por Viterbi DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Inicialización de la re-estimación por Viterbi Una idea elemental: Inicializar todas las probabilidades según distribuciones equiprobables. Problema: Suele producir problemas de convergencia o convergencia a máximos locales inadecuados. Una idea útil para modelos lineales: Segmentar cada cadena de Y en tantos segmentos de (aproximadamente) la misma longitud como estados tenga el modelo de Markov. Asignar los símbolos de cada segmento a su correspondiente estado Contabilizar las frecuencias de generación y transición Normalizar las frecuencias para obtener probabilidades iniciales requeridas DSIC UPV: Octubre, 8 Página BT7.

12 SIN-TemaBT7 Inicialización por segmentación lineal: Ejemplo Obtener un modelo de Markov de N = estados mediante segmentación lineal a partir de las cadenas y = aabbbcc y = aaabbccc Q = {,,, F } Σ = {a, b, c} q = t N + : y + aabbbcc aaabbccc π =, π = π = A F 5 5 B a b c DSIC UPV: Octubre, 8 Página BT7. SIN-TemaBT7 Inicialización por segmentación lineal Input: Y = {y,..., y n }, N /* cadenas de entrenamiento, número de estados */ Output: M = (Q, Σ, π, A, B) /* modelo */ Q = {,,..., N, F }; Σ = {y y k Y } /* estados y símbolos */ π = ; A = ; B = /* inicialización de contadores */ for k = to n do /* actualización de contadores por */ q = ; π q ++; B q,yk, ++ /* alineamiento lineal de y k con los estados */ for t = to y k do q t = q; q = y k + N + ; A q,q++; B q,yk,t ++ done A q,f ++ done s = q Q π q forall q Q do /* normalización de contadores */ π q = π q / s a = q Q A q,q ; forall q Q do A q,q = A q,q / a b = σ Σ B q,σ ; forall σ Σ do B q,σ = B q,σ / b done DSIC UPV: Octubre, 8 Página BT7.