Aprendizaje Automático. 5. Modelos gráficos. Septiembre, Index

Transcripción

1 Aprendizaje Automátio 5. Modelos gráfios Franiso Casauberta Nolla Enrique Vidal Ruiz Departament de Sistemas Informàtis i Computaió (DSIC) Universitat Politènia de Valènia (UPV) Aprendizaje Automátio Modelos gráfios: 5.1 Index 1 Introduión a los modelos gráfios 1 2 Redes bayesianas 6 3 Independenia ondiional 14 4 Inferenia en redes bayesianas 18 5 Campos de Markov aleatorios 28 6 Aprendizaje de modelos gráfios 35 7 Bibliografía y notaión 46

2 Aprendizaje Automátio Modelos gráfios: 5.2 Modelos gráfios (MG) Los MGs y onretamente las redes bayesianas fundamentan la aproximaión probabilístia a los Sistemas Inteligentes. Uno de los más famosos impulsores fue Judea Pearl ganador del ACM A.M. Turing Award en Conepto: Representaión ompata de distribuiones de probabilidad onjunta mediante grafos dirigidos (redes bayesianas) y no dirigidos (ampos aleatorios markovianos) (teoría de grafos + teoría de la probabilidad). Los MGs generalizan a las redes neuronales y a los modelos de Markov oultos entre otros. Aspetos: Inferenia: deduir distribuiones de probabilidad a partir de otras dadas Aprendizaje: obtener el modelo probabilístio a partir de observaiones Apliaiones: Diagnóstio médio, de fallos,... Visión por omputador: segmentaión de imágenes, reonstruión 3D, análisis de esenas Proesado del lenguaje natural: reonoimiento del habla, extraión de informaión textual, traduión automátia,... Robótia: planifiaión, loalizaión,... Aprendizaje Automátio Modelos gráfios: 5.3 PÁGINA INTENCIONADAMENTE EN BLANCO

3 Aprendizaje Automátio Modelos gráfios: 5.4 Algunos oneptos sobre la teoría de las probabilidades Probabilidad P (x) : P (x) = 1 Probabilidad onjunta P (x, y) : Probabilidad ondiional P (x y) : x P (x, y) = 1 x y P (x y) = 1 x y Marginales P (x) = y P (x, y), P (y) = x P (x, y) Regla de la probabilidad onjunta P (x, y) = P (x) P (y x) Regla de la adena P (x 1, x 2,..., x N ) = P (x 1 ) Regla de Bayes P (y x) P (x) = P (y) P (x y) N P (x i x 1,..., x i 1 ) i=2 Aprendizaje Automátio Modelos gráfios: 5.5 Fatorizaión de distribuiones onjuntas Una distribuión onjunta sobre tres variables puede expresarse exatamente mediante seis fatorizaiones ompletas diferentes: P (a, b, ) = P (a) P (b a) P ( a, b) = P (a) P ( a) P (b a, ) = P (b) P (a b) P ( a, b) = P (b) P ( b) P (a b, ) = P () P (a ) P (b a, ) = P () P (b ) P (a b, ) Cada fatorizaión se pueden representar mediante un grafo dirigido aílio: a a b b b a a b b a b a

4 Aprendizaje Automátio Modelos gráfios: 5.6 Index 1 Introduión a los modelos gráfios 1 2 Redes bayesianas 6 3 Independenia ondiional 14 4 Inferenia en redes bayesianas 18 5 Campos de Markov aleatorios 28 6 Aprendizaje de modelos gráfios 35 7 Bibliografía y notaión 46 Aprendizaje Automátio Modelos gráfios: 5.7 Redes bayesianas: ejemplos Si hay dependenias inexistentes (o despreiables), la fatorizaión exata (o aproximada) de una distribuión onjunta puede ser inompleta, lo que queda reflejado en el grafo orrespondiente. Ejemplos: P (a, b, ) = P (a, b,, d, e, f) = P (a) P (b) P ( a, b) P (a) P (b) P () P (d b, ) P (e a, b, d) P (f a, ) a a b b d f e

5 Aprendizaje Automátio Modelos gráfios: 5.8 Redes bayesianas: un ejemplo detallado P (A L) Aspersor (A) Lluvia (L) p f n s Aspersor Césped Lluvia P (L) Lluvia (L) n s Aspersor Césped Lluvia p : parado f : funiona r : reseo m: mojado n : no llueve s : sí llueve P (C A, L) Césped (C) Lluvia (L) Aspersor (A) r m n p n f s p s f Distribuión onjunta: P (L, A, C) = P (L) P (A L)P (C L, A) Ejeriio: alular P (L = l, A = a, C = ), l {n, s}, a {p, f}, {r, m}. Aprendizaje Automátio Modelos gráfios: 5.9 Un ejemplo detallado (ont.) Cuál es la probabilidad de que llueva si el ésped está mojado? P (L = s C = m) = = = P (L = s, C = m) P (C = m) a {p,f} P (L = s, A = a, C = m) P (L = l, A = a, C = m) a {p,f},l {n,s} = El ésped está mojado. Cuál es la mejor prediión: llueve o no llueve? arg max P (L = l C = m) = n l {n,s} Ejeriio: a) Calular P (A = a L = l, C = ), a {p, f}, l {n, s}, {r, m}. b) Llueve y el esped está mojado. Cuál es la mejor prediión sobre el estado del aspersor?

6 Aprendizaje Automátio Modelos gráfios: 5.10 Redes bayesianas: otro ejemplo P (P ) Poluión (P) b a P (X C) Rayos X (X) Cáner (C) n d p n p Poluión Rayos X Cáner de pulmón Fumador Disnea P (F ) Fumador (F) n s P (D C) Disnea (D) Cáner (C) n s n p Poluión Fumador Disnea Rayos X Cáner b: bajo a: alto n: no s: sí n: no s: sí n: negativo d: dudoso p: positivo n: negativo p: positivo P (C P, F ) Cáner (C) Poluión (P) Fumador (F) n p b n b s a n a s Ejeriio: Cuál es la probabilidad de que un paiente no fumador no tenga áner si la radiografía ha dado un resultado negativo pero sufre de disnea? Aprendizaje Automátio Modelos gráfios: 5.11 Redes bayesianas Una red bayesiana es un grafo dirigido y aílio ( direted ayli graph -DAG-) donde: Los nodos representan: variables aleatorias (disretas o ontínuas) distribuiones de probabilidad ondiional para ada variable x i dados los valores de las variables asoiadas a los nodos padres a(x i ) Los aros representan dependenias entre las variables Una red bayesiana on nodos x 1,..., x D probabilidad onjunta: define una distribuión de D P (x 1,..., x D ) = P (x i a(x i )) i=1

7 Aprendizaje Automátio Modelos gráfios: 5.12 Algunas redes bayesianas simples El lasifiador de Bayes (x R d y {1,..., C}): x P () P (x ) P (x, ) = P () P (x ) P ( x) = P (x, ) P (x) = P () P (x ) P ( ) P (x ) Modelos naive-bayes (x i R on 1 i d y {1,..., C}): P () x 1 x d P (x 1,..., x d, ) = P () d P (x i ) i=1 P (x 1 ) P (x d ) Aprendizaje Automátio Modelos gráfios: 5.13 Otro ejemplo de red bayesiana: modelo oulto de Markov P(q q ) 1 1 P(x q ) P(x q ) 1 P(q 2 q 1 ) 2 q q 1 2 P(q q ) 2 2 P(X Q ) 1 1 X 1 P(X Q ) 2 2 P(X Q ) 3 3 P(X Q ) 4 4 X 2 X 3 X 4 Σ = {a, b, }, x Σ Q = {q 1, q 2 } Q 1 Q 2 Q 3 Q 4 P(Q Q ) 2 1 P(Q Q ) 3 2 P(Q ) 1 P(Q Q ) 4 3 Las variables aleatorias Q i toman valores en Q y las X i en Σ, 1 i 4. Probabilidad onjunta de la red bayesiana: P (X 1 X 2 X 3 X 4, Q 1 Q 2 Q 3 Q 4 ) = P (Q 1 ) P (X 1 Q 1 ) P (Q 2 Q 1 ) P (X 2 Q 2 ) P (Q 3 Q 2 ) P (X 3 Q 3 ) P (Q 4 Q 3 ) P (X 4 Q 4 ) Probabilidad de generar la adena aab : P (X 1 = a, X 2 = a, X 3 = b, X 4 = ) = r 1,r 2,r 3,r 4 Q P (X 1 = a, X 2 = a, X 3 = b, X 4 =, Q 1 = r 1, Q 2 = r 2, Q 3 = r 3, Q 4 = r 4 ) O sea, la suma de probabilidades de generar aab mediante todas las seuenias de 4 estados.

8 Aprendizaje Automátio Modelos gráfios: 5.14 Index 1 Introduión a los modelos gráfios 1 2 Redes bayesianas 6 3 Independenia ondiional 14 4 Inferenia en redes bayesianas 18 5 Campos de Markov aleatorios 28 6 Aprendizaje de modelos gráfios 35 7 Bibliografía y notaión 46 Aprendizaje Automátio Modelos gráfios: 5.15 PÁGINA INTENCIONADAMENTE EN BLANCO

9 Aprendizaje Automátio Modelos gráfios: 5.16 Independenia ondiional Se die que a es ondiionalmente independiente de b dado (o también que a está D-separado de b por, y se denota omo: a b ) si: P (a, b ) = P (a )P (b ) P (a b, ) = P (a ) Se die que a es inondiionalmente independiente de b (y se denota omo: a b ) si: P (a, b) = P (a) P (b) Aprendizaje Automátio Modelos gráfios: 5.17 Reglas de independenia onditional e inonditional a b Direión ausal: a b, a / b P (a)p ( a)p (b ) P (a, b ) = = P (a )P (b ) P () pero en general P (a, b) P (a)p (b) a b Causa omún: a b, a / b P ()P (a )P (b ) P (a, b ) = = P (a )P (b ) P () pero en general P (a, b) P (a)p (b) a b Estrutura en V: a / b, a b En general P (a, b ) P (a )P (b ) pero P (a, b) = P (a)p (b)p ( a, b) = P (a)p (b)

10 Aprendizaje Automátio Modelos gráfios: 5.18 Index 1 Introduión a los modelos gráfios 1 2 Redes bayesianas 6 3 Independenia ondiional 14 4 Inferenia en redes bayesianas 18 5 Campos de Markov aleatorios 28 6 Aprendizaje de modelos gráfios 35 7 Bibliografía y notaión 46 Aprendizaje Automátio Modelos gráfios: 5.19 Inferenia on redes bayesianas En general, el problema onsiste en alular la probabilidad a posteriori de alguna variable x a partir de las distribuiones onjuntas asoiadas a una RB, dada alguna evidenia e (omo valores dados de otras variable) y sin importar los valores de resto de las variables f: P (x e) = P (x, e) P (e) on: P (x, e) = f P (x, e, f), P (e) = x,f P (x, e, f) El objetivo es alular efiientemente P (x, e) y P (e) Ejemplo: Calular P (x 3 ) a partir de una distribuión onjunta dada por: P (x 1, x 2, x 3, x 4 ) = P (x 2 )P (x 1 x 2 )P (x 3 x 2 )P (x 4 x 3 ) Supongamos que ada x i, i = 1, 2, 3, 4 puede tomar n valores: P (x 3 ) = x 1,x 2,x 4 P (x 2 )P (x 1 x 2 )P (x 3 x 2 )P (x 4 x 3 ) O(n 3 ) operaiones. P (x 3 ) = x 2 P (x 2 )P (x 3 x 2 ) x 1 P (x 1 x 2 ) x 4 P (x 4 x 3 ) = x 2 P (x 2 )P (x 3 x 2 ) O(n) operaiones.

11 Aprendizaje Automátio Modelos gráfios: 5.20 Inferenia on redes bayesianas Situaiones donde es útil alular las probabilidades a-posteriori: Prediión: Cuál es la probabilidad de observar un síntoma sabiendo que se tiene una determinada enfermedad? Diagnóstio: Cuál es la probabilidad de que una determinada enfermedad sea un diagnóstio orreto dados algunos síntomas? En RB, la direión de los enlaes entre variables no restringe el tipo de preguntas que se pueden haer. Aprendizaje Automátio Modelos gráfios: 5.21 Tipos de redes bayesianas La estrutura de una Red Bayesiana puede permitir iertas fatorizaiones sistemátias en los álulos asoiados a la inferenia. Dos tipos de estrutura adimiten fatorizaiones efiientes: adena y (poli-)árbol. Cadena Árbol Poli-árbol Grafo (DAG)

12 Aprendizaje Automátio Modelos gráfios: 5.22 Inferenia en una adena x i x i+1 x n-1 x n x n+1 x f-1 x f E + - xn E xn Supongamos que el último x i E + x n y el primer x f E x n están dados: P (x n x i, x f ) = P (x n, x i, x f ) P (x i, x f ) = P (x n) P (x i x n ) P (x f x n, x i ) P (x i, x f ) P (x n ) P (x i ) P (x n x i ) P (x f x n ) P (x n ) P (x i, x f ) = (Indep. ond.: x f (Regla de Bayes) = α P (x n x i ) P (x f x n ) (α = P (x i )/P (x i, x f )) x i x n ) Ejeriio: Qué ourre si también onoemos x i E + xn on i < i? Ejeriio: Qué ourre si también onoemos x f E xn on f > f? Aprendizaje Automátio Modelos gráfios: 5.23 Inferenia en una adena Propagaión de reenias ( Belief propagation ) π (x ) n λ (x ) n x i x i+1 x n-1 x n x n+1 x f-1 x f E + - xn E xn P (x n x i, x f ) = α P (x n x i ) P (x f x n ) def = α π(x n ) λ(x n ) donde π(x n ) y λ(x n ) se alulan omo: π(x i ) = 1 λ(x f ) = 1 π(x n ) = x n 1 P (x n x n 1 ) π(x n 1 ) λ(x n ) = x n+1 P (x n+1 x n ) λ(x n+1 ) Ejeriio: Obtener una expresión para P (x n )

13 Aprendizaje Automátio Modelos gráfios: 5.24 Inferenia en una adena (derivaión I) π (x ) n-1 π (x ) n x i x i+1 x n-1 x n x n+1 x f-1 x f E + - xn E xn π(x n ) = P (x n x i ) = x n 1 P (x n, x n 1 x i ) = P (x n 1 x i ) P (x n xi, x n 1 ) = P (x n 1 x i ) P (x n x n 1 ) x n 1 x n 1 = x n 1 π(x n 1 ) P (x n x n 1 ) π(x i ) = 1 Aprendizaje Automátio Modelos gráfios: 5.25 Inferenia en una adena (derivaión II) λ (x ) n λ (x ) n+1 x i x i+1 x n-1 x n x n+1 x f-1 x f E + - xn E xn λ(x n ) = P (x f x n ) = x n+1 P (x f, x n+1 x n ) = P (x n+1 x n ) P (x f x n, x n+1 ) = P (x n+1 x n ) P (x f x n+1 ) x n+1 x n+1 = x n+1 P (x n+1 x n ) λ(x n+1 ) λ(x f ) = 1

14 Aprendizaje Automátio Modelos gráfios: 5.26 Inferenia en un árbol u i λ (u ) x i j λ (x ) y j k x j π (u ) x i j π (x ) y j k E + x j y k E - x j Para alular P (x j E x + j, Ex j ) = α π(x j ) λ(x j ) m λ(x j ) = λ yk (x j ) on λ yk (x j ) = λ(y k ) P (y k x j ) y k k=1 π(x j ) = u i P (x j u i ) π xj (u i ) on π xj (u i ) = α j j λ xj (u i ) π(u i ) Aprendizaje Automátio Modelos gráfios: 5.27 Inferenia en otros tipos de grafos Poli-arboles ( Polytrees ). Los nodo pueden tener múltiples padres, pero solo puede existir un amino únio entre ualquier par de nodos: una generalizaión del algoritmo sobre un árbol. Grafos generales. Inferenia aproximada: Métodos variaionales. Métodos basados en muestreo.

15 Aprendizaje Automátio Modelos gráfios: 5.28 Index 1 Introduión a los modelos gráfios 1 2 Redes bayesianas 6 3 Independenia ondiional 14 4 Inferenia en redes bayesianas 18 5 Campos de Markov aleatorios 28 6 Aprendizaje de modelos gráfios 35 7 Bibliografía y notaión 46 Aprendizaje Automátio Modelos gráfios: 5.29 Campos de Markov aleatorios Un ampo de Markov aleatorio es un modelo gráfio en la que se asume un modelo simplifiado de independenia ondiional. Se define omo: Un onjunto de variables aleatorias V = {X 1,..., X D } Un grafo no-dirigido R = (V, E) El onjunto Q de todos los liqués (máximos) de R Una distribuión de probabilidad onjunta fatorizada omo: P (x 1,..., x D ) = 1 ψ C (V C ) Z C Q donde V C es el subonjunto de variables del liqué C y ψ C :Q R >0 es una funión llamada funión potential y Z es un fator de normalizaión. Ejemplo (3 liqués máximos, V 1 = {A, B, C}, V 2 = {C, D}, V 3 = {D, E}): A C B D E P (A, B, C, D, E) = 1 Z ψ 1(A, B, C) ψ 2 (C, D) ψ 3 (D, E) Un liqué es un subgrafo totalmente onetado. Es máximo si no es subgrafo de algún otro liqué.

16 Aprendizaje Automátio Modelos gráfios: 5.30 Campos de Markov aleatorios: poteniales exponeniales Si las funiones de potenial son de la familia exponenial: P (x 1,..., x D ) = 1 exp ( E(V C )) = 1 ( Z Z exp ) E(V C ) C Q C Q donde E :Q R es una funión llamada funión de energía. Un tipo de funión de energía simple puede definirse mediante funiones lineales generalizadas: E(V C ) = k θ C,k f C,k (V C ) Aprendizaje Automátio Modelos gráfios: 5.31 Un ejemplo Imagen binaria original: x, x i { 1, +1}, 1 i D (D = número de píxeles de la imagen) La imagen orrupta: y, y i { 1, +1}, 1 i D (se han alterado 10% de los píxeles) El objetivo es reuperar la imagen original a partir de la imagen orrupta

17 Aprendizaje Automátio Modelos gráfios: 5.32 Un ejemplo (Bishop. Pattern Reognition and Mahine Learning. 2006) Fuerte orrelaión entre x i y y i y i Correlaión entre x i y x j si son píxeles veinos; es deir, si i N(j), j N(i). x i Cliques máximos: C i = (x i, y i ) i; C ij = (x i, x j ) i, j N(i) Funión de energía: E(V Cij ) = β x i x j E(V Ci ) = ν x i y j } C Q E(V C ) = β i,j x i x j ν i x i y i Distribuión onjunta: P (x 1,..., x D, y 1,..., y D ) = 1 Z exp ( β i,j x i x j + ν i x i y i ) Aprendizaje Automátio Modelos gráfios: 5.33 Un ejemplo (Bishop. Pattern Reognition and Mahine Learning. 2006) A partir de la distribuión onjunta: P (x, y) P (x 1,..., x D, y 1,..., y D ) = 1 Z exp ( β i,j x i x j + ν i x i y i ) Inferenia: P (x y) = P (x, y) P (y) = exp (β i,j x ix j + ν ) i x iy i x exp 1,...,x D ( β i,j x i x j + ν ) i x i y i Expliaión más probable: ˆx (ˆx 1,..., ˆx D ) = arg max P (x y) = arg max (β x x 1,...,x D i,j x i x j + ν i x i y i ) Esto es, ˆx =

18 Aprendizaje Automátio Modelos gráfios: 5.34 Inferenia on ampos de Markov aleatorios En adenas: Algoritmo adelante-atrás ( Bakward-Forward algorithm ) En árboles: Algoritmo suma-produto En grafos generales: Algoritmo de árbol de unión ( Juntion tree algorithms ), algoritmo suma-produto ( Loopy belief propagation ) Aprendizaje Automátio Modelos gráfios: 5.35 Index 1 Introduión a los modelos gráfios 1 2 Redes bayesianas 6 3 Independenia ondiional 14 4 Inferenia en redes bayesianas 18 5 Campos de Markov aleatorios 28 6 Aprendizaje de modelos gráfios 35 7 Bibliografía y notaión 46

19 Aprendizaje Automátio Modelos gráfios: 5.36 Aprendizaje de redes bayesianas Dada la estrutura, aprender las distribuiones de probabilidad a partir de un onjunto de entrenamiento. Métodos basados en la maximizaión de la verosimilitud (algoritmo EM -T3-). Aprendizaje bayesiano. Aprender la estrutura a partir de un onjunto de entrenamiento. Un problema de seleión de modelos: búsqueda en el espaio de grafos. Aprendizaje Automátio Modelos gráfios: 5.37 Aprendizaje en redes bayesianas: ejemplo B es el estado de la batería (argada B = 1 o desargada B = 0) C es el estado del depósito de ombustible (lleno C = 1 o vaío C = 0) I es el estado del indiador elétrio del ombustible (lleno I = 1 o vaío I = 0) Por simpliidad se asume que las distribuiones asoiadas a las variables I y C son fijas y onoidas y hay que estimar la distribuión de B a partir de observaiones. P (B) =? P (C = 1) = 0.9 P (I = 1 B = 0, C = 0) = 0.1 P (I = 1 B = 0, C = 1) = 0.2 P (I = 1 B = 1, C = 0) = 0.2 P (I = 1 B = 1, C = 1) = 0.8 B C I P (B, C, I) = P (B) P (C) P (I B, C) P (B) viene dada por dos valores de probabilidad, p 0 = P (B = 0), p 1 = P (B = 1). Por tanto los parámetros a estimar son: Θ = (p 0, p 1 ), p 0 + p 1 = 1

20 Aprendizaje Automátio Modelos gráfios: 5.38 Aprendizaje on observaiones ompletas Sea S = {(b 1, 1, i 1 ),..., (b N, N, i N ), } un onjunto de observaiones de entrenamiento. Sean N 0 y N 1 = N N 0 los números de observaiones en las que b = 0 y b = 1, respetivamente. Se asume que S está ordenado de forma que b n = 0, 1 n N 0 y b m = 1, N N0 +1 m N. La log-verosimilitud es: L S (p 0, p 1 ) = = = N log P (b = b n, C = n, I = i n ) n=1 N log P (b = b n )P (C = n )P (I = i n B = b n, C = n ) n=1 N 0 log p 0 + n=1 N m=n 0 +1 log p 1 + K = N 0 log p 0 + N 1 log p 1 + K donde K inluye los términos independientes de p 0, p 1. Maximizaión de L S mediante multipliadores de Lagrange, omo en el ejemplo de estimaión de probs. a priori del Tema 3 ˆp 0 = N 0 N, ˆp 1 = N 1 N Ejemplos: S = {(0, 1, 1), (1, 1, 0)} ˆp 0 = 1 2, ˆp 1 = 1 2 S = {(0, 0, 1), (1, 1, 0)} ˆp 0 = 1 2, ˆp 1 = 1 2 S = {(0, 1, 1), (0, 0, 1), (1, 1, 0)} ˆp 0 = 2 3, ˆp 1 = 1 3 Aprendizaje Automátio Modelos gráfios: 5.39 Algoritmo esperanza-maximizaión (EM) (Reordatorio) Dada la muestra S = {x 1,..., x N } y variables latentes {z 1,..., z N }. Iniializaión: t = 1, Θ(1) = arbitrario. Iteraión hasta la onvergenia: Paso E: A partir de Θ(t) y para todo 1 n N, ˆq n (z n ) P (z n x n ; Θ(t)) Paso M: Maximizaión de Q(Θ, ˆq) on respeto a Θ Θ(t + 1) = arg max Θ t = t + 1 Q (Θ, ˆq) = arg max Θ N n=1 z n ˆq n (z n ) log P (x n, z n Θ)

21 Aprendizaje Automátio Modelos gráfios: 5.40 Algoritmo esperanza-maximizaión (EM) En el ejemplo, se dispone de observaiones del estado del depósito de ombustible y de lo que marque el indiador del estado de batería, pero no del verdadero estado de la batería, la muestra inompleta serán los datos observables, S = {( 1, i 1 ),..., ( N, i N )}, (x = (, i)), las variables latentes, {b 1,..., b N } (z = b) y los parámetros p 0 y p 1 (Θ = (p 0, p 1 )). Iniializaión: t = 1, p 0 (1) = arbitrario y p 1 (1) = 1 p 0 (1). Iteraión hasta la onvergenia Paso E. A partir de p 0 (t) y p 1 (t) y ada muestra 1 n N. Paso M. ˆq n (b) P (B = b C = n, I = i n ; p 0 (t), p 1 (t)) b {0, 1} (p 0 (t + 1), p 1 (t + 1)) = arg max Q (p 0, p 1, ˆq) p 0,p 1 = N 1 arg max ˆq n (b) log P (C = n, I = i n, B = b p 0, p 1 ) p 0,p 1 t = t + 1 n=1 b=0 Aprendizaje Automátio Modelos gráfios: 5.41 Aprendizaje EM on observaiones inompletas: Paso E En el paso E hay que alular, para ada observaión inompleta, la distribuión de probabilidad de la variable oulta o latente (B) dados los valores onoidos de las otras dos variables (C e I) y de los parámetros obtenido en la iteraión anterior t (p 0 (t), p 1 (t)). ˆq n (b) = P (B =b C = n, I = i n ; p 0 (t), p 1 (t)) = P (B =b, C = n, I = i n ; p 0 (t), p 1 (t)) P (C = n, I = i n ; p 0 (t), p 1 (t)) = P (B =b; p 0 (t), p 1 (t)) P (C)P (I B =b, C) P (B =0) P (C)P (I B =0, C) + P (B =1) P (C)P (I B =1, C) = p b (t) k bn p 0 (t) k 0n + p 1 (t) k 1n para b {0, 1} Donde: k 0n = P (I =i n B =0, C = n ) y k 1n = P (I =i n B =1, C = n )

22 Aprendizaje Automátio Modelos gráfios: 5.42 Aprendizaje EM on observaiones inompletas: paso M En el paso M hay que maximizar Q (p 0, p 1, ˆq), definida en base a las esperanzas aluladas en el paso E. Q (p 0, p 1, ˆq) = Donde,. = = K = N n=1 b=0 N n=1 b=0 1 ˆq n (b) log P (B = b, C = n, I = i n ; p 0, p 1 ) 1 ˆq n (b) log(p (B = b; p 0, p 1 )P (C = n )P (I = i n B = b, C = n )) N ˆq n (0) log p 0 + ˆq n (1) log p 1 + K = q 0 log p 0 + q 1 log p 1 + K n=1 N n=1 b=0 1 ˆq n (b) log(p (C = n )P (I = i n B = b, C = n )) q 0 = N ˆq n (0) y q 1 = n=1 N ˆq n (1) n=1 Aprendizaje Automátio Modelos gráfios: 5.43 Aprendizaje EM on observaiones inompletas: paso M Maximizar Q : similar a estimaión de probabilidades a priori por máxima verosimilitud (Tema 3): Funión de Lagrange: Λ(p 0, p 1, β) = Q (p 0, p 1, ˆq) + β(1 p 0 p 1 ) = q 0 log p 0 + q 1 log p 1 + K + β(1 p 0 p 1 ) Funión dual: Λ p 0 = 0 p 0 = q 0 β ; Λ = 0 p 1 = q 1 p 1 β Λ D (β) = K + β ( q 0 + q 1 ) log β = K + β N log β Donde K = K + q 0 log q 0 + q 1 log q 1 Optimizando la funión dual: dλ D dβ = 1 N β = 0 β = N Soluión final: p 0 (t + 1) p 0 = q 0 N ; p 1(t + 1) p 1 = q 1 N

23 Aprendizaje Automátio Modelos gráfios: 5.44 Aprendizaje EM on observaiones inompletas: ejemplos Sea S = {(1, 1), (1, 0)} (N = 2): Paso E: ˆq 1 (0) = 0.2p 0 (t)/(0.2p 0 (t) + 0.8p 1 (t)), ˆq 2 (0) = 0.8p 0 (t)/(0.8p 0 (t) + 0.2p 1 (t)), ˆq 1 (1) = 0.8p 0 (t)/(0.2p 0 (t) + 0.8p 1 (t)), ˆq 2 (1) = 0.2p 0 (t)/(0.8p 0 (t) + 0.2p 1 (t)). q 0 = ˆq 1 (0) + ˆq 2 (0), q 1 = ˆq 1 (1) + ˆq 2 (1). Paso M: p 0 (t + 1) = q 0 N, p 1(t + 1) = q 1 N Iniializando on p 1 (1) = 0.9, p 0 (1) = 0.1: t p 1 (t) Si ahora las observaiones son S = {(0, 1), (1, 0)}: t p 1 (t) Aprendizaje Automátio Modelos gráfios: 5.45 Algunos toolkits BNT GMTK bilmes/gmtk/ GraphLab PMTK3 probabilisti modeling toolkit for Matlab/Otave Software Pakages for Graphial Models murphyk/software/bnsoft.html

24 Aprendizaje Automátio Modelos gráfios: 5.46 Index 1 Introduión a los modelos gráfios 1 2 Redes bayesianas 6 3 Independenia ondiional 14 4 Inferenia en redes bayesianas 18 5 Campos de Markov aleatorios 28 6 Aprendizaje de modelos gráfios 35 7 Bibliografía y notaión 46 Aprendizaje Automátio Modelos gráfios: 5.47 Bibliografía Christopher M. Bishop: Pattern Reognition and Mahine Learning. Springer, 2006.

25 Aprendizaje Automátio Modelos gráfios: 5.48 Notaión P (x): probabilidad de x P (x, y): probabilidad onjunta de x e y P (x y): probabilidad ondiional de x dado y Para un onjunto de variables V C en un lique C, ψ C (V C ) = exp ( E(V C )) es una funión potential donde E(V C ) es una funión de energía. Una funión de energía lineal: E(V C ) = k θ C,k f C,k (V C ) donde f C,k son determinadas funiones que obtienen araterístias del lique C.