SIMULACION. Urna 1. s(x) h(x) Urna 2. s(x) Dado. Urna /6 2 1/6 3 1/6 4 1/6 5 1/6 6 1/6 Dado 1 1/6 2 1/6 3 1/6 4 1/6 5 1/6 6 1/6

Transcripción

1 SIMULACION x p(x) x h(x) Urna /6 2 /6 3 /6 4 /6 5 /6 6 /6 Dado /6 2 /6 3 /6 4 /6 5 /6 6 /6 x p(x) x h(x) s(x) Urna Dado /6.2 2 /6.2 3 /6.2 4 /6.2 5 /6.2 6 / x p(x) x h(x) s(x) / /6.8 3 / /6.8 5 / /6 0.6 Urna 3 Dado

2 SIMULACION A PARTIR DE LA FUNCION DE DISTRIBUCION Para generar una muestra de una función de densidad h(x), se calcula la función de distribución, H(x) = p(x x) = x h(x)dx. Seguidamente, se genera una sucesión de números aleatorios {u,...,u N } de una distribución uniforme U(0, ) y se obtienen los valores correspondientes {x,...,x N } mediante x i = H (u i ), donde H (u i ) es la inversa de la función de distribución. H(x) u 2 u x x

3 METODOLOGIA DE SIMULACION ALGORITMO Datos: Las funciones de probabilidad real p(x) y la de simulación h(x), el tamaño de la muestra N, y un subconjunto Y X. Resultados: Una aproximación de p(y) para todo valor posible y de Y.. Para j = a N Generar x j = (x j,...,x j n) usando h(x). Calcular s(x j ) = p(xj ) h(x j ). 2. Tras obtener una muestra de tamaño N, y disponer de las realizaciones, x j = {x j,...,x j n }, j =,...,N, la probabilidad condicional de cualquier subconjunto Y X dada la evidencia E = e se estima por la suma normalizada de los pesos de todas las realizaciones en las que ocurre y, es decir y x p(y) j s(xj ) N j= s(xj ). () 3

4 EJEMPLO DE RED BAYESIANA X X 2 X 3 X 4 X 5 X 6 4

5 EJEMPLO DE RED BAYESIANA x x 2 p(x 2 x ) x 2 x 4 p(x 4 x 2 ) x 2 x 3 x 5 p(x 5 x 2,x 3 ) x x 3 p(x 3 x ) x 3 x 6 p(x 6 x 3 ) x p(x )

6 EJEMPLO DE RED BAYESIANA y Realización x j p(x j ) h(x j ) s(x j ) x = (0,,,, 0, 0) / x 2 = (,, 0,,, 0) / x 3 = (0, 0,, 0, 0, ) / x 4 = (, 0, 0,,, 0) / x 5 = (, 0, 0, 0,, ) / p(x = 0) s(x )+s(x 3 ) 5 = i= s(xi ) = p(x 2 = 0) s(x3 ) + s(x 4 ) + s(x 5 ) 5 i= s(xi ) = = Estos valores se obtienen porque X = 0 aparece en las realizaciones x y x 3, mientras que X 2 = 0 aparece en las realizaciones x 3, x 4 y x 5. Las probabilidades condicionales para otras variables pueden calcularse de forma análoga. 6

7 CALCULO DE PESOS Un caso interesante es el caso en que: p(x) = n i= p(x i s i ) (2) h(x) = n h(x i s i ), (3) i= donde S i X es un subconjunto de variables y h(x i ) es la distribución simulada del nodo X i. En esta situación, el peso es s(x) = p(x) h(x) = n i= p(x i s i ) h(x i s i ) = n i= s(x i s i ). (4) Cuando se sabe que un conjunto de nodos evidencial E toma los valores E = e, resulta donde p e (x i π i ) = p e (x) n i= p e(x i π i ), (5) p(x i π i ), si x i y π i consistentes con e, 0, en otro caso, (6) es decir, p e (x i π i ) = 0 si X i o alguno de sus padres son inconsistentes con la evidencia, en otro caso p e (x i π i ) = p(x i π i ). 7

8 METODOS DE SIMULACION El método de aceptación-rechazo. El método del muestreo uniforme. El método de la función de verosimilitud pesante. El método de muestreo hacia adelante y hacia atrás. El método del muestreo de Markov. El método del muestreo sistemático. El método de la búsqueda de la probabilidad máxima. 8

9 EJEMPLO DE RED BAYESIANA X X 2 X 3 x 3 = x 4 = X 4 X 5 X 6 9

10 EJEMPLO DE RED BAYESIANA x x 2 p(x 2 x ) x 2 x 4 p(x 4 x 2 ) x 2 x 3 x 5 p(x 5 x 2,x 3 ) x x 3 p(x 3 x ) x 3 x 6 p(x 6 x 3 ) x p(x )

11 METODO DE ACEPTACION-RECHAZO Distribución de simulación h(x i π i ) = p(x i π i ), i {,...,n}. (7) Condiciones Deben simularse antes los padres que los hijos. s(x) = p e(x) h(x) = Pesos De (6) y (8), se deduce que s(x) = p e(x i π i ) p e(x i π i ) X i / E X i E p(x i π i ) p(x i π i ). (8) X i / E X i E, si x i = e i, para todo X i E, 0, en otro caso. (9) Nótese que si x i e i para algún X i E, entonces el peso es cero; por tanto, tan pronto como el valor simulado para los nodos evidenciales no coincida con el valor observado, se rechaza la muestra (peso cero).

12 EJEMPLO DEL METODO DE ACEPTACION-RECHAZO. Muestreo de la variable X : Se genera x con p(x ). Supóngase que resulta x =. 2. Muestreo de la variable X 2 : Se simula X 2 con p(x 2 X ). Dada X =, de la Tabla las probabilidades de que X 2 tome los valores 0 y son p(x 2 = 0 X = ) = 0. y p(x 2 = X = ) = 0.9. Supóngase que x 2 = Muestreo de la variable X 3 : Se simula X 3 con p(x 3 X ). Dado X =, de la Tabla X 3 toma los valores 0 y con igual probabilidad. Si el valor resultante es 0, entonces se rechaza esta extracción porque no coincide con la evidencia X 3 = y se comienza con la Etapa de nuevo. 4. Muestreo de las variables X 4, X 5, X 6 : la situación es similar a la de las etapas previas. Si el valor simulado del nodo X 4 no coincide con la evidencia X 4 =, se rechaza la muestra completa y se comienza de nuevo. Supóngase que se obtiene x 5 = y x 6 = 0. La extracción concluye con (, 0,,,, 0). 2

13 METODO DEL MUESTREO UNIFORME h(x i ) = Distribución de simulación card(x i ), si X i / E,, si X i E y x i = e i, 0, en otro caso, (0) donde card(x i ) denota la cardinalidad (número de posibles valores) de X i. Condiciones Pueden simularse los nodos en cualquier orden. s(x) = p e(x) h(x) = X i / E Pesos p e (x) card(x i ) p e (x) = p(x), X i E donde no es necesario considerar el factor X i / E card(x i ) puesto que es constante para todas las realizaciones. 3

14 EJEMPLO DEL METODO DEL MUESTREO UNIFORME Para obtener una realización x = (x,...,x 6 ) de X, en primer lugar se asignan a las variables evidenciales sus correspondientes valores observados x 3 = y x 4 =. Seguidamente, se selecciona una ordenación arbitraria para los nodos no evidenciales, por ejemplo, (X, X 2, X 5, X 6 ) y se generan valores para cada una de estas variables al azar con idénticas probabilidades (0.5 y 0.5), puesto que en este caso la cardinalidad de los nodos es 2. Supóngase que en la primera extracción se obtienen los valores x = 0, x 2 =,x 5 = 0 y x 6 =. Entonces, se calculan los pesos asociados a la realización x = (x, x 2, x 3,x 4, x 5, x 6 ) = (0,,,,0,), y las distribuciones de probabilidad condicionadas de la Tabla, resultando s(x ) igual a: p(x )p(x 2 x )p(x 3 x )p(x 4 x 2)p(x 5 x 2, x 3)p(x 6 x 3) = = El proceso se repite hasta que se obtiene el número de realizaciones deseado. 4

15 METODO DE LA FUNCION DE VEROSIMILITUD PESANTE Distribución de simulación h(x i ) = p e (x i π i ), si X i / E,, si X i E y x i = e i, 0, en otro caso. () Condiciones Deben simularse antes los padres que los hijos. s(x) = p e(x) h(x) = X i / E Pesos p e (x i π i ) p e (x i π i ) X i E = X i E p e(x i π i ) = p e (x i π i ) X i E p(e i π i ). (2) 5

16 EJEMPLO DEL METODO DE LA FUNCION DE VEROSIMILITUD PESANTE Step : Se asigna a los nodos evidenciales sus valores: x 3 = y x 4 =. Step 2: Se simula X con la p(x ) de la Tabla. Supóngase que el valor simulado para X es x = 0. Step 3: Se simula X 2 con p(x 2 X = x ) = p(x 2 X = 0), es decir, se selecciona un cero con probabilidad 0.4 y un uno con probabilidad 0.6. Supóngase que se obtiene x 2 =. Step 4: Se simula X 5 con p(x 5 x 2, x 3 ) = p(x 5 X 2 =, X 3 = ), que asigna una probabilidad 0.2 a cero y 0.8 a uno. Step 5: Se simula X 6 con p(x 6 x 3 ) = p(x 6 x 3 = ), que asigna 0.4 a cero y 0.6 a uno. Supóngase que se obtiene x 5 = 0 y x 6 =. Step 6: Se calcula el peso de la muestra obtenida x = (x, x 2, x 3, x 4, x 5, x 6) = (0,,,, 0, ) que resulta ser s(x ) = p(x 3 x )p(x 4 x 2) = = Se repite el proceso hasta que se obtiene el número deseado de realizaciones. 6

17 METODO DEL MUESTREO HACIA ADELANTE Y HACIA ATRAS Distribución de simulación h(πi ) = p(x i π i ), (3) α i donde πi es el conjunto de los padres de X i, con valores desconocidos y α i = p(x j π j ). x j π i Condiciones. Un nodo debe ser simulado o evidencial antes de ser utilizado para muestrear hacia atrás, 2. Los predecesores de un nodo deben ser simulados antes de muestrear hacia adelante, y 3. Cada nodo debe ser o perteneciente a la ordenación o un ascendiente directo de un nodo que se utilice para muestrear hacia atrás. Pesos s(x) = p e(x) h(x) = p e (x i π i ) p e (x i π i ) X i B α p i e(x i π i ) X i F = p(x i π i ) α i, (4) X i B X i / B F donde B y F son los nodos que se muestrean hacia adelante y hacia atrás, respectivamente. 7

18 EJEMPLO DEL METODO DEL MUESTREO HACIA ADELANTE Y HACIA ATRAS. Se elige {X 4, X 2, X 5, X 6 } como ordenación válida, donde X 4 y X 2 se muestrean hacia atrás y X 5 y X 6, hacia adelante. 2. Se asigna a las variables evidenciales sus valores: x 3 = x 4 =. 3. Se muestrea hacia atrás X 2 con p(x 4 x 2 ), es decir, p(x 4 = x 4 X 2 = 0) = 0.7 y p(x 4 = x 4 X 2 = ) = 0.8, lo que conduce a α 4 =.5, h(x 2 = 0) = 0.7/.5 y h(x 2 = ) = 0.8/.5. Supóngase que x 2 =. 4. Se muestrea hacia atrás X con p(x 2 x ) (h(x = 0) = 0.6/.5 y h(x = ) = 0.9/.5). Supóngase que se obtiene x = Se muestrea hacia adelante X 5 con p(x 5 x 2, x 3). Supóngase que x 5 = Se muestrea hacia adelante X 6 con p(x 6 x 3). Supóngase que x 6 = 0. Se calcula el peso s(x ) de x = (0,,,, 0, 0): p(x )p(x 3 x )α 4α 2 = =

19 METODO DEL MUESTREO DE MARKOV Distribución de simulación h(x i ) = p(x i x \ x i ) p(x i π i ) p(x j π j ), (5) X j C i donde C i es el conjunto de hijos de X i y X \ X i denota todas las variables de X que no están en X i., que es la función de probabilidad de X i condicionada a todas las demás. Condiciones Inicialmente, se genera una realización aleatoriamente, bien eligiendo al azar entre todas las posibles realizaciones, o bien aplicando alguno de los métodos previos. Seguidamente, se simulan las variables no evidenciales, una a una, siguiendo un orden arbitrario de las variables y utilizando los valores anteriormente simulados de las demás variables. Se simulan los nodos en un orden arbitrario. El peso es la unidad. Pesos 9

20 EJEMPLO DEL METODO DEL MUESTREO DE MARKOV Distribución de simulación h(x ) = p(x x \ x ) p(x )p(x 2 x )p(x 3 x ), h(x 2 ) = p(x 2 x \ x 2 ) p(x 2 x )p(x 4 x 2 )p(x 5 x 2,x 3 ), h(x 5 ) = p(x 5 x \ x 5 ) p(x 5 x 2, x 3 ), h(x 6 ) = p(x 6 x \ x 6 ) p(x 6 x 3 ).. Se asigna a las variables evidenciales sus valores: x 3 = x 4 =. 2. Se elige la realización inicial: x 0 = (0,,,, 0, ). 3. Se elige una ordenación arbitraria, por ejemplo, {X, X 2, X 5, X 6 }. 4. Se simulan las variables no evidenciales. Variable X : De la Tabla y de h(x ): p(x = 0)p(X 2 = X = 0)p(X 3 = X = 0) = = 0.44, p(x = )p(x 2 = X = )p(x 3 = X = ) = =

21 EJEMPLO DEL METODO DEL MUESTREO DE MARKOV Normalizando las probabilidades dividiendo por su suma, = 0.459, se obtiene p(x = 0 x\x ) = 0.44/0.459 = 0.34 y p(x = x\x ) = 0.35/0.459 = Por tanto, se genera un valor para X usando un generador de números aleatorios que devuelve 0 con probabilidad 0.34 y con probabilidad Supóngase que el valor obtenido es 0. Variable X 2 : Se obtiene p(x 2 = 0 x \ x 2 ) = 0.06, p(x 2 = x \ x 2 ) = Normalizando las probabilidades anteriores, se obtiene p(x 2 = 0 x \ x 2 ) = 0.06/0.084 = 0.74 y p(x 2 = x \ x 2 ) = 0.024/0.084 = Por ello, se genera un valor para X 2 a partir de esta distribución. Supóngase que X 2 =. Las variables X 5 y X 6 se simulan de forma similar. Supóngase que X 5 = 0 y X 6 =. Por ello, la primera realización es x = (0,,,,0,). Se repite la Etapa 2 para N extracciones. 2

22 METODO DEL MUESTREO SISTEMATICO X X 2 X 3 x p(x ) x x 2 p(x 2 x ) x x 2 x 3 p(x 3 x, x 2 ) x x 2 x 3 p(x 3 x, x 2 )

23 MUESTREO SISTEMATICO Realización Probabilidad Intervalo (x, x 2, x 3 ) p(x,x 2, x 3 ) Acum. [l i,u i ) (0,0,0) [0.000, 0.072) (0,0,) [0.072, 0.44) (0,0,2) [0.44, 0.240) (0,,0) [0.240, 0.288) (0,,) [0.288, 0.336) (0,,2) [0.336, 0.400) (,0,0) [0.400, 0.472) (,0,) [0.472, 0.568) (,0,2) [0.568, 0.640) (,,0) [0.640, 0.748) (,,) [0.748, 0.892) (,,2) [0.892,.000) X (X, X 2 ) (X, X 2, X 3 )

24 METODO DEL MUESTREO SISTEMATICO ETAPA ETAPA 2 ETAPA 3 ETAPA 4 ETAPA 7 ETAPA 0 ETAPA 5 ETAPA 8 ETAPA ETAPA 6 ETAPA 9 ETAPA 2 24

25 METODO DEL MUESTREO SISTEMATICO u(i) xi+ f j+8 xi l(i) xi- f j δ = u(n) f j N +, 25

26 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD Considérese la red Bayesiana X X 2 X 3 x p(x ) x x 2 p(x 2 x ) p(x 3 X, X 2 ) X X 2 X 3 X X 2 X

27 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD X = X = 0.00 (a) X 2 = X = X 2 = X = 0.00 (b) 27

28 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD X2 = X = X 2 = X 3 = 0 X 3 = X3 = X = 0.00 (a) X2 = X = 0 X3 = X 2 = X 3 = X3 = X = 0.00 (b) 28

29 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD 0.80 X2 = X 3 = 0 X3 = X =0 0.6 X 3 = 2 X 3 = X2 = X3 = X 3 = X = 0.00 (a) X2 = 0 X 3 = 0 X3 = X =0 X 3 = 2 X 3 = X2 = X3 = X 3 = X = 0.00 (b) 29

30 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD X 2 = 0 X3 = 0 X 3 = X = 0 X3 = 2 X3 = X 2 = X 3 = X2 = X3 = X = 0.9 X 2 =

31 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD 0.2 X3 = X = X2 = 0 X2 = X3 = X3 = 2 X3 = 0 X3 = X3 = X 3 = X = X2 = 0 X2 = X3 = X 3 = 2 X 3 = 0 X3 = X 3 =

32 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD Con evidencia 0.2 X 3 = X = X 2 = X 3 = X 3 = X = 0. X2 = X 3 = 0 X3 = X 3 =

33 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD Número de ocurrencias Máximo tamaño de cola Tiempo δ Número de ocurrencias Máximo tamaño de cola Tiempo δ 33

34 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD Aproximación Progresiva p(x ) p(x 2 ) p(x 3 ) x j p(x j ) (0,, 0) (0, 0, 2) (0,, 2) (0,, ) (,, 0) (0, 0, ) (0, 0, 0) (,, 2) (,, ) (, 0, ) (, 0, 2) (, 0, 0)

35 METODO DE BUSQUEDA DE LA MAXIMA PROBABILIDAD Acotación Progresiva Etapa Etapa 2 Etapas 3 y 4 Marginal Exacto Inf. Sup. Inf. Sup. Inf. Sup. X = X = X 2 = X 2 = X 3 = X 3 = X 3 = Etapas 5 y 6 Etapa 7 Etapa 8 Marginal Exacto Inf. Sup. Inf. Sup. Inf. Sup. X = X = 0.00 X 2 = X 2 = X 3 = X 3 = X 3 =