CAPITULO 16 Procesos de Markov

Transcripción

1 CAPITULO 16 Procesos de Markov Probabilidades de Transición Probabilidades Fijas Estados de Absorción Matriz de Transición n con Submatrices Matriz Fundamental 1

2 INTRODUCCIÓN N A LAS CADENAS DE MARKOV Una cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. las cadenas de este tipo tienen memoria. " Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. 2

3 En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra de los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo 3

4 Algo más m s importante aún, a es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información n se puede predecir el comportamiento del sistema a través s del tiempo. 4

5 Procesos de Markov MODELOS DE PROCESO MARKOV Son útiles para estudiar la evolución n de sistemas a lo largo de ensayos repetidos los que, a menudo, son periodos sucesivos donde el estado del sistema en cualquier período en particular no pueden determinarse con certeza. Para lograr esto, se utilizarán n probabilidades de transición. n. 5

6 Una probabilidad condicional? La probabilidad de que E k sea el siguiente evento generado es una probabilidad condicional : P ( E k / M j ). Esto se llama probabilidad de transición n del estado M j al estado E k. Para describir completamente una cadena de Markov es necesario saber el estado actual y todas las probabilidades de transición. n. 6

7 PROBILIDAD DE TRANSICIÓN Las probabilidades de transición gobiernan la manera en la cual el estado del sistema cambia de una etapa al siguiente. Estos a menudo son representados en una matriz de transición. Un sistema tiene una cadena de Markov finita con probabilidades de transición FIJAS si: hay un número finito de estados las probabilidades de transición permanecen constantes de una etapa a otra y la probabilidad del proceso está en un estado particular en la etapa n+1 la cual es completamente determinada por el estado del proceso en la etapa n (y no el estado en la etapa n-1). Esto se refiera a la característica (propiedad) de memoria menos. 7

8 Probabilidades fijas Las probabilidades de estado en cualquier etapa del proceso recurrentemente pueden ser calculadas al multiplicar las probabilidades iniciales de estado por el proceso en la etapa n. la probabilidad del sistema que está en un estado en particular después de un número largo de etapas se le llama probabilidad fija. Probabilidades fijas de estado pueden ser encontradas al resolver el sistema de ecuaciones ΠP =Π juntos con la condición para probabilidades que Σπ i = 1. Aquí la matriz P es la matriz de probabilidad de transición y el vector, Π, es el vector de probabilidades fijas. 8

9 Estados de Absorción Un estado de absorción es aquel en el cual la probabilidad de que el proceso permanezca en aquel estado una vez que entra en el estado es 1. Si hay mas de un estado de absorción, entonces una condición fija independiente de condiciones iniciales de estado no existe. 9

10 Ejemplo: North s s Hardware Henry, un vendedor persistente, llama la Ferretería del Norte una vez a la semana que espera hablar con el agente de compra de la tienda, Shirley. Si Shirley no acepta la llamada de Henry esta semana, la probabilidad de que ella hará lo mismo la próxima semana es.35 para ambas situaciones. Por otra parte, si ella acepta la llamada de Henry esta semana, la probabilidad de que ella no lo hará la próxima semana es

11 Ejemplo: North s s Hardware Probabilidades Fijas PREGUNTA Cuantas veces al año a o espera Henry hablar con Shirley? RESPUESTA Para encontrar el número n de llamadas con conexión, n, Encuentre El recorrido proporcional (probabilidad) de que una llamada ha sido aceptada y multipliquela por las 52 semanas del año

12 EJEMPLO: North s s Hardware Matriz de Transición Siguiente Semana Rechazos Éxitos Esta Rechazos Semana Éxito

13 Ejemplo: North s s Hardware Probabilidades fijas RESPUESTA π 1 = Corridas en la proporción n de rechazos π 2 = Corridas en la proporción n de éxitos Entonces, [π 1 π 2 ] = [π[ 1 π 2 ]

14 Ejemplo: North s s Hardware Probabilidades Fijas Respuesta (continuación) n) Se Tiene,.35π π 2 = π 1 (1).65π π 2 = π 2 (2) y, π 1 + π 2 = 1 (3) Al resolver la ecuación(2) y (3), (La ecuación n 1 es redundante, se substituye π 1 = 1 - π 2 en (2) y da:.65(1 - π 2 ) +.80π 2 = π 2 La respuesta de π 2 = Substituyendo nuevamente en la (3) da π 1 = La expectativa de llamadas con éxito es de (.76471)(52) = o aproximadamente

15 Ejemplo: North s s Hardware Probabilidad de Estado Pregunta Cual es la probabilidad de que Shirley acepte de Henry's las siguientes 2 llamadas si ella no aceptó esta semana sus llamadas Rechazos Respuesta Rechazos.35 Éxito.65 Rechazos.35 éxito.65 Rechazos.20 éxitos.80 P =.35(.35) =.1225 P =.35(.65) =.2275 P =.65(.20) =.1300 P =.65(.80) =

16 Ejemplo: North s s Hardware Probabilidad Estado Pregunta Cual es la probabilidad de que Shirley acepte exactamente una llamada de Henry de las siguientes dos llamadas si no aceptó su llamada esta semana? Respuesta La probabilidad de que exactamente una de las dos llamadas siguientes sean aceptadas si acepta la llamada de esta semana (puede ser aceptar esta semana y rechazar la semana siguiente) y (la rechaza la semana próxima y acepta la semana siguiente) =

17 Matriz de transición n y submatrices Si una cadena de Markov tiene tanto estados de absorción n como otros que no lo son, los estados pueden ser reorganizados de modo que la matriz de transición n pueda ser escrita como la composición siguiente de cuatro submatrices: I, 0, R,, y Q: I 0 R Q 17

18 Matriz de transición n y submatrices I = una matriz de identidad indicando que deja un estado de absorción n una vez que es alcanzado 0 = La matriz cero representa 0 probabilidad de un estado absorbente a un estado no absorbente R = Las probabilidades de transición n para un estado no absorbente a un estado absorbente Q = La transición n de probabilidades entre estados no absorbentes 18

19 Matrices Fundamental y NR La matriz fundamental,, N, es el inverso de la diferencia entre la matriz de identidad y la matriz de Q: N = (I( - Q ) -1 La matriz NR, el producto de la matriz fundamental y la matriz de R, da las probabilidades de eventualmente el movimiento de cada estado de no absorción n a cada estado de absorción. La multiplicación n de cualquier vector de inicial que no absorbe probabilidades estatales por el número n da el vector de probabilidades para el proceso eventualmente que alcanza cada uno de los estados de absorción. Tales cómputos c permiten los análisis económicos de sistemas y política. 19

20 Ejemplo: Jetair Aerospace El vicepresidente de personal en el Jetair notificó que los cambios de personal puede ser modelados por un proceso de Markov. La matriz de transición n es: Siguiente añoa Misma Posición Año o en curso Misma posición n Promoción n Retiro Quit Despedido Promoción Retiro Renuncias Despedidos 20

21 EJEMPLO: Jetair Aerospace MATRIZ DE TRANSICIÓN Siguiente añoa Retiro Renuncia Despido Misma Promoción Año o actual Retiro Renuncia Despido Misma Promoción n

22 Ejemplo: Jetair Aerospace Matriz fundamental N = (I( - Q ) -1 = =

23 Ejemplo: Jetair Aerospace Matriz Fundamental La determinante, d = a 11 a 22 - a 21 a 12 = (.45)(.80) - (-.70)(-.10).10) =.29 Entonces,.80/.29.10/ N = =.70/.29.45/

24 Ejemplo: Jetair Aerospace Matriz NR Las probabilidades de un eventual movimiento de un estado de absorción n para un estado de no absorción están n dadas por: NR = x = Retiro Renuncia Despido La misma Promoción n

25 Ejemplo: Jetair Aerospace Estados de Absorción Question Cúal es la probabilidad de que alguien quien ha sido promovido, eventualmente, se retire?... renuncie?... Sea despedido? Answer Las respuestas son dadas por la fila de abajo de la matriz NR. Las respuestas a continuación: n: Eventualmente se retire =.12 Eventualmente renuncie =.64 Eventualmente sea despedido =.24 25

26 Capitulo 16 26