UNIDAD 4 PROCESOS DE MARKOV

Transcripción

1 UNIDAD 4 PROCESOS DE MARKOV Anteriormente se han cubierto modelos estáticos, esto es, modelos cuyos parámetros permanecen sin cambio a través del tiempo. Con excepción de programación dinámica donde se consideran modelos deterministicos que son usados para optimizar con respecto al tiempo. Ahora se cubrirá una familia de modelos dinámicos que son estócasticos y dependiendo del tiempo llamados PROCESOS MARKOVIANOS, (P.M.). Además estócasticos, donde programación dinámica es determinística los procesos de Markov son diferentes en que, P.D. es un modelo de optimización y los procesos de Markov describen ciertas situaciones. Es decir, los de P. de M. son descriptivos en que se buscan determinar de una forma secuencial las probabilidades de que ciertos eventos ocurrieran o no. En esto son muy parecidos a los modelos de Teoría de Colas. La teoría de estos procesos estipula; la condición actual de un evento depende únicamente de su condición en el previo periodo. Tal evento es descrito ser Markoviano y es similar a la condición de perdida de memoria en teoría de colas. De echo la condición Markoviana de colas es la misma condición discutida aquí. La diferencia principal es el uso de la condición. En estas notas primero se discute el tema general de Procesos de Markov así como su aplicación a ciertos casos. Entonces se aplicará a otras áreas. Finalmente el modelo básico será extendido para considerar otras situaciones que tienen las mismas consideraciones básicas. CASO: Compañía de renta de carros LA MEXICANA La compañía de renta de carro La Mexicana se especializa en rentar carros a personas que desean trasladarse de una ciudad a otra. El administrador de la compañía esta considerando instruir un cargo extra para localizar los carros de las áreas donde existen escasez de carros. Antes de añadir este cargo extra el administrador desea determinar la proporción del número total de carros que estarán en un largo plazo en cada una de las áreas de renta. Si las proporciones son aproximadamente las mismas el cargo extra no será necesario de otra forma el cargo extra dependerá de la proporción del total de carros que se encuentren (terminen ubicándose) en cada región. El administrador ha dividido la zona de trabajo en tres regiones; norte, centro, sur. De los archivos se ha determinado que los carros rentados en el mes en el norte 20% van a una ciudad en el norte, 30% van a ciudades del centro y 50% de los carros son retornados a la compañía en la región sur. Similarmente, la compañía ha determinado en una base mensual que el 40% de los carros rentados en la región central son retornados a la misma región, 30% son retornados en el norte y 30% en el sur. ING. HECTOR MARTINEZ RUBIN CELIS. 1

2 Finalmente, los carros rentados cada mes en la región sur, 20% son retornados en el norte, 40% en el sur y 40% en la región central. Actualmente, 40% de los carros están en la región norte, 30% en la región central y 30% en la región sur. Dado el patrón de movimiento de los carros, la compañía desea saber: 1.- Que proporción de carros estarán en cada región después del primer mes?. 2.- Que proporción de carros estarán en cada región después de un periodo largo de tiempo? 3.- Fracción de carros regresados a cada región?. REGIÓN DE RETORNADO A LA REGIÓN RENTA NORTE CENTRAL SUR NORTE CENTRAL SUR * Nótese que para cualquier fila la suma de probabilidades es 1. Esto significa que un caro rentado puede ir a cualquier parte. Note también que la región a la cuál regresa un carro depende únicamente de la región donde fue rentado. Es decir, el estatus final del carro depende únicamente del estatus mas reciente del carro. Las principales consideraciones que se aplican en este caso son: 1.- Existe incertidumbre sobre la región a la que retornarán los carros y esta incertidumbre puede ser medida con probabilidades. 2.- La región a los que los carros retornarán dependerá únicamente de las región donde esta fue rentado. 3.- Existirán repetidas ocurrencias a prueba de los carros siendo rentados bajo las mismas condiciones. CADENAS DE MARKOV: CONSIDERACIONES Y TERMINOLOGÍA. Muchos de los términos que usados significan lo mismo que en programación Dinámica. Por ejemplo las condiciones iniciales y finales de un proceso de Markov son referidas como estados. Las repetidas ocurrencias de un evento bajo estudio son referidas como pruebas, y la probabilidad de ir de un estado son referidas como próximo estado es referido como una PROBABILIDAD DE TRANSICIÓN. PROBABILIDAD DE TRANSICIÓN Se tomarán tres consideraciones adicionales: 1.- Existe un número finito de estados. 2.- Existe probabilidades de transición constante. 3.- Ocurren periodos de igual longitud de tiempo. ING. HECTOR MARTINEZ RUBIN CELIS. 2

3 Estas consideraciones y las anteriores definen tipos especiales de proceso de Markov llamados CADENAS DE MARKOV. Presentación en diagramas de árbol de las cadenas de Markov. Se utilizarán 2 meses como estados 0, 1, 2. Ubicación en Ubicación en Ubicación en Probabilidad de mes cero mes 1 mes 2 cada ubicación en mes NORTE Norte 0.04 Central 0.06 Sur NORTE 0.3 CENTRAL SUR Norte 0.09 Central 0.12 Sur 0.09 Norte 0.10 Central 0.20 Sur 0.20 Para encontrar la probabilidad de que un carro se encuentre en la región norte después de 2 meses, se deben sumar las 3 probabilidades de estar en el norte. Estar en el 2º mes habiendo estado en el norte en el mes cero P = = 0.23 SIMILARMENTE Estar en el centro en 2º mes habiendo estado en el norte en el mes cero P = = 0.38 ING. HECTOR MARTINEZ RUBIN CELIS. 3

4 Estar en el sur en 2º mes habiendo estado en el norte en el mes cero P = = 0.39 Si se utiliza la notación matricial los cálculos para el primer mes son: N C S N C S N C S = [ ] [ 5] Vector de Matriz de transición Vector de probabilidad Prob. de 1 mes después de 1 mes de iniciar en el norte Para el segundo mes: N C S N C S N C S = Vector de matriz de transición vector de probabilidad probabilidad de 1 mes después de 2 meses después de 1 mes Esto también puede representarse de la forma siguiente: N C S N C S N C S N C S = Vector de matriz de transición de 1 mes vector de probabilidad probabilidad después de 2 meses de iniciar en el norte Los cálculos del vector de probabilidades dependen del vector de probabilidades en el mes cero y la matriz de transición de 1 mes. Para calcular la proporción de carros que estarán en cada región después de 2 meses, simplemente se sustituye la proporción original de carros en cada región como vector de probabilidades iniciales, ejemplo [ ] Entonces: ING. HECTOR MARTINEZ RUBIN CELIS. 4

5 N C S N C S N C S = Proporción de matriz de transición Proporción de carros carros en el de 2 meses en 2 meses mes cero así: 23.6% de carros en el norte 37.7% de carros en el centro 38.7% de carros en el sur Una segunda pregunta a contestar será : Cuál es la proporción de carros que estarán en cada región después de un periodo largo de tiempo?. Para determinarla es necesario únicamente repetir los cálculos tantas veces como meses tenga. Ejemplo para 8 meses; MES NORTE CENTRAL SUR Este patrón de prácticamente sin cambio en el vector de probabilidades indica que una condición estacionaria (ESTADO ESTACIONARIO) ha sido alcanzada en que la proporción de carros en cada región permanece igual. DESARROLLO MATEMÁTICO. Lo previamente analizado puede ser resumido si se utiliza la siguiente notación. P ij = La prob. de ir del estado y al estado j en un paso. P = Una matriz formada de los valores Pij (matriz de Transición). Si(t)= La prob. de encontrarse en el estado y en el periodo t. S(t)= Vector de las prob. de los estados en periodo t. POR EJEMPLO: P11= 0.2, P23 =0.3, S1(0)=0.4, S(0)= [ ] ING. HECTOR MARTINEZ RUBIN CELIS. 5

6 Utilizando esta notación, algunas claves pueden estipularse; Que la suma de las probabilidades es igual a 1; S1(t) + S2(t) + S3(t) Sn(t) =1 Para un caso con n estados. Similarmente, para cada fila la matriz de transición P, se tiene la suma : Pi1 +Pin = 1; i=1,2,3,...,n. Recordemos que esto implica que una transición debe ser hecha a un estado en cada paso. La transición de un periodo al próximo es considerada en la siguiente ecuación S(t+1) = S(t)P. Para el primer periodo de tiempo, esto es S(1)2 = S(0)P. Y para el segundo periodo: S(2) = S(1)P = S(0)P. En general, este resultado es: S(t) =S(0)P t, Ahora, para la condición de estado estacionario se tiene que: S= S(t+1)= S(t) Donde S vector de prob. en el estado estacionario, el cual es el mismo sin importar el periodo de tiempo, esto implica que; S = SP Esto es, el vector de estado estacionario permanece igual despues de la transición primer paso S = S1 S2 S Completando los cálculos, se arribo al siguiente sistema de ecuaciones: S1 = 0.2 S S S3 S2 = 0.3 S S S3 S3 = 0.5 S S S3 Se sabe además que la suma de las probabilidades, es igual a 1. S1 + S2 + S3 = 1 Y si resuelve este sistema, se tiene que : S1 = 0.238, S2 = 0.376, S3 = Un punto importante a reconocer de la condición de estado estacionario es que ésta no depende del estado inicial. Es decir, que si iniciamos con un vector de proporciones de [ ] ó uno de [ ] en largo plazo se terminará con un estado estacionario con un vector de proporciones de : Para resumir: Si existe una matriz de transición de un paso P = [ Pij ] y un vector de estado para un periodo de tiempo t, S(t), entonces se tiene : S( t+1 ) = S(t) P Pero ya que : S( t+1) = S( t ) P = S( t+1 ) P 2 =... = S(1) P t-1 = S(0) P ING. HECTOR MARTINEZ RUBIN CELIS. 6

7 Se puede decir que: S (t) = S(0) P Además, un vector de probabilidades en equilibrio o estado estacionario S, puede ser encontrado resolviendo un sistema de ecuaciones definido por : S = SP y sumatoria Si = 1 Para encontrar los valores apropiados de S para obtener S, el vector de equilibrio. CASO: ESCUELA TECNICA INDUSTRIAL TEC -TEP La TEC-TEP es una escuela terminal de 2 años financiada por el gobierno federal que ofrece carreras técnicas. La administración esta interesada en conocer cuantos estudiantes se graduarán cada año, continuarán en la escuela o abandonarán la misma. Esta información es de gran ayuda para planear las necesidades futuras para el profesorado y para obtener mayor presupuesto ante el gobierno. Debido a que el TEC-TEP es una escuela de 2 años, los estudiantes que terminan el primer año pueden continuar en la escuela o cambiarse a otra escuela (como estudiante que abandona la escuela es considerado como un cambio). Si los estudiantes continúan en la escuela, ellos pueden tomar el curso de segundo año o repetir el curso de primer año. Los estudiantes que terminan el segundo año, pueden graduarse con su respectiva especialidad, continuar en la escuela para completar los requisitos para graduarse, ó cambiarse a otra escuela sin terminar los cursos necesarios para graduarse. En cualquier caso el estatus de los estudiantes en la escuela el año próximo dependerá del estatus que tenga este año (TEC-TEP no tiene cursos de verano y no acepta cambios en su escuela ). Basados en los archivos escolares, el jefe de escolares ha determinado la proporción de estudiantes que caen en cada categoría basado en el estatus del previo año. 1 er. año 2 do. año Graduados Cambios 1 er. año do año Graduados Cambios No es posible y de un estado inicial a todos los estados. Por ejemplo, un estudiante del primer año no puede graduarse, un estudiante que alcanza el nivel de graduados no puede ir a ningún otro estado etc. Por los motivos expuestos anteriormente, los estados graduados y cambios son conocidos como ESTADOS ABSORBENTES ya que una vez que han sido alcanzados, no pueden ser abandonados. En una cadena de Markov con estados absorbentes, la pregunta ya no es que proporción del total estará eventualmente en uno de los estados absorbentes. En otras palabras, la condición de estado ING. HECTOR MARTINEZ RUBIN CELIS. 7

8 estacionario tendrá todo en un estado absorbente. Dado este resultado, la pregunta es : Que proporción de los estados originales no absorbentes terminan en cada estado absorbente? Para el caso en cuestión la pregunta es: Que proporción de estudiantes que se encuentran en el primer y segundo año se graduarán, y que proporción se cambiará a otra escuela o abandonara la misma.? Para calcular estas proporciones se puede definir primero a una matriz especial llamada MATRIZ FUNDAMENTAL Q. Esta matriz es obtenida a partir del siguiente procedimiento: 1.- Eliminar las filas correspondientes a los estados originales absorbentes. 2.- Dividir la matriz restante en estado absorbentes y no absorbentes llámese la parte de la matriz bajo los estados absorbentes G, y a la parte de abajo los estados no absorbentes H. 3.- Calcule Q = (1 - H) -1, donde II es una matriz identidad del mismo tamaño que la H. Aplicando este procedimiento al caso en cuestión: PASO 1: 1 er. año 2 do. año Graduados Cambios 1 er. año do. año PASO 2: PASO 3: G = y H = ( ) ( ) Q = = ( 0-0 ) ( ) Q = ING. HECTOR MARTINEZ RUBIN CELIS. 8

9 Teniendo Q se puede calcular las proporciones de estudiantes que alcanzarán cada estado absorbente. Sea la matriz de proporciones R, donde r ij = Proporciones de estudiantes en un estado inicial ii que eventualmente van a un estado absorbente j. Entonces: R = Q G R = = Los valores de R son interpretados de la forma siguiente : r11=0.583 Es la proporción de estudiantes del primer año que eventualmente se graduarán. r12=0.417 Es la proporción de estudiantes del primer año que se cambiarán o abandonarán la escuela. r21=0.750 Es la proporción de estudiantes del segundo año que se graduaran. r22=0.250 Es la proporción de estudiantes del segundo año que se cambiarán o abandonarán la escuela. si existieran ahora 1000 estudiantes en el primer año y 800 en el segundo año se pueden esperar : (0.583)(1000) = 583 Estudiantes del primer año que eventualmente se graduarán. (0.417)(1000) = 417 Estudiantes del primer año que se cambiarán. (0.750)(800) = 600 Estudiantes de segundo año que se graduarán. (0.250)(800) = 200 Estudiantes del segundo año que se cambiarán. Si la escuela TEC-TEP desea graduarse en promedio 700 estudiantes, entonces será necesario incrementar el numero de estudiantes del primer año a (700 / 583) = 1201 (asumiendo que los nuevos estudiantes admitidos serán de la misma población de los estudiantes previamente admitidos.) Interpretando, la matriz Q: Las entradas de la matriz fundamental Q, dan el número promedio de periodos que el sistema estará en cada estado no absorbente hasta que la absorción ocurra. Es decir: En promedio un estudiante pasará 1.11 en el primer año, ya sea antes de abandonar la escuela o ir al segundo año. De la misma manera : ING. HECTOR MARTINEZ RUBIN CELIS. 9

10 El promedio que un estudiante pasará es años en el segundo año. Similarmente: En promedio un estudiante pasará ningún tiempo en el primer año, pero pasará 1.25 años en el segundo año. Otro resultado que puedes ser obtenido en la matriz Q, es que la suma de las filas produce el número promedio de periodos para la absorción en uno de los estados absorbentes. Es decir; que si un estudiante esta en el primer año, le tomará el promedio años ya sea graduarse o abandonar la escuela. Si un estudiante esta en el segundo año, el tiempo promedio para graduarse o abandonar la escuela es de años. TIEMPO PRIMER PASO Además de los casos ya considerados (ejemplos, cadenas de Markov, con o sin estados absorbentes), otro caso que es interesante es el tiempo promedio que tomara ir de un estado a otro por primera vez. Este tiempo es conocido como TIPO DE PRIMER PASO. Por ejemplo, en el caso de la renta de carros, se pudiera estar interesado en el tiempo promedio que tomará a un carro rentado en la región norte ir a la región sur. El carro puede ir a otras regiones y regresar a la región norte he ir a ña región sur, pero los que interesa es el numero promedio de periodos para un carro normalmente en la región norte vaya a la región sur. Para calcular el tiempo promedio del primer paso para ir del estado i al estado al estado j, llamase F i j, el tiempo de primer paso de ii a j. Se puede calcular este valor usando la formula siguiente: F i j = 1 + sumatoria k<>j P lk F K j Donde P i j = probabilidad de ir de ii a j Recurdese la matriz de transición para el caso de la compañía de renta de autos Para realizar los cálculos de primer paso de norte a central ( ii = 1 a j=2 ) se tiene la siguiente ecuación : F 12 = 1 + P 11 F 12 + P 13 F 32 F 12 = F F 32 Se tiene una ecuación con 2 incógnitas para resolver 2 incógnitas es necesario 2 ecuaciones. ING. HECTOR MARTINEZ RUBIN CELIS. 10

11 En este caso la ecuación debe dar un valor para F 32. Se calcula entonces la ecuación de primer paso del estado 3 al 2. F 32 = 1 + P 31 F 32 + P 33 F 32 F 32 = F F 32 Se resuelve este sistema de ecuaciones por alguna de las técnicas conocidas para F 12 y F 32 y se obtiene en promedio que el tiempo de primer paso de la región norte (estado 1) a la región central (estado 2) es meses. Además se encuentra que de la región sur (estado 3) a la región central (estado 2) es de En base a esta información se puede decir que el tiempo promedio de un carro par ir de la región norte a la región central es casi 2 meses (1.896 meses). Habiendo cubierto diferentes matrices de transición, estas pueden ampliamente clasificarse como PERIODICAS Y APERIODICAS. Una matriz PERIODICA (llamada matriz cíclica) es aquella en que los elementos en la diagonal son ceros y los elementos restantes son ceros ó unos por ejemplo, la siguiente matriz de transición es periódica: Los tiempos de primer paso para la matriz periódica son fáciles de calcular debido a que un dado estado será encontrado (tocado) en tiempos K, 2k, 3K..., donde K es un entero mayor que uno. En el ejemplo, si se empieza con el estado 4, el tiempo de primer paso al estado 2 es siempre 3 periodos ya que de 4 se va a 1, se va a 3 y de 3 se va a 2. Un estado ii es periódico con un periodo K > 1 si K, es el numero mas pequeño tal que todas rutas que conducen el estado ii de regreso al estado ii tienen una magnitud que es múltiplo de K. Si un estado recurrente no es periódico entonces se refiere aperiodica Q = aperiodica Q = periódica ING. HECTOR MARTINEZ RUBIN CELIS. 11

12 Nótese también que la matriz se cicla continuamente a través de todos los estados y nunca alcanza el estado estacionario. Así como se tiene matrices periódicas de transición, se tiene también estados periódicos en una matriz de transición. Por ejemplo si se modifica la anterior matriz cambiando las últimas 2 filas, se obtienen: /4 1/3 1/6 1/4 1/8 1/8 1/2 1/4 En esta matriz los estados 1 y 2 son periódicos ya que ellos serán ocupados por el número entero de periodos. Los estados 3 y 4 son aperiodicos ya que ellos pueden ser ocupados en cualquier periodo. Un resultado útil de los estados aperiodicos que tienen una probabilidad de estado estacionario no-cero es que el tiempo de primer paso de un estado regresado a si mismo puede fácilmente ser encontrado así : F i j = 1 / S i Para el caso de compañía que renta carros, todos los estados son aperiodicos, por esto se puede calcular los tiempos de primer paso para los carros que dejan una región y regresan a la misma. Esto es : F 11 F 22 F 33 = 1/ = 4.20 meses = 1/ = 2.66 meses = 1/ = 2.59 meses De estos resultados se sabe que el tiempo promedio para un carro que abandona la región central y regresa a la misma será de 2.66 meses. MATRIZ ERGODICA Si todos estados en una cadena son recurrentes, aperiodicos, y se comunican el 1 con el otro se denomina MATRIZ ERGODICA. 1/2 1/2 0 P = 1/2 0 1/2 Ergódica 0 1/4 3/4 ING. HECTOR MARTINEZ RUBIN CELIS. 12

13 1/2 1/ y 2 no se P = 1/2 1/2 0 0 comunican 0 0 2/3 1/3 con 3 y /4 3/4 No ergódica 0 1/2 1/ /2 1/2 1/4 1/ /2 1/4 0 1/4 0 ½ 0 del 1 al 4 no hay comunicación del 2 al 4 no hay comunicación No Ergódica 0 0 1/3 1/2 0 1/2 1/ /2 1/ / No Ergódica RESUMEN Los procesos de Markov o Markovianos son un conjunto de modelos cuantitativos que actúan de una manera secuencial con aplicaciones varias y amplias para la toma de decisiones. Los procesos Markovianos son modelos estócasticos que son descriptivos y que proporcionan un medio para determinar las probabilidades de que un dado evento ocurriera como resultado de una transición recurrente de una situación a otra. TERMINOS UTILIZADOS ESTADOS ABSORBENTES: Un estado que una vez entrado no se puede dejar. MATRIZ APERIODICA: Una matriz de transición en la cual el ciclaje no ocurre. TIEMPO DE PRIMER PASO: Un caso especial de procesos Markovianos que asumen un número finito de estados, probabilidades de transición constante y periódicos de igual longitud. CONSIDERACION MARKOVIANA: La condición de cualquier proceso depende únicamente de su condición en el periodo previo inmediato. MATRIZ PERIODICA: Una matriz de transición en la cual todos los elementos no en la diagonal son ceros o unos. En este caso, un estado será entrado en periodos K, 2K, 3K,..., para un entero K y ciclaje ocurre entre estados. ESTADO: La condición de un proceso bajo estudio de cualquier periodo. ING. HECTOR MARTINEZ RUBIN CELIS. 13

14 MATRIZ DE TRANSICION: Una matriz de todas las probabilidades de transición para toda las transiciones de un paso. PRUEBAS: Las repetidas ocurrencias del evento del proceso bajo estudio. Un estado ii es recurrente, si iniciando en el estado ii, el tiempo esperado para el proceso para reentrar el estado ii es finito. Los estados recurrentes que son aperiodicos son llamados ESTADOS ERGODICOS. ING. HECTOR MARTINEZ RUBIN CELIS. 14