CADENAS DE MARKOV. Aquí hemos representado el conjunto de estados por el conjunto {0, 1, 2, } sin pérdida de generalidad.

Transcripción

1 CADEAS DE MARKOV Defiició: (roceso estocástico) U roceso estocástico es ua colecció idexada de variables aleatorias: { Xt } dode tt (cojuto de eteros o egativos) y XtZ (Z = cojuto de características medibles e t = cojuto de estados) Defiició: (cadea de Markov) Ua cadea de Markov de tiemo discreto, co esacio de estados {0,, 2, } es u roceso estocástico que cumle la siguiete roiedad (llamada roiedad Markoviaa) P[Xt+ = j X0 = k0, X = k,, Xt- = kt-, Xt = i] = P[Xt+ = j Xt = i], ara todo t=0,, y cualesquiera estados i, j, kr Z; a la robabilidad P[Xt+ = j Xt = i] = ij la llamaremos robabilidad de trasició del estado i al estado j. Aquí hemos reresetado el cojuto de estados or el cojuto {0,, 2, } si érdida de geeralidad. as robabilidades de trasició ij se reseta mediate el arreglo matricial: ormalmete e esta matriz P se omite escribir los estados 0,, 2, Existe otras formas de exresar la roiedad Markoviaa. Se uede demostrar que lo aterior es equivalete a oder calcular la distribució cojuta de las v. a. X0, X, X2,, X de la siguiete forma: P[X0 = x0, X = x, X2 = x2,, X = x] = P(X0)P(Xx0)P(X2x) P(Xx-)

2 Esto imlica que ua cadea de Markov queda esecificada coociedo las robabilidades de trasició y la distribució iicial P(X0) Defiició: Si se cumle que P[Xt+ = j Xt = i] = P[X = j X0 = i] ara todo i, j Z. y todo t = 0,, etoces se dice que las robabilidades de trasició, de u aso, so estacioarias. Se uede demostrar que lo aterior imlica que P[Xt+ = j Xt = i] = P[X = j X0 = i], ara todo t = 0,, Esta robabilidad la deotamos ij () = robabilidad de trasició de asos, la cual cumle además que: ) ij () () 0, 2) ij ; i, las cuales se reseta e la Matriz de robabilidades de trasició M j0 () 00 () 0 () M0 () 0 () () M () 0M () M () MM Ejemlo: Al fial de u día dado, se registra el recio de ua acció. Si la acció subió la robabilidad de que suba mañaa es 0.7. Si la acció bajó, la robabilidad de que suba mañaa es 0.5. Hacer ua reresetació de este caso utilizado u modelo de Markov (cadea de Markov). Otro Ejemlo: Suogamos ahora que el modelo de mercado cambia de la siguiete maera. El que ua acció suba o o mañaa deede de si subió hoy y ayer. Si la acció subió los dos días la robabilidad de que suba mañaa es de 0.9. Si la acció subió hoy y ayer bajó, mañaa subirá co robabilidad de 0.6. Si la acció bajó hoy ero ayer subió, etoces mañaa subirá co robabilidad de 0.5. Si la acció bajó los dos días, la robabilidad de que mañaa suba es de 0.3

3 Si se defie los siguietes estados, etoces el feómeo de mercado accioario se uede modelar mediate ua cadea de Markov: Estado 0: a acció aumeta hoy y ayer Estado : a acció aumeta hoy y ayer bajó Estado 2: a acció baja hoy y ayer aumetó Estado 3: a acció bajó hoy y ayer.

4 PROCESOS ESTOCASTICOS. QUIZ 2. ) Suoga que u modelo de mercado accioario cambia de la siguiete maera. El que ua acció suba o o mañaa deede de si subió hoy y ayer. Si la acció subió los dos días la robabilidad de que suba mañaa es de 0.9. Si la acció subió hoy y ayer bajó, mañaa subirá co robabilidad de 0.6. Si la acció bajó hoy ero ayer subió, etoces mañaa subirá co robabilidad de 0.5. Si la acció bajó los dos días, la robabilidad de que mañaa suba es de 0.3 a) Esecifique u modelo de cadeas de Markov ara este roblema. b) Costruya la matriz de robabilidades de trasició de u aso c) Calcule la matriz de robabilidades de trasició de tres asos. Iterrete estas robabilidades. d) Aóyese e las ecuacioes de Chama Kolmorov ara exlicar la forma e que costruyó la matriz del umeral c). 2) Cosidere el siguiete PE: Xt = Xt- + t, co x0 =. Para cada t, t sigue ua distribució (0, 2 = ) a) Realice cico iteracioes y grafíquelas. b) Es este PE estacioario débil? Exlique. c) Es este PE estacioario fuerte? Exlique.

5 PROCESOS ESTOCASTICOS. QUIZ. ) Suoga que u modelo de mercado accioario cambia de la siguiete maera. El que ua acció suba o o mañaa deede de si subió hoy y ayer. Si la acció subió los dos días la robabilidad de que suba mañaa es de. Si la acció subió hoy y ayer bajó, mañaa subirá co robabilidad de 2. Si la acció bajó hoy ero ayer subió, etoces mañaa subirá co robabilidad de 3. Si la acció bajó los dos días, la robabilidad de que mañaa suba es de 4. a) Defia estados adecuados de tal maera que este caso se ueda modelar mediate ua cadea de Markov [aóyese e las ideas dadas e los ejemlos discutidos e clase]. b) Por qué la defiició de los estados que usted hizo uede defiir ua cadea de Markov? c) Esecifique su modelo de cadeas de Markov ara este roblema. d) Costruya la matriz de robabilidades de trasició de u aso 2) Aóyese e el uto aterior y suoga ahora de que la acció suba mañaa deede de si subió o o hoy, ayer y atier. a) Puede este roblema formularse como ua cadea de Markov?. b) Si se uede Cuáles so los estados osible? c) Exlique orque estos estados da al roceso la roiedad markoviaa. 3) Ua artícula se mueve sobre u círculo or los utos 0,, 2, 3, 4. a artícula comieza a moverse e el uto 0. E cada aso tiee u robabilidad de 0.5 de moverse u uto e el setido de las maecillas del reloj (0 sigue a 4) y ua robabilidad de 0.5 de moverse u uto e cotra de las maecillas del reloj. Sea X ( 0) la localizació e el círculo desués del aso. a) Porqué { X } defie ua cadea de Markov? b) Ecuetre la matriz de trasició de u aso. Exlique sus cálculos.

6 ECUACIOES CHAPMA-KOMOGOROV: a siguiete relació se cumle ara las robabilidades de ua cadea de Markov fiita co robabilidades estacioarias: Iterretar () ij M k0 (m) ik m kj () Para m = teemos ij ikkj ; M k0 ; i, j,,0 m resulta que las robabilidades de trasició de asos las odemos obteer a artir de las robabilidades de trasició de u aso de maera recursiva. Por ejemlo ara = 2 (2) teemos: ij ikkj; M k0 que corresode a la exresió que calcula, or defiició, el roducto de matrices. Por lo tato P (2) = PxP = P 2. Por iducció obteemos P () = PxP - = P. EJEMPO: Ua red de comuicacioes trasmite dígitos biarios, 0 ó. Cada dígito se trasmite muchas veces sucesivamete. Durate cada trasmisió la robabilidad de que el resectivo dígito se trasmita correctamete es de Si X0 deota el dígito biario que etra al sistema, X el dígito biario registrado desués de la rimera trasmisió, X2 el dígito biario registrado desués de la seguda trasmisió,, así que {X} se uede cosiderar como ua cadea de Markov. a) Determie la matriz de robabilidades de trasició de u aso. b) Ecuetre la matriz de trasició de 0 asos. Qué sigificado tedrá estas robabilidades? c) Si la red se rediseña ara mejorar la robabilidad de ua sola trasmisió de 0.99 a Reita el iciso b) ara ecotrar las robabilidades de trasició de 0 asos. PROBABIIDADES O CODICIOAES DE U ESTADO E ua cadea de Markov, las robabilidades de trasició so robabilidades codicioales. Si se desea la robabilidad o codicioal PX = j cómo se calcularía?

7 CASIFICACIO DE ESTADOS: Defiicioes: ) El estado j es accesible desde el estado i si existe tal que ij () > 0. 2) Si i es accesible desde j y j es accesible desde i se dice que i y j se comuica (i C j) a relació C cumle las siguietes roiedades: i C i si i C j etoces j C i si i C j y j C k etoces i C k. Recordar que si A es u cojuto o vacío y R es ua relació e A, se dice que R es ua relació de equivalecia e A si R es reflexiva, simétrica y trasitiva. Además toda relació de equivalecia iduce ua artició e el cojuto dode se defie. C es ua relació de equivalecia e el cojuto de estados de ua cadea de Markov, etoces ella defie clases (o ua artició) e dicho cojuto de estados. 3) Si existe solo ua clase etoces se dice que la cadea de Markov es irreducible 4) U roceso que está e estado i regresará a él? Sea fii la robabilidad de que u roceso regrese al estado i estado e dicho estado. i se llama recurrete si fii = i se llama trasitorio si fii < i se llama absorbete si ii =

8 PROPIEDADES DE fii El úmero eserado de eríodos que el roceso está e estado i es ifiito si u estado es recurrete. Si u estado es trasitorio y la robabilidad de que regrese al estado i es fii etoces la robabilidad de que o regrese al estado i será - fii y el úmero eserado de eríodos e que el roceso está e estado i es /( - fii). Por qué? a recurrecia es ua roiedad de clase es decir todos los estados de ua clase so recurretes (o trasitorios). o todos los estados uede ser trasitorios. Esto imlica que e ua cadea de Markov irreducible todos los estados so recurretes. Proosició: El estado i es recurrete si Exlicar y es trasitorio si. ii ii Corolario: Si el estado i es recurrete y se comuica co el estado j etoces j es recurrete. PROPIEDADES A ARGO PAZO: Cosideramos dos roiedades adicioales de las cadeas de Markov. Defiició: El estado i se dice que tiee eríodo d si P ii 0 cuado quiera que o es divisible or d y d es el mayor etero co esta roiedad. U estado co eríodo se dice que es aeriódico. Se uede demostrar que la eriodicidad es ua roiedad de clase, es decir, si el estado i tiee eríodo d y los estado i y j se comuica etoces j tambié tiee eríodo d. Estados recurretes, aeriódicos so llamados ergódicos.

9 Euciado: ( Esto que es?) Para ua cadea de Markov irreducible y ergódica el lim π () ij j existe y es ideediete de i. Además J es solució úica o egativa de: π j M π i0 i ij ; j 0,,2,...,M, así como M j0 π j os π se llama robabilidades de estado estable de la cadea de j Markov y se cumle que recurrecia. j π dode jj JJ es el tiemo eserado de

10 EJERCICIO DE CASE: E ua fábrica de jabó las vetas fluctúa etre dos iveles (bajo y alto) y deede de dos factores: ) si hace o o ublicidad. 2) Si los cometidores aucia y comercializa uevos roductos. El segudo factor está fuera de cotrol de la comañía, ero quiere determiar cuál uede ser su roia olítica ublicitaria. Por ejemlo el gerete rooe hacer ublicidad cuado las vetas está bajas y o hacerla cuado está altas. a ublicidad que se hace e u trimestre dado del año tiee su imacto el siguiete trimestre. De cualquier maera al riciio de cada trimestre se disoe de la iformació ecesaria ara roosticar co exactitud si las vetas será altas o bajas ese trimestre y decidir si hacer ublicidad o o. El costo de la ublicidad es de milló de esos cada trimestre del año que se haga. Cuado se hace ublicidad e u trimestre, la robabilidad de teer vetas altas el siguiete trimestre es de 0.5 ó 0.75 segú si e el trimestre actual se tiee vetas bajas o altas. as robabilidades baja a 0.25 y 0.5 cuado o se hace ublicidad e el trimestre actual. as gaacias trimestrales de la comañía (si los costos de ublicidad) so de 4 milloes de esos cuado las vetas so altas ero solo de 2 milloes cuado so bajas. a) Costruya la matriz de trasició de u aso ara cada ua de las siguietes estrategias de ublicidad: i) uca hacer ublicidad, ii) siemre hacer ublicidad, iii) seguir la rouesta del gerete. b) Determie las robabilidades de estado estable e los tres casos del iciso a) c) ecuetre la gaacia romedio a la larga or trimestre ara cada ua de las estrategias del iciso a). Cuál de estas estrategias es la mejor segú esta medida de desemeño?

11 TIEMPOS DE PRIMERA PASADA Alguas veces es ecesario referirse al úmero de trasicioes que hace el roceso al ir del estado i al estado j or rimera vez a este laso de tiemo se le llama tiemo de rimera asada. Si i = j se llama tiemo de recurrecia del estado i. os tiemos de rimera asada so variables aleatorias cuyas distribucioes de robabilidad deede de las robabilidades de trasició. Si fij () deota la robabilidad de que el tiemo de rimera asada del estado i al estado j es, teemos las siguietes fórmulas recursivas: fij () = ij () = ij ; fij (2) = k j () ikf kj ; fij () = k j (-) ikf kj Para i y j fijos fij () so úmeros o egativos tales que f El tiemo eserado de rimera asada del estado al estado j, se defie así: ij ij, f () ij si, si f () ij f () ij Siemre que f ij satisface la ecuació ij ij k j ik kj. o que sigifica que la rimera trasició desde el estado i uede ser al estado j o algú otro estado k. Si es al estado j el tiemo de rimera asada es. Ahora si la rimera trasició es a u estado k, (k j) lo que ocurre co robabilidad ik, el tiemo eserado de rimera asada codicioal del estado i al estado j es + ikkj, al sumar todas las osibilidades se obtiee la fórmula: ij k j ik kj

12

13 UIVERSIDAD DE VAE. FACUTAD DE IGEIERIA ESCUEA DE IGEIERIA IDUSTRIA Y ESTADISTICA CURSO : PROCESOS ESTOCASTICOS. PROFESORES: DAIE ARBEAEZ Y GABRIE CODE EJEMPO DE PROCESO ESTOCASTICO: U PROBEMA DE IVETARIOS. Tomado del libro Itroducció a la Ivestigació de Oeracioes. De Hillier y ieberma (200). Ua tieda de cámaras tiee e almacé u modelo esecial de cámara que se uede ordear cada semaa. Sea D, D2, las demadas de ésta cámara durate la rimera, seguda,., semaa, resectivamete. Se suoe que las Di so variables aleatorias ideedietes e idéticamete distribuidas co distribució coocida. Sea X0 el úmero de cámaras que se tiee e el mometo de iiciar el roceso, X el úmero de cámaras que se tiee al fializar la semaa, X2 el úmero de cámaras que se tiee al fializar la semaa 2, etc. El sábado e la oche la tieda hace u edido que le etrega el lues e el mometo de abrir la tieda. a tieda usa la siguiete olítica ara ordear: si el úmero de cámaras e ivetario al fial de la semaa es meor que uo etoces ordea 3 cámaras. De otra maera o coloca la orde. Se suoe que las vetas se ierde cuado la demada excede el ivetario. Etoces la serie { Xt, t = 0,,.} defie lo que se llama u roceso estocástico. os estados osibles del roceso so los eteros 0,, 2, 3 que rereseta el úmero osible de cámaras e ivetario al fial de la semaa. as variables aleatorias Xt so deedietes y se uede evaluar e forma iterativa or medio de la exresió: Xt+ = Máx {(3 Dt+), 0 } si Xt < Máx {( Xt Dt+), 0 } si Xt Para t = 0,, 2,. Podemos estar iteresados e regutas tales como Cual es la robabilidad de que haya tres cámaras e ivetario dos semaas desués de que el sistema se uso e marcha? O cuál es le estado del ivetario desués de u tiemo determiado?. Esta y otras regutas odrá ser cotestadas utilizado los modelos de Markov que será arte del desarrollo del curso.

14 COAS O IEAS Sistema de cola co c servidores e aralelo Hay dos actores riciales que coforma el sistema: los clietes y los servidores. Estos sistemas se cosidera como casos eseciales de u estudio más geeral: simulació de evetos discretos. Así que cosideraremos el sistema como < la fila más los servidores > E estos casos hay tres variables que se utiliza: ) de tiemo, 2) de coteo y 3) las variables de estado del sistema. Cuado ocurre u eveto los valores de estas variables se modifica Características: a llegada de los clietes se geera de ua fuete etrado e el sistema. (Població de clietes = fiita o ifiita) Se cosidera dos variables temorales: ) tiemo etre llegadas de los clietes y 2) tiemo de servicio or cliete. Tamaño de la cola : fiita o ifiita a discilia de la cola: orde e que se seleccioa los clietes de la cola, (FIFO = FCFS, IFO = CFS, SIRO, Prioridad) Puede haber uo o varios servidores. E aralelo, e serie o e red. os modelos más secillos y más utilizados costa de ua cola y varios servidores.

15 Catidades e que usualmete odremos estar iteresados e u estudio de colas (las cuales llamaremos medidas de desemeño del sistema ): Estado del sistema = = úmero de clietes e el sistema. ogitud de la cola = úmero de clietes que esera servicio. s = úmero eserado de clietes e el sistema. q = úmero eserado de clietes e la cola. ws = tiemo aroximado de esera e el sistema. wq = tiemo aroximado de esera e la cola. c = úmero eserado de servidores ocuados. P = robabilidad de que clietes esté e el sistema. ota: Estas catidades so relativamete fáciles de calcular cuado el sistema etra e lo que llamaremos estado estable que se reseta desués de que ha trascurrido u tiemo suficietemete grade. E cotraste está el estado trasitorio las cuales revalece cuado el comortamieto del sistema deede del tiemo. MODEO GEERAIZADO DE POISSO Usamos tasa de llegada () y tasa de servicio () deedietes del estado del sistema (). Aclaració de tasa deediete del estado del sistema: Si rereseta la tasa uitaria de llegada etoces dicha tasa uede ermaecer costate o deeder de, or ejemlo cuado hay clietes e el sistema la tasa de llegada uede ser: =. Si u sistema de colas tiee c servidores e aralelo y es la tasa de servicio or servidor, ara clietes e el sistema la tasa de salida del sistema uede ser:

16 c,si,si c c Se quiere deducir ua exresió ara el cálculo de la robabilidad (de estado estable) de clietes e el sistema. Ojo! de esta robabilidad deede rácticamete todas las medidas de desemeño del sistema. Deducció de ua exresió ara Diagrama de tasas de trasició: El sistema se cosidera ua cadea de Markov dode = 0,, 2,... (úmero de clietes e el sistema) rereseta los estados del sistema. Si T es la tasa eserada de flujo ara el estado, etoces T = Desde otro lado: T = ( + ) Etoces la ecuació de equilibrio será: = ( + ), > Segú el diagrama siguiete ara = 0 teemos: 00 =.

17 Actuado recursivamete obteemos: si = 0, 0 0 ; si =, y Utilizado 0 odemos calcular 0 y desués los i i

18 COAS ESPECIAIZADAS DE POISSO Ua otació muy usada ara reresetar u sistema de colas es la siguiete:

19 MEDIDAS DE DESEMPEÑO DE ESTADO ESTABE Teiedo e cueta la otació ateriormete establecida deducimos las siguietes relacioes imortates: s P ; q ( - c)p c ; s = efws ; q = efwq = tasa media de llegadas de clietes cuado hay clietes e el sistema. ( = si es costate). ef = tasa romedio efectiva = 0 = tasa media de servicio cuado hay clietes e el sistema ( = si es costate). Además: ws = wq + / de dode s = q + ef/ y c = s - q = ef/ Modelos co u servidor (M/M/):(DG//) Suoemos = y =, y defiimos además = / as exresioes del modelo geeralizado se reduce a: = 0 = 0,, 2... ; sabiedo que: 0( ) = y suoiedo que < etoces: 0 o sea 0 = -. De aquí que: = ( - ) ; = 0,, 2,... que es ua distribució geométrica. Para las medidas de desemeño se obtiee: [Demostrar!]

20 E() s ; 2 s q ; ) ( W S S ; ) ( W q q (M/M/)(DG//) Si hay clietes e el sistema, se imide uevas llegadas. E térmios del modelo geeralizado esto se traduce e :,, 0;, 0,,2, ; Haciedo = / obteemos las siguietes relacioes ara y las diferetes medidas de desemeño,,, 2, ) )( ( } ) ( { s ) ( ef ) ( s ef s q ) ( W q ef q q ) ( W W s q s Ver desarrollos de estas exresioes e el libro Ivestigació de Oeracioes, Taha H. A. refereciado e el rograma del curso co [4] (M/M/c)(DG//) Características: - os clietes llega co ua tasa costate, or lo que ef = - U máximo c de clietes uede ser atedidos simultáeamete

21 - a tasa de servicio, e cada servidor, es tambié costate - Usar c servidores aralelos = acelerar la tasa de servicio. Así que:,si c 0 y c,si c as exresioes ara y las medidas de desemeño uede verse e [4]. (M/M/c)(DG//), c Caracterìsticas: Difiere del caso aterior e que se imoe u límite ara la caacidad del sistema (tamaño máximo de la cola es c). Del modelo geeralizado teemos etoces que:, si0 y 0, si c,si 0 c,si c Ver e [4] las exresioes ara y las medidas de desemeño Tarea: Estudiar los siguietes modelos de colas: (M/M/)(DG//), Modelo de autoservicio (M/M/R)(DG/K/K), R < K, Modelo de servicio de máquias (M/G/)(DG//) (M/G/)(PRP//) (M/G/c)(PRP//)