Tema 3. Procesos estocásticos básicos en teoría de colas.

Transcripción

1 Tema 3. Procesos estocásticos básicos e teoría de colas.

2 3.1 Itroducció. Plateamieto geeral. U proceso estocástico es e esecia u modelo matemático de u feómeo que evolucioa e el tiempo de forma aleatoria. Ejemplos: El úmero de llamadas telefóicas recibidas e ua cetralita hasta cierto istate t. La sucesió de tiempos que permaece e el buffer de u comutador los paquetes de ua coexió e espera de ser trasmitidos. La sucesió de tamaños (e bytes) de los paquetes que llega a u comutador de red. De ua maera más formal, u proceso estocástico se defie como ua familia de variables aleatorias {ξ s } s S, defiidas sobre u mismo espacio de probabilidad (Ω, B,P), que represeta el comportamieto aleatorio del feómeo que se estudia. E este cotexto ξ s suele represetar el valor de ua variable de iterés ξ medida e el istate s, o el valor que toma esa variable sobre el s- ésimo objeto que iterviee e el feómeo aalizado. E las aplicacioes que veremos a lo largo de este curso, cuado T es cotiuo suele ser T= +, y cuado es discreto suele ser T=.

3 Ejemplos: ξ t = úmero de llamadas telefóicas recibidas e ua cetralita hasta cierto istate t. ξ k = Tiempo que permaece e el buffer de u comutador el k- ésimo paquete de ua coexió desde que llega hasta que es trasmitido. ξ k = Tamaño (e bytes) del k-ésimo paquete de ua coexió. Asimismo el espacio de probabilidad (Ω, B,P) represeta el azar. Los elemetos ω Ω so los posibles resultados aleatorios de la observació del feómeo, P es la fució que asiga a los ω su probabilidad de ocurrecia P(ω), y B es la colecció de cojutos de Ω a los que se puede asigar de modo cosistete u valor de probabilidad. De acuerdo co esta defiició, a cada ω Ω fo, el proceso le asocia los valores {ξ s (ω)} que costituye ua fució de S e deomiada trayectoria del proceso asociada a ω. De esta forma, podemos cosiderar u proceso estocástico como ua fució de dos variables ξ(s,ω) = ξ s (ω) de S Ω e e la que: Para cada s fo: ξ s ( ): Ω + es ua variable aleatoria. Para cada fo: ξ (ω): S es ua trayectoria del proceso

4 Si llamamos S al espacio de todas las fucioes de S e, tambié podemos iterpretar u proceso estocástico co cojuto de parámetros S y valores e como ua úica aplicació: X : Ω S que a cada ω Ω le hace correspoder la fució : X (ω) = ξ (ω): S Desde esta perspectiva puede etederse u proceso estocástico como el cojuto de todas las posibles formas e que puede evolucioar la variable e estudio (trayectorias) más ua distribució de probabilidad sobre dicho cojuto, que os idique cuál es la probabilidad de que se produzca cada trayectoria particular. El problema es cómo determiar la distribució de probabilidad asociada a u proceso estocástico?. Auque lo atural sería cosiderar como distribució del proceso la distribució cojuta de las variables aleatorias que lo compoe, el hecho de que usualmete S sea ifiito impide esta aproximació. Los trabajos de Kolmogorov e los años 30 del siglo pasado codujero al teorema que lleva su ombre y que garatiza que bajo ciertas codicioes de regularidad, coocer la distribució (fiito-dimesioal) de probabilidad de ( s,,..., ) 1 s2 s ξ ξ ξ para todo y para cualesquiera s 1, s 2,..., s S es equivalete a coocer la distribució de probabilidad del proceso. Ello se traduce, e la práctica, e que el estudio de los procesos estocásticos se realiza a través de sus distribucioes fiito dimesioales.

5 3.2 Procesos Putuales U proceso putual aleatorio es u proceso estocástico cuyas realizacioes cosiste e cojutos de putos distribuidos aleatoriamete sobre u cierto espacio cotiuo. Tales putos suele correspoder, e la práctica, a los istates de tiempo e que ha ocurrido alguos sucesos de iterés, o a las localizacioes e el espacio de ciertos objetos. Ejemplos El cojuto de istates e que se produce las llegadas o salidas de clietes e cola El cojuto de istates e que se produce los acimietos de los idividuos de ua població. E estos dos ejemplos, el cotiuo sobre el que se halla distribuídos los putos es el tiempo. El aálisis de los procesos putuales se realiza habitualmete a través de sus procesos cotadores asociados. Dado u proceso putual defiido sobre u espacio cotiuo T, se defie su proceso cotador asociado como aquel proceso que a cada subcojuto A T le asiga el úmero N(A) de ocurrecias del proceso putual localizadas e A. Cuado T es el tiempo, el proceso cotador suele expresarse como lq N t 0, dode N t represeta el úmero de sucesos putuales que ha ocurridos e [0,t]. t

6 Si lq N t t 0 es u proceso cotador asociado a u proceso putual temporal, para s<t el valor de N t N represeta el úmero de ocurrecias del proceso que ha teido lugar e el itervalo (s,t]. s Cuado N N y N N so variables aleatorias t s v u lq 0 se dice de idepedietes s< t u< v, el proceso N t t icremetos idepedietes. Asimismo, si la distribució de la variable N N, s< t, depede sólo de la diferecia t-s, el t s proceso se dice de icremetos estacioarios. Uo de los procesos cotadores más importates es el Proceso de Poisso, proceso que se usa extesamete e teoría de colas.

7 3.3 El proceso de Poisso homogéeo U proceso cotador lq N t t 0 es u Proceso de Poisso homogéeo si verifica las siguietes codicioes: ( ) 1. P N = 0 = { N } t t 0 es de icremetos idepedietes 3.- ( t+ t t = 1) = λ + ( ) ( t+ t t > 1) = ( ) ( ) o( t) P N N t o t P N N o t dode o t es u ifiitésimo de orde superior a t, esto es: lim t 0 = 0 t E esta caracterizació queda de maifiesto que aquellos procesos de icremetos idepedietes tales que, durate u tiempo ifiitesimal es muy improbable que ocurra más de u suceso seguirá ua distribució de Poisso. Como ejemplo e los que esta codició se da frecuetemete, puede citarse las llegadas de clietes a ua cola. E este caso N t represeta el úmero de clietes llegados a la cola e el itervalo de tiempo (0,t]

8 Calculemos p () t P( N ), 0 Si 1: = = : t ( ) (, ) ( ) ( ) t t+ t t t t+ t t k= 0 k= 0 k = 2 p t + t = P N = k N N = k = P N = k P N N = k = ( ) ( 0) ( 1) ( 1) = P N = P N N = + P N = P N N = + t t+ t t t t+ t t ( ) ( ) + P N = k P N N = k = t t+ t t ( 1 ) ( 1) ( λ ( )) ( ) ( ) ( ) λ ( ) t t t k = 2 ( ) 1 ()( λ ( )) () ( ) () 1 λ ( ) k k = 2 = P N = t o t + P N = t + o t + P N = k o t = = p t t o t + p t t+ o t + p t o t Si =0: 0 ( + ) = ( t = 0, t+ t t = 0) = ( t = 0) ( t+ t t = 0) = p () t 1 λ t o( t) p t t P N N N P N P N N 0 ( ) Estas ecuacioes puede reescribirse como: ( ) ( + ) () = () λ ( ) p t t p t p t t o t ( ) () () λ ( ) ( 1) ( ) 1 ()( λ ( )) () ( ) p t + t p t = p t t o t + p t t + o t + p t o t k k = 2, Dividiedo por t y tomado límite cuado t 0, os queda: () = λ () () = () + () ( ) p ' t p t 0 0 p ' t λp t λp 1 t 1

9 La primera ecuació es fácil de resolver: ( ()) ( ) '() () '( ) ( ) p0 t t p0 u t p0 '() t = λp0() t = λ du λdu p t = p u ( ) λ ( ()) () λ () t l p t l p 0 = t l p t l 1 = t = p t e λ Para las siguietes ecuacioes procedemos recursivamete; así, para =1 teemos: () = λ () + λ () p ' t p t p t Si resolvemos e primer lugar la ecuació homogéea resulta: () p1 t = c() t e λt y aplicado el método de variació de la costate: de dode: λt () λ () () t λt () λ () λ 1' = '( ) = ' 1 p t c t e c t e c t e p t 1 λt λt 0 () '() () λt () ( λ ) c'( t) e = λp t = λe c t = λ c t = λt + c p t = t + c e Impoiedo ahora la codició de que p 1 (0)=0 os queda c=0 y por tato: 1 () p t = λte λt Procediedo de modo aálogo para =2, 3, 4, llegamos a la fórmula geeral (que puede probarse por iducció): () ( t) λ λt p t = e! que correspode precisamete a la distribució de Poisso.

10 3.3.1 Propiedades del proceso de Poisso El úmero de ocurrecias de u proceso de Poisso de parámetro λ e u itervalo de logitud τ sigue ua distribució de Poisso de parámetro λτ E efecto, por ser el proceso de icremetos idepedietes, la variable Nt+ τ Nt es idepediete de Nt N0 = Nt. Por tato: ( ) ( 0) P N N = = P N N = N = = t+ τ t t+ τ t t ( ) ( λτ ) = P Nτ = = e! El proceso de Poisso es de icremetos estacioarios, esto es: λτ ( = ) = ( = ),,, P N N P N N t s h t+ h t s+ h s (la demostració se sigue de la propiedad aterior, dado que se obtiee la misma probabilidad s,t,h,) La distribució de probabilidad de los tiempos etre ocurrecias de sucesos de u proceso de Poisso es expoecial: E efecto, sea W =T -T -1. Etoces: ( / 1 ) 1 ( / 1 ) ( ) PW wt = t = PW > wt = t = = 1 P N N = 0 = 1 e λ t+ w que, como se observa, sigue ua distribució expoecial de parámetro λ, idepedietemete de y T. t w

11 El recíproco tambié es cierto, esto es, si { } 1 W es ua sucesió de variables aleatorias idepedietes e idéticamete distribuidas co distribució exp( ), W etoces { } 1 u proceso de Poisso. so los tiempos etre ocurrecias de Falta de memoria de la distribució expoecial. Si X es ua variable aleatoria co distribució expoecial, P( X t+ s X s) = P( X t), t, s 0 Esta propiedad puede iterpretarse del siguiete modo: el tiempo residual que falta hasta la próxima ocurrecia del proceso es idepediete del tiempo trascurrido desde la última ocurrecia del mismo y, además, tiee la misma distribució expoecial que el tiempo total etre dos ocurrecias. La demostració es secilla: ( ) (( + ) ( )) P( X s) λ ( t+ s) ( + ) λs P( X s) e P X t s X s P X t + s X s = = P X t s e = = = = ( ) λt e P X t Esta propiedad cofiere al proceso de Poisso homogéeo gra secillez de maejo y simplicidad matemática e los desarrollos, covitiédolo e el modelo adecuado para aquellos feómeos e los que o sea ecesario teer e cueta explícitamete el tiempo trascurrido desde la última ocurrecia.

12 3.4 El proceso de Poisso o homogéeo Cuado las codicioes que defie el proceso de Poisso se modifica de modo que la itesidad del mismo (el valor de ) sea fució de t, esto es: ( ) 1. P N = 0 = { N } t t 0 es de icremetos idepedietes 3.- ( t+ t t = 1) = λ ( ) + ( ) ( > 1) = ( ) P N N t t o t P Nt+ t Nt o t el proceso resultate se deomia de Poisso o homogéeo de itesidad (t). Siguiedo u desarrollo paralelo al realizado para el proceso homogéeo, se obtiee que: dode: ( ) ( ) ( Λ() t ) Λ() t P Nt = = p t = e! t () t λ () Λ = 0 s ds se deomia fució paramétrica del proceso. Suma de procesos de Poisso La suma de k procesos de Poisso idepedietes Naf 1 2 k, Naf,..., Naf co itesidades respectivas λ t, λ t,..., λ t es t s t s t s 1af 2af kaf atf + atf+ + katf tambié u proceso de Poisso co itesidad λ λ λ

13 3.5 Procesos de Markov E muchos sistemas basta coocer su estado actual y las reglas por las que se rige su comportamieto para predecir su evolució futura. La idea subyacete es que lo que le haya sucedido al sistema hasta llegar al estado actual o aporta, e orde a predecir su estado e el futuro, igua iformació que o esté ya recogida e las variables que defie su estado presete (pricipio de idepedecia etre el futuro y el pasado ua vez que se cooce el presete). Esta idea puede geeralizarse e u cotexto de probabilidades, y costituye la base de la defiició de los procesos de Markov. U proceso de Markov es u proceso estocástico {ξ s } s S tal que: P(ξ s+t B ξ u, u s) = P(ξ s+t B ξ s ) E otras palabras es u proceso tal que la distribució codicioal de su valor futuro ξ s+t dada toda su evolució hasta el presete ξ u, u s, depede sólo del valor actual ξ s y es idepediete del pasado. Si además ocurre que P(ξ s+t B ξ s ) es idepediete de s, etoces el proceso se dice homogéeo o estacioario. Cuado S es discreto, el proceso de Markov se dice e tiempo discreto, y e tiempo cotiuo e otro caso. El cojuto de valores que puede tomar u proceso de Markov recibe el ombre de espacio de estados del proceso. Cuado el espacio de estados es discreto, el proceso suele recibir el ombre de Cadea de Markov.

14 3.6 Procesos Semi-Markoviaos U Proceso Semimarkoviao (SMP), tambié coocido como Proceso de Reovació Markoviao (MRP), es u proceso estocástico co espacio de estados discreto, y cuyas trasicioes etre estados forma ua cadea de Markov, siedo los tiempos etre sucesivas trasicioes variables aleatorias. E el caso particular de que estas variables siga ua distribució geométrica (cuado el proceso es e tiempo discreto) o expoecial (cuado el proceso es e tiempo cotiuo), co parámetro depediete sólo del estado actual, el proceso es de Markov, debido a la falta de memoria de estas variables. 3.7 Cadeas de markov e tiempo discreto Codició de Markov Las cadeas de Markov e tiempo discreto costituye el modelo de proceso de Markov más simple. El tiempo T es discreto (T = ; e geeral se llama etapas a las uidades de tiempo discretas) y tambié es discreto (fiito o umerable) el espacio de estados, al que llamaremos E. La codició de Markov se expresa e este caso de la forma, c h c + 1 h P ξ = jξ = i, ξ = i,..., ξ = i = P ξ = jξ = i Cadeas de Markov homogéeas Ua cadea de Markov es homogéea, cuado verifica: c + 1 h c m+ 1 m h=, P ξ = jξ = i = P ξ = jξ = i p m N lo que sigifica que la probabilidad de pasar del estado i al estado j e ua etapa es idepediete de cuál sea esta etapa.

15 3.7.3 Caracterizació de las cadeas de Markov homogéeas Ua cadea de Markov homogéea queda determiada por: 1. El espacio de estados E (fiito o umerable). b + 1 g. 2. La probabilidad de trasició del estado i al j, idepediete de,, EP, ξ = j/ ξ = i= p Obviamete p = 1, i E. j E 3. La distribució iicial de la cadea: b g af 0, EP, ξ 0 = i= p i Ejemplo: Cosideremos u sistema de comuicació que trasmite los dígitos 1 y 0. El buffer de etrada de este sistema tiee capacidad para u máximo de 4 dígitos, lo que sigifica 5 posibles estados (0, 1, 2, 3 y 4), que represeta el úmero de bits e el buffer e cada mometo. El sistema opera e tiempo discreto y, llamado k a la ocupació del buffer e el slot k, se ha observado que k se comporta segú ua cadea de Markov homogéea co las siguietes probabilidades de trasició: dode P = ( ξ 1 ξ ),, { 0,1, 2,3, 4} p = P = j = i k N i j k + k Si iicialmete el buffer está vacío, la distribució iicial de la (0) ( 0) ( 0) ( 0) ( 0) ( 0) cadea es p = p, p, p, p, p = 1,0,0,0,0 ( ) ( )

16 3.7.4 Probabilidades de trasició e etapas Ésta es la probabilidad de que la cadea, trascurridas etapas, se ecuetre e algú estado j, habiedo partido iicialmete del estado i, esto es: ( ) p = P ξ = j/ ξ 0 = i b Para calcular esta probabilidad, si defiimos las matrices de probabilidades de trasició e ua y etapas respectivamete, como: af af c h d E i,, E P= p P = p puede probarse el siguiete resultado, coocido como ecuació de Chapma-Kolmogorov: Paf = P g Probabilidades de estado tras etapas. Si se desea calcular la probabilidad icodicioal de que la cadea se ecuetre e el estado j tras etapas, llamado ( p ) j = Pbξ = jg, y paf = paf paf d i 1, 2,..., se tiee, af af 0 p = p P Ejemplo: E uestro ejemplo aterior, la matriz de probabilidades de trasició e 3 etapas es: P = P = (3) 3 y las probabilidades de estado e la tercera etapa so: () () p = p P = ( ) A cotiuació vemos las sucesivas potecias de la matriz de trasició:

17 P [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 2 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 3 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 4 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 5 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 6 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,]

18 P 7 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 8 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 9 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 10 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 11 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 12 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,]

19 P 13 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 14 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 15 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 16 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 17 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 18 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,]

20 P 19 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] P 20 [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,] Como puede apreciarse, las sucesivas potecias de la matriz va pareciédose cada vez más etre sí; de hecho, a partir de P 17, las matrices P k, k 17, so prácticamete iguales (las diferecias que pudiera haber está por debajo del octavo decimal). Ello sigifica que las probabilidades de estado tras etapas ya o cambia prácticamete a partir de la etapa 17. Tales probabilidades sería: ( 0) (17) 17 p = p P = ( ) ( k) ( 0) k ( 0) 17 ( 17) k 17 : p = p P p P = p Por tato, si el buffer está iicialmete vacío, trascurrido u úmero de etapas mayor que 17, la probabilidad de que esté vacío es de 0.207; la probabilidad de que esté ocupado por u solo dígito es 0.235; y la probabilidad de que esté lleo es

21 3.7.6 Probabilidades de etapa de primer paso Otro problema de iterés suele ser el cálculo de la probabilidad de que, partiedo del estado i, la cadea llegue por primera vez al estado j trascurridas etapas. Esta probabilidad suele deotarse como: co la coveció de que: bg b g k f = P ξ = j, ξ j, k = 1,..., 1/ ξ0 = i 0 f bg= 0 La probabilidad de que la cadea, habiedo partido del estado i, alcace algua vez el estado j es etoces: f = f ( ) = 1 Si se defie las fucioes geeratrices: puede probarse que: y por tato: ( ) P () s = p s, F () s = fafs = 1 = 1 F () s = 1+ P () s P () s f = f af = F () 1 = 1 El úmero medio de etapas que se emplea e ir de i a j es, = F ' () 1. µ jj

22 E uestro ejemplo: Calculemos la probabilidad de que, partiedo del buffer vacío, algua vez llegue a haber 3 dígitos e el mismo. Para ello debemos hallar: P 03 (s) = 0.1s s s s s s s s s s s s s s s s s s s s 20 + P 33 (s) = 0.3s s s s s s s s s s s s s s s s s s s s 20 + y resolver: F 03 () s P () s = 03 = 0.1s+0.125s s s s P ( s) s s s s s s s s s s s s s s s 20 + Así pues, la probabilidad de llegar al estado 3 (teer 3 dígitos e el buffer) partiedo del estado 0 (buffer vacío) es: f 03 = F 03 (1) = El úmero medio de etapas que se tarda e teer 3 dígitos partiedo del buffer vacío es: µ 03 = F 03 (1) = 2.05 etapas

23 3.7.7 Clasificació de estados de ua cadea de Markov homogéea. Estados recurretes: U estado i es recurrete si f ii = 1 Estados trasitorios: el estado i es trasitorio si o es recurrete, esto es, si f ii < 1 Tiempo medio de recurrecia: es el tiempo medio que se tarda e regresar al estado j habiedo partido del mismo estado, esto es: µ jj = ( ) f jj = 1 Estados recurretes positivos: u estado j se dice recurrete positivo si µ jj <, esto es, si el tiempo medio que se tarda e regresar a él es fiito. Estados recurretes ulos: u estado j se dice recurrete ulo esto es, si se tarda u tiempo medio ifiito e regresar a él. Estados absorvetes: u estado i se dice absorvete si p ii = 1, esto es, si ua vez que la cadea llega a este estado ya o puede pasar a otro distito de él. Estados accesibles: u estado j es accesible desde otro estado i si: ( ) 0: p > 0 Estados comuicates: dos estados i, j comuica etre sí si cada uo de ellos es accesible desde el otro.

24 Estados periódicos: u estado recurrete i se dice periódico de periodo d si d es el máximo comú divisor de los ídices ( ) para los cuáles p ii > 0. U estado co periodo 1 se dice aperiódico. Puede probarse que si el estado i es aperiódico ( ) etoces existe u etero 0 tal que p > 0 0. ii Cojuto cerrado de estados: u cojuto de estados C es cerrado si: i C, j C: p = 0 Cojutos irreducibles de estados: u cojuto de estados C es irreducible si es cerrado y o cotiee subcojutos cerrados. Puede demostrarse que si C es cerrado, etoces es irreducible si y sólo si todos sus estados comuica etre sí. Los cojutos irreducibles de estados cumple las dos siguietes propiedades: a) Si C es irreducible, etoces sus estados so todos trasitorios o so todos recurretes. b) Si C es irreducible y todos sus estados so recurretes, etoces f = 1 i, j C. Más aú, o bie µ jj < j C, o bie µ jj = j C (esto es, sus estados o so todos recurretes positivos o so todos recurretes ulos). c) Si C es irreducible y todos sus estados so recurretes, etoces todos los estados de C tiee el mismo periodo.

25 Ejemplo: La siguiete es la matriz de trasició de ua cadea de Markov co 6 estados, umerados de 0 a 5: El estado 1 es recurrete, pues si el proceso comieza e él, permaece e él para siempre. Los estados 2 y 5 so trasitorios, ya que puede ser visitados uas cuatas veces y o volver a ellos uca más. Los estados 0, 3 y 4 so recurretes, ya que ua vez que el proceso llegue a uo de ellos permaece e ese cojuto para siempre. El cojuto {0, 3, 4} es u cojuto cerrado de estados; tambié es irreducible. El cojuto {1} es tambié cerrado e irreducible. El cojuto {2,5} o es cerrado. El cojuto {0,1,2,3,4,5} es cerrado pero o irreducible.

26 3.7.8 Cadeas de Markov co espacio de estados fiitos. Hay ua serie de resultados que o se cumple para cadeas de Markov co u úmero ifiito de estados, pero que sí se verifica si este úmero es fiito. Por ejemplo, e ua cadea co ifiitos estados podría ocurrir que iguo fuese recurrete, pero e ua cadea fiita es evidete que debe existir algú estado de esta clase. Más aú, todo cojuto de estados cerrado y fiito tiee al meos u estado recurrete. Teorema: Sea R el cojuto de estados recurretes de ua cadea de Markov co espacio de estados fiito y si cojutos cerrados disjutos. Etoces: a) f = 1 i E, j R b) µ < i E, j R c) Si los estados recurretes so aperiódicos, etoces existe ( ν ) u etero ν 1 tal que p > 0 i E, j R Distribució estacioaria de ua cadea de Markov. ξ Sea { } 0 ua cadea de Markov y sea E = { 1,2,3,... } su espacio de estados. La distribució de probabilidad π = ( π, π, π,...) dode πi = P( ξ = i) es ua distribució ξ estacioaria para { } 0 si verifica: π P = π E caso de que exista esta distribució, si p ( 0) ( ) p = π = π, etoces

27 Distribució de equilibrio de ua cadea de Markov. U problema de gra iterés e las aplicacioes prácticas es el siguiete: trascurrido u úmero muy grade de etapas, cuál es la probabilidad de que la cadea se ecuetre e u estado j determiado?. Esta preguta sólo tiee setido cuado el proceso es ergódico. U proceso estocástico es ergódico cuado existe la distribució límite: π j ( ) b g = p ξ = j = lím p e cuyo caso se dice que la cadea está e equilibrio. La distribució π = ( π1, π2, π3,... ) recibe el ombre de distribució de equilibrio de la cadea. La ergodicidad sigifica que trascurridas ( ) muchas etapas, la probabilidad de estar e u estado j, π j = lím p es idepediete del estado de partida i. El siguiete teorema os idica e qué casos existe la distribució límite de ua cadea de Markov. Teorema: ξ (a) Si { } 1 es ua cadea de Markov irreducible y recurrete positiva, etoces existe ua úica solució o degeerada de las ecuacioes: πp = π, π u = 1 (siedo u u vector de uos). Además el vector solució π = π j verifica que resultate ( ) π j 1 = µ Si además los mometos de la distribució estacioaria so fiitos etoces se tiee: (b) Si el vector de probabilidades iiciales p (0) se elige de modo que p (0) = π, etoces la cadea es u proceso estacioario y ergódico. (c) Si además la cadea es aperiódica, irreducible y recurrete positiva, etoces el proceso es ergódico y la distribució límite coicide co la distribució estacioaria. jj

28 Teorema: Ua cadea de Markov aperiódica e irreducible es recurrete positiva si existe ua solució o egativa del sistema de ecuacioes: tal que: j= 0 ( ) px x 1 i 0 j i j= 0 p x 0 j j <

29 3.8 Cadeas de markov e tiempo cotiuo co espacio de estados discreto. E este caso la codició de Markov puede escribirse como: siedo T = b t+ s s u u g b t+ s s g P ξ = j / ξ = i, ξ = i, 0 u< s = P ξ = j / ξ = i [ 0, ) : Cuado esta probabilidad o depede de s, la cadea es homogéea. Las cadeas de Markov e tiempo cotiuo homogéeas verifica las siguietes propiedades: (1) cada vez que alcaza el estado i la catidad de tiempo que la cadea permaece e ese estado ates de trasitar a otro estado sigue ua distribució expoecial de parámetro ν i depediete del estado de partida. (2) Cuado el proceso abadoa el estado i, etra e otro estado j i co probabilidad p, verificádose: pii = 0, p = 1, i E. j E E otras palabras, ua cadea de Markov homogéea e tiempo cotiuo es u proceso estocástico que se mueve de u estado a otro de acuerdo co ua cadea de Markov e tiempo discreto, pero que permaece e cada estado durate u tiempo expoecialmete distribuido (co parámetro depediete del estado). Además el siguiete estado j al que se mueve el proceso es idepediete del tiempo que haya permaecido e el estado i (si o fuera así se violaría la codició de Markov).

30 De esta forma, ua cadea de Markov homogéea e tiempo cotíuo queda defiida por la matriz de trasició de probabilidades: dode: c h Pt () = p () t, E () = ( ξ = ξ = ) p t P j i t 0 De modo aálogo al caso de tiempo discreto (e que P () = P ), se cumple (ecuació de Chapma-Kolmogorov): Pt ( + s) = PtPs ( ) ( ) Asimismo, si p() t = P t = i, p() t = p1(), t p2 (),... t, se tiee: i bξaf g b g pt () = p( 0) Pt () Cálculo de la matriz de trasició e u tiempo t Obviamete, la preguta que cabe hacerse ahora es, de qué modo puede calcularse P(t)? Para ello, llamamos: 1 = tiempo medio que la cadea permaece e el estado i. ν i Como la distribució de este tiempo es expoecial, ν i t es la probabilidad de que la cadea abadoe este estado e el próximo itervalo de tiempo de amplitud t. q = ν p. De acuerdo co la defiició de ν i, el valor q t i puede iterpretarse como la probabilidad de trasitar al estado j desde el estado i e el próximo itervalo de tiempo de amplitud p t = ν t p = q t) t (esto es, ( ) i q si i j r = R = r ν i si i = j ( ), i j E

31 Si ahora calculamos las probabilidades de trasició e u periodo de duració t+ t: ( + ) = ( ) ( ) + ( ) () = ( 1 ν ) () + () p t t p t p t p t p t t p t q t p t ii ii ii ji i ii ji j i j i ( + ) = ( ) ( ) + ( ) () = ( 1 ν ) () + () p t t p t p t p t p t t p t q t p t ii ik kj i ik kj k i k i de dode: ii ( + ) ( ) p t t p t t p t t p t ( + ) ( ) t ii () () = ν p t + q p t i ii ji j i () () = ν p t + q p t i ik kj k i tomado límite cuado t 0 se obtiee la ecuació retrospectiva de Kolmogorov: p, () t = r p () t ik k j k Para obteer esta ecuació hemos calculado la probabilidad de trasició p (t+ t) a partir de la evolució de la cadea primero e u lapso t y a cotiuació e u periodo de logitud t. Si hubiésemos calculado dicha probabilidad partiedo primero de la evolució e u periodo de duració t y a cotiuació e otro periodo t, llegaríamos a: ( ) () ( ) () ( ) ()( 1 ν ) () p t + t = p t p t + p t p t = p t t + p t q t ii ii ii ji ii i ji j i j i ( ) () ( ) ()( ν ) () p t + t = p () t p ( t) + p t p t = p t 1 t + p t. q t jj ik kj j ik kj k j k j de dode:

32 ii ( + ) ( ) p t t p t t p t t p t ( + ) ( ) t ii () () = ν p t + p t q i ii ji j i () () = ν p t + p t q j ik kj k j tomado límite cuado t 0 se obtiee la ecuació prospectiva de Kolmogorov: p () t = p () t r, ik k j k Las ecuacioes de Kolmogorov puede expresarse e forma vectorial, respectivamete, como: P '( t) = RP( t) P '( t) = P( t) R y la solució de ambas viee dada por: dode, al serp( 0 ) = I, resulta: dode: Pt () = P( 0) e Rt e Rt Pt ()= = 0 e Rt R t =! Debe señalarse que e la práctica o resulta, e geeral, eficiete calcular P(t) de esta forma, resultado preferible e muchas ocasioes tratar de obteer los p (t) directamete a partir de algua de las ecuacioes de Kolmogorov. Esto es lo que hemos hecho ya e el caso del proceso de Poisso homogéeo.

33 Distribució ergódica de ua cadea de Markov e tiempo cotiuo. Por último, e aalogía co el resultado obteido para las cadeas e tiempo discreto, a meudo la probabilidad de que la cadea de Markov se ecuetre e el estado j trascurrido u tiempo muy largo coverge a u valorπ j (probabilidad ergódica) idepediete del estado iicial, esto es: π j = lím p () t t El valor de π j puede iterpretarse como la proporció de tiempo que el sistema permaece e el estado j. Si π es la distribució ergódica de la cadea de Markov e tiempo cotíuo, verificará: π = π Pt () t y como, de acuerdo co la ecuació prospectiva de Kolmogorov, es P '( t) = P( t) R, se tiee que: π P '( t) = π P( t) R= π R Si la cadea es ergódica, debe ocurrir que: lim P'( t) = 0 t y por tato la distribució ergódica debe cumplir: π R = juto co la codició atural de que vector de uos. 0 π u = πi = 1, siedo u u i= 1 Teorema: Ua cadea de Markov e tiempo cotiuo es ergódica si es irreducible y todos sus estados so recurretes positivos. La probabilidad ergódica π j puede iterpretarse como la proporció de tiempo que el sistema permaece e el estado j.

34 El sistema de ecuacioes π R = 0 admite ua iterpretació que resulta bastate ituitiva y fácil de compreder. Si escribimos su desarrollo obteemos: νπ + πq = 0 j j j k kj k j E este sistema de ecuacioes, la probabilidad ν j π j puede iterpretarse como la tasa co que el proceso abadoa el estado j. Asimismo, la probabilidad π kqkj puede iterpretarse como la tasa k j co que el proceso llega al estado j desde todos los estados k j. Claramete, cuado el proceso se ecuetra e equilibrio ambas catidades debe ser iguales.