Scientia Et Technica ISSN: Universidad Tecnológica de Pereira Colombia

Transcripción

1 Scietia Et Techica ISSN: Uiversidad Tecológica de Pereira Colobia BEDOYA, JUAN CARLOS; BARRERA, MAURICIO CONVERGENCIA DE LAS CADENAS DE MARKOV Scietia Et Techica, vol. XII, ú. 32, diciebre, 2006, pp Uiversidad Tecológica de Pereira Pereira, Colobia Dispoible e: Cóo citar el artículo Núero copleto Más iforació del artículo Págia de la revista e redalyc.org Sistea de Iforació Cietífica Red de Revistas Cietíficas de Aérica Latia, el Caribe, España y Portugal Proyecto acadéico si fies de lucro, desarrollado bajo la iiciativa de acceso abierto

2 Scietia et Techica Año XII, No 32, Diciebre de UTP. ISSN CONVERGENCIA DE LAS CADENAS DE MARKOV RESUMEN Este docueto cotiee la teoría para deostrar la covergecia de las Cadeas de Markov, basado e coceptos básicos y especialiados del Álgebra Lieal. Tabié se itroduce el cocepto de la trasforació Z coo herraieta para resolver las ecuacioes de Chapa-Kologorov, y fialete se uestra ua pequeña aplicació de esta teoría. Dado que gra parte de la literatura sólo se efoca e las aplicacioes de esta teoría, este artículo se hace iportate pues perite iferir cuado estos procesos estocásticos alcaa o o covergecia la cual o es fácilete etedible co las técicas suaves usadas e la ayoría de la literatura. PALABRAS CLAVES: Cadea de Markov, Trasforada Z, Procesos Estocásticos. JUAN CARLOS BEDOYA Igeiero Electricista, M.Sc (C) Profesor Auxiliar Uiversidad Tecológica de Pereira bedoya@oh.utp.edu.co MAURICIO BARRERA Igeiero Idustrial, M.Sc (C). Departaeto de Plaeació UTP. Uiversidad Tecológica de Pereira voeua@hotail.co ABSTRACT This paper cotais the theory ecessary to deostrate the Markovs Chais covergece, based o basics ad specialied cocepts about Liear Algebra. Also the Z trasfor cocept is itroduced as a tool to solve the Chapa-Kologorov s equatios, ad fially is showed a little applicatio of this theory. Sice ost of the books which deal with this theory are oly focused o applicatios, this paper becoes iportat because it allows to uderstad whe Markov Chais reaches or ot the covergece which is ot easily uderstadable i ost of the referece about stochastic process. KEYWORDS: Markov Chai, Z Trasfor, Stochastic Process.. INTRODUCCIÓN U proceso estocástico es u proceso aleatorio que evolucioa de acuerdo co u paráetro que por lo geeral es el tiepo [6]. La variable aleatoria de estados E t que describe el proceso está idexada por el paráetro t ó ídice del proceso. Así, u proceso estocástico es ua colecció de variables aleatorias y existe ua variable aleatoria por cada valor del paráetro t del proceso. Las Cadeas de Markov so u tipo de procesos que carece de eoria, es decir la trasició a u estado siguiete solo depede del estado presete e que se ecuetre el sistea y o iporta el recorrido que ha hecho para llegar al estado presete. E este tipo de procesos la variable aleatoria de estados y el paráetro t (tiepo) se cosidera variables discretas [6]. Las cadeas de Markov so ua herraieta que perite, para ciertos probleas, deteriar la probabilidad co la cual el proceso puede etrar e algú estado; si ebargo u feóeo ás iteresate, es que después de ocurridas varias trasicioes, estas probabilidades coverge a valores particulares. Este artículo relacioa la teoría ecesaria asociada co la Covergecia de las Cadeas de Markov, basádose e coceptos fuertes de Álgebra Lieal y las Ecuacioes e Diferecias efocados a esta teática. Las seccioes de este artículo coprede, las geeralidades de las Cadeas de Markov y atrices estocásticas, las propiedades de las oras atriciales, la Trasforada Z, la covergecia de las Cadeas de Markov, y fialete se uestra u ejeplo aplicado de la teoría expuesta. 2. CADENAS DE MARKOV p 33 E 3 p 3 p 3 p 3 p 3 E p E p p p p 2 p 2 p 2 E 2 p 2 p 22 Figura.Represetació de la trasició etre estados para ua cadea de Markov Fecha de Recepció: 3 de agosto de 2006 Fecha de Aceptació: 2 Octubre de 2006

3 74 Scietia et Techica Año XII, No 32, Diciebre de UTP La figura uestra el esquea básico de u proceso estocástico (para u istate de tiepo específico) dode las variables de estado ha sido discretiadas e posibles situacioes (Estados,, Estado ) y el tiepo ha sido discretiado e etapas (horas, días, eses, etc). E las cadeas de Markov se supoe que el paso ó trasició de u estado a otro sólo depede de abos, es decir se puede asociar ua probabilidad p ij a la trasició del estado E i e la fecha hacia estado E j e la fecha +. Si llaaos p j () la probabilidad de que el proceso se ecuetre e el estado E j e ua fecha, y si las probabilidades de trasició p ij se atiee costates, teeos ua Cadea de Markov. La cadea de Markov es regida por la ecuació () que es coocida coo las ecuacioes de Chapa-Kologorov [2] p ( + ) p ( ) p () j i ij i Esta ecuació idica que la probabilidad de etrar al estado j e la fecha + es la sua de las probabilidades de pasar de cualquier estado i al estado j dado que e la fecha el proceso se ecuetra e el estado i. La fora atricial (para todos los estados) de la ecuació () es: [ p ( ) ] [ p ( )][ M] + (2) Dode M es la atri cuadrada de x de las probabilidades de trasició p ij, tales que p ij 0, y la sua por filas de M debe ser uitaria, esto es la pij lo j cual represeta que todas las posibles trasicioes del estado i a cualquier otro estado j viee regida por ua distribució de probabilidad (e este caso discreta). Ua atri M co las propiedades ecioadas ateriorete recibe el obre de Matri Estocástica. Se puede verificar fácilete la siguiete relació, para ua cadea de Markov, coociedo las probabilidades de la fecha iicial [ p ( )] [ p(0) ][ M] (3) Cuado todos los eleetos de M so diferetes de cero, y se verifica que Li[ M ] r M, la atri M se llaa Ergódica. r Es iportate resaltar, las siguietes propiedades de las atrices estocásticas: a) Si A y B so atrices estocásticas etoces CA B tabié lo es. Para la prueba de la propiedad verifiqueos que la sua de los eleetos de cada fila de C sua uo, etoces: c a b y la sua ij ik kj k cij aikbkj aik bkj j j k k j aij bkj aij {} j k j b) Si A es ua atri estocástica, λ siepre es u valor propio de A. Para ostrar esta propiedad observeos iicialete el deteriate λi A λ a a a λ a k observeos que e la igualdad λi A 0 (para obteer los valores propios) el valor λ covierte a la atri λi A e ua atri sigular y por lo tato su deteriate es ulo. La sigularidad de esta atri pude ser deostrada a través del cocepto de idepedecia lieal, ua cobiació lieal o-ula etre los vectores colua de dicha atri da coo resultado el vector ulo, etoces co λ teeos: a a 0 c c + + a k a 0 Las costates c c satisface la ecuació aterior (recordar que la sua por filas de ua atri estocástica es siepre la uidad). Así queda deostrado que co λ existe depedecia lieal etre las coluas de λi A y por lo tato su deteriate es ulo, garatiado pues que la uidad es siepre u valor propio de ua atri estocástica. 3. NORMA MATRICIAL, EIGENVALORES Y EIGENVECTORES. Así coo para u espacio vectorial V de vectores puede defiirse coo Nora la aplicació de u eleeto de V sobre los reales positivos, defiaos para el espacio de atrices de orde la Nora Matricial [5] coo ua aplicació, de u eleeto del espacio de atrices, e los reales positivos que verifica que: a) A 0 y A 0 Aθ dode θ es la atri ula. b) αa α A c) A+ B A + B d) AB A B

4 Scietia et Techica Año XII, No 32, Diciebre de UTP 75 Nótese que las prieras tres propiedades so siilares a las propiedades de la ora de u vector co 2 eleetos, si ebargo la cuarta propiedad diferecia las oras atriciales de las vectoriales. Ejeplo de oras atriciales so: aij ij, A 2 A 2 aij ij, A p p p aij ij, (Nora ). (Nora 2, o ora Euclidea). (p-ora atricial) La p-ora ifiita, que coverge al áxio del a ij o es ora atricial ya que o satisface la propiedad d) por esta raó se puede ver e ciertos probleas que o todas las p-oras para p>2 so atriciales. U coplejo λ es eigevalor o valor propio de ua atri A si v V (v 0) que satisface Av λv (v θ) y e tal caso v es el eigevector o vector propio asociado a λ. El espectro de ua atri A (sp(a)) es el cojuto de valores propios de dicha atri; y se deoia radio espectral (ρ(a)) al áxio de las agitudes del espectro de A ( ρ(a) Max { λ i (A) } ). Las dos siguietes so propiedades de las oras atriciales: ) k A 2) ( A) k A co k N ρ A para cualquier ora atricial. Pruebas: ) Es cosecuecia de la propiedad d). Para 2) defiaos H coo la atri cuadrada H[v θ θ] (v es u vector propio de A, y θ es u vector colua de ceros), etoces [A] [H] λ[h], luego A H λh λ H y por la propiedad d) se tiee que A H A H, luego λ H A H, y ya que H 0 (pues v θ ) se tiee etoces que λ A que se satisface para cualquier valor propios λ del sp(a). Lo aterior idica que para cualquier ora atricial de ua atri A, igú valor propio de dicha atri será de agitud superior a la ora. Si A es ua atri estocástica, defiaos a coveiecia, la ora atricial de A coo: aij A, co k>0, y coo A es estocástica, esta ij, k ora siepre será igual a / k. Es facil ostrar que la ora así defiida cuple co las cuatro propiedades, ya que esta ora es u caso específico de la p-ora. Es coveiete aaliar el rago de valores que puede asuir k de odo que la ora defiida siga siedo ora atricial. La propiedad d) es quie restrige el valor áxio de k así: Si A y B so estocásticas, etoces CA B tabié lo es, luego A B C k 2 2 debe ser eor o igual que A B k, esto es 2 2 k k, y ya que k>0, se tiee de la relació aterior que 0 < k ; escojaos etoces k, que es valor para el cual la ora atricial defiida toa el eor valor posible, para uestra ora atricial, de odo que uestra ora atricial para atrices estocásticas será siepre igual a la uidad. Co esta ora atricial así defiida y por la propiedad 2) se tiee etoces que la agitud áxia de algú valor propio de ua atri estocástica será coo áxio la uidad. 4. LA TRANSFORMADA Z Se defie aquí la trasforació Z ya que es uy útil para ostrar las propiedades de las cadeas de Markov [4]. Sea ua variable etera o egativa, y cosidereos ua secuecia o fució f ( ) uívoca y defiida para valores eteros o egativos de, y que verifica que a 0, f ( ) a, etoces defiaos F( ) coo la trasforació Z de f ( ) así: F( ) Z{ f( ) } f( ) (4) 0 La serie aterior es covergete por lo eos para u < / a. Observe que la trasforació es u operador lieal. Para uestro estudio, os iteresa ostrar los siguietes resultados: Si f( ) α etoces F () si α (5) α La trasforació de f(+) es F( ) f(0) Z{ f( + ) } (6) Prueba: F( ) α ( α) ( α) 0 0 siepre que < / α Probado (5) ( + ) ( + ) ( ) k... 0 k k Probado (6) k 0 { } Z f f f k... f( k) f(0) F( ) f(0)

5 76 Scietia et Techica Año XII, No 32, Diciebre de UTP 5. CONVERGENCIA DE LAS CADENAS DE MARKOV Retoado la ecuació (2) y trasforado abos iebros ediate (4) teeos: ([ P ( )] [ P(0)]) [ P ( )][ M], etoces [ P ( )] [ P(0)][ C ( )] (5) dode [ C] [ I ] M [ ] () Existe ua relació iversa etre las raíces e del deteriate de la atri C y los eleetos del sp(m), esto es: C ( ) 0 es [ I] [ M] [ I] [ M] λ[ I] [ M] 0 y co 0 se tiee que las raíces e so los iversos de los valores propios de la atri estocástica M. Para aaliar la covergecia de la cadea de Markov recordeos que e el cojuto de valores propios λ k de la atri estocástica M siepre existe por lo eos u valor propio igual a la uidad y adeás que los deás se ecuetra detro del circulo uitario coplejo; por lo tato a edida que aueta de valor (cuado ha ocurrido suficietes trasicioes) la sua de la ecuació (8) se reduce sólo a aquel tério asociado al valor propio uitario ya que los deás suados tiede a desaparecer por ser de agitud eor que la uidad. 6. EJEMPLO DE APLICACIÓN Para u sistea co tres estados se tiee las probabilidades de trasició etre estados p p p M p p p p3 p32 p p Recordeos que la iversa de la atri C() se calcula coo el iverso de su deteriate ultiplicado por su atri Adjuta [] así: p 3 p 3 E p 2 p 2 [ P ( )] [ P(0)] Adj C C () ( ()) La ecuació (6) puede ser desarrollada e fraccioes parciales siples, co deoiadores que puede ser de la fora ( r k ) (r k es cada ua de las raíces del deteriate de C() ) ó de la fora ( λ k ) (el iverso de r k es λ k (λ k sp(m)). Se escogerá esta últia expresió ya que ella perite obteer la trasforació Z iversa de fora iediata. (6) Se tiee etoces que para el caso de valores propios diferetes el desarrollo e fraccioes siples es [3] [ P ( )] [ P(0)] [ Ak ] (7) k λk dode las atrices A k tiee etradas costates (idepedietes de ). Al aplicar la trasforació Z iversa a (7) ediate (5) teeos: [ p ( )] [ p(0)] [ Ak] λk (8) k p 33 E 3 p 32 Figura 2.Represetació de la trasició etre estados para ua cadea de Markov Bajo el supuesto de que el proceso se ecuetra e el Estado, calcule las probabilidad del que el proceso se ecuetre e alguo de los estados después de sucedidas uchas trasicioes. (Las probabilidades de trasició o cabia co el tiepo). Observe que M es ua atri estocástica, y sus valores propio so: λ 3 λ2 λ3, 0 0 observe que uo de ellos es la uidad y los deás so de agitud eor a ésta. p 23 E cuato a la atri [ C] [ I ] M [ ] [ ] [ ] E 2 p 22 () teeos: C ( ) C ( )

6 Scietia et Techica Año XII, No 32, Diciebre de UTP 77 C ( ) Y al expadir [ C ( )] e fraccioes parciales tedríaos que: [ C( )] [ A] + [ A2] + [ A3] λ λ 2 3 La ecuació (7) aplicada a este problea resulta e [ ] [ ] λ [ ] λ [ p ( )] [ p(0)] A + A + A Y de estos térios sólo iteresa el priero de ellos, ([A ]) pues pasadas uchas trasicioes los dos últios térios tiede a cero. Por lo tato sólo ecesitaos a A ] y para ello sipleete ultiplicaos a [ C ( )] por ( ) y haceos, obteiedo A Así que las probabilidades después de uchas trasicioes so: T [ ( )] [ (0)][ ] 0 p p A [ p ( )] [ ] 7. ANOTACIONES FINALES Es iportate aclarar que el espectro de la atri estocástica puede coteer: - Todos los eleetos del espectro so diferetes: Este fue el caso que se expuso ateriorete, y co el cual se observa claraete la covergecia de la cadea de Markov. - Existe eleetos co ultiplicidad, pero su agitud es estrictaete eo que la uidad: Para este caso, la úica diferecia que se preseta co el proceso ateriorete ostrado tiee que ver co la expasió e fraccioes parciales que se uestra e la ecuació (7), y se puede ostrar, por edio de la trasforació Z iversa, que cada ua de las fraccioes siples asociadas co el valor propio co ultiplicidad producirá ua fució de λ la cual decrece a edida que sucede las trasicioes. - Existe eleetos co agitud igual a la uidad: Para este caso se puede decir que la Cadea de Markov pudiera o Coverger a u valor específico, e icluso, e el caso de que estos eleetos tega ultiplicidad la Cadea de Markov diverge. Para eteder esta idea sería ecesario profudiar ucho ás e la teoría de estabilidad y la trasforada Z; si ebargo recurriedo a los criterios de estabilidad dados por la Teoría de Sisteas de Cotrol Digital, se cooce que cuado los valores propios del sistea está ubicados e la frotera del círculo uitario el sistea es oscilate, y adeás si existe ultiplicidad el sistea se tora iestable. Para explicar el feóeo aterior, toeos coo ejeplo u caso siple e el cual λ es u valor propio de M. Cosidere que e el ejercicio aterior la atri de trasicioes es [ M ] Sus valores propios so λ λ 2 λ 3 0. El lector podrá coprobar que la atri [ C ( )] puede escribirse coo [ C( )] [ A ] + [ A ] + [ A ] dode [ A] ;[ A2] ;[ A3] Por lo tato [ ( )] [ (0)] p p + ( ) se cocluye etoces que las probabilidades o coverge a u valor específico ya que para valores pares de la trasició (valores pares de ) las probabilidades toa u valor diferete al de las trasicioes ipares. 8. CONCLUSIONES Se ha ostrado el paoraa de las Cadeas de Markov, coo u proceso estocástico dode tato las variables tiepo coo el estado so variables discretas. Se ostró la covergecia de dicho proceso bajo u aálisis claro que ivolucra coceptos del Algebra Lieal y ediate la trasforada Z coo herraieta para resolver las ecuacioes Chapa-Kologorov. La trasforada Z aquí defiida difiere u poco de la trasforació coocida coúete, si ebargo las Y

7 78 Scietia et Techica Año XII, No 32, Diciebre de UTP propiedades derivadas de la defiició aquí dada ha sido deostradas y justificadas [4]. Por esta raó es que los valores propios de M so los iversos de las raíces del deteriate de la atri C(). Si hubiéseos epleado la defiició de trasforació Z usada e la teoría de Sisteas Cotrol Digital (dode el expoete de e la ecuació (4) o es sio -) los valores propios de M coicidiría co las raíces del deteriate de la atri C(). El efoque que se le ha dado a este problea está estrechaete relacioado co la teoría de Sisteas de Cotrol Digital [3], pues las probabilidades fiales de la Cadea de Markov equivale a la respuesta de Estado Estable de u sistea digital, cuyas Variables de Estado y sus Salidas equivale a la probabilidad de que el sistea se ecuetre e u estado deteriado y la atri asociada (al sistea digital) es la atri estocástica, ate ua excitació de codicioes iiciales (equivalete a las probabilidades del estado iicial). 9. BIBLIOGRAFÍA [] APOSTOL, T. Multi Variable Calculus ad Liear Algebra, with Applicatios to Differetial Equatios ad Probability. Volue II, Secod editio. Toroto, 969. [2] CRAMER, H, Métodos Mateáticos de la Estadística. Seguda edició 960. [3] GIRALDO, Didier. Sisteas de Cotrol Digital. Uiversidad Tecológica de Pereira. Priera edició [4] KAUFMANN, A. Métodos y Modelos de la Ivestigació de Operacioes. Too II, Priera edició, págias 408 a págias, Editorial Cotietal, México, 982. [5] AputesCN-II.pdf. Aputes de Cálculo Nuérico. Volue II, Curso 2004/2005, Octubre [6] ZAPATA, C. Cofiabilidad de Sisteas Eléctricos. Uiversidad Tecológica de Pereira. 2005