Uversdad de Atoqua Deartameto de Igeería Idustral Procesos Estocástcos Berardo A. Calderó C. edellí, abrl de 4
Berardo A. Calderó C. Cadeas de arkov.. Defcó. Procesos Estocástcos U roceso estocástco { t, tt} es ua coleccó de varables aleatoras. Esto es, ara cada tt, t es ua varable aleatora. Ídce de roceso. El couto T es llamado el ídce del roceso. El ídce t es a meudo terretado como temo, s embargo uede referrse a cualquer otra cosa,. Por eemlo, al úmero de uegos realzados or u ugador, o al úmero de metros deserollados al seccoar u rollo de tela. S T es cotable se tee u roceso dscreto e el temo, y or lo geeral se usará la sguete otacó, reemlazado el subídce t or : {, =,,...}. Decmos que teemos u roceso estocástco de arámetro dscreto. S T es u tervalo, se trata de u roceso cotuo e el temo. Notacó: { t, t } roceso estocástco de temo cotuo (roceso estocástco de arámetro cotuo). Deotamos or t a la varable que rereseta el estado del roceso e el temo t. Esa varable de estado t uede ser: Número de cletes e u suermercado Estado del temo Preco de ua accó, etc. Esaco de estados = E. Couto de todos los osbles valores que la varable t uede tomar. E resume, u roceso estocástco es ua famla de varables aleatoras que descrbe la evolucó de u roceso (físco) a través del temo. Para descrbrlo, bastaría co coocer la dstrbucó couta de robabldad de dchas varables aleatoras. Realzacó de u roceso: Couto artcular de valores que toma el roceso. Eemlo. Problema del ugador Cosdere u ugador A, que auesta cotra otro ugador B. E cada ugada A uede gaar u eso co robabldad, o uede erderlo co robabldad q = -. Sea k el catal cal del ugador A, y sea el catal de ambos ugadores. Sea el catal del ugador A desués de realzar uegos. Etoces es u roceso estocástco de arámetro cotuo, dode el esaco de estados es el couto de eteros,,,,., La fgura sguete muestra u osble evolucó del catal del ugador desués de realzar 3s uegos, s emeza co u catal cal de $.
Berardo A. Calderó C. Cadeas de arkov 3.. Estructura robablístca del roceso Como ya se mecoó, ara coocer el comortameto de u roceso estocástco, basta co coocer la dstrbucó couta de robabldad P(x,x,... ) Cosdere u roceso estocástco de arámetro dscreto =,,,...,. Cosdere el couto de varables aleatoras,,...,. Su comortameto uede descrbrse medate la fucó de robabldad couta. Para ello cosdere la sguete robabldad: P = P( =, - = -,, =, = ) Usado la fórmula de robabldad codcoal P(AB) = P(A/B) P(B), la robabldad ateror uede escrbrse como: P = P( =, -= -,, =, = ) = P( = / -= -,, =, = ) P( -= -,, =, = ) Usado de uevo el codcoal, la robabldad se uede exresar como: P = P( = / -= -,, =, = ) P( -= -/ -= -, =, = ) P( -= -, =, = ) Retedo de uevo el roceso ateror y usado el codcoal e forma teratva, se llega a la sguete exresó ara la robabldad couta: P = P( = / -= -,, =, = )xp( -= -/ -= -, =, = )xp( -= -/, =, = ) x x P( = / =, = )xp( = / = ) x P( = ) De lo ateror, se observa que la robabldad couta uede exresarse e térmos de las robabldades codcoales, codcoado el resultado e el temo a los resultados obtedos e los temos -, -,..., y el estado cal, luego el resultado e el temo - se codcoa a los resultados obtedos e los temos -,..., y el estado cal, y así sucesvamete hasta codcoar el resultado e el temo al estado cal. Usado la exresó ateror, se uede calcular la robabldad couta ara cualquer caso, ero uestro terés se cetra e dos casos esecales: el caso deedete y el caso deedete de arkov..3. Caso deedete. S las varables aleatoras so deedetes, es decr, P( = / -= -,, =, = ) = P( = ), la robabldad couta está dada or: P( =, - = -,, =, = ) = P( = ) P( - = -)P( - = -) P( = ) P( = ) Eemlo. Problema del ugador
Berardo A. Calderó C. Cadeas de arkov 4 Cosdere de uevo el roblema del ugador, ero e este caso rereseta el resultado del -ésmo uego. Su esaco de estados es E = (-, ). E este caso es u roceso estocástco deedete, ya que el resultado de u uego es comletamete deedete de los resultados de los uegos aterores..4. Caso arkovao Suoga que la robabldad codcoal e el temo, dados los eríodos -, -,..., y se uede exresar de la sguete maera: P( = / - = -, - = -, =, = ) = P( = / - = -) Es decr, el estado futuro del roceso deede solo del estado resete - y es deedete de los estados asados ( -, -3,,, ). E este caso se dce que el roceso tee la roedad arkovaa, o tee érdda de memora, es decr, el futuro deede úcamete del resete y es deedete del asado. A la robabldad codcoal P( = / - = -) se la deoma robabldad de trascó del estado - al estado e u eríodo. La robabldad couta se exresa etoces como P( =, - = -,, =, = ) = P( = / - = -)P( - = -/ - = -) P( = / = )P( = / = )P( = ) Eemlo.3 Problema del ugador Cosdere de uevo el roblema del ugador, ero e este caso rereseta el catal del ugador desués del -ésmo uego. Su esaco de estados es E = (,,,, ). E este caso, será u roceso de arkov? Solucó. El catal del ugador A desués de uegos uede exresarse e térmos del catal cal ( = k) y de los resultados de las auestas que haga Y, Y,..., Y -, Y. = + Y + Y +... + Y - + Y Al examar la exresó odría esarse que o se cumle la codcó de arkov. S embargo debe teerse e cueta que el catal desués de los - rmeros uegos - es gual a: - = + Y + Y +... + Y - co lo cual el catal del ugador A desués de uegos se uede exresar como = - + Y dode Y es el resultado del -ésmo uego (). De la exresó ateror, se cocluye que cumle la codcó de arkov.
Berardo A. Calderó C. Cadeas de arkov 5. Cadeas de arkov Cosdere el roceso estocástco de arámetro dscreto {, =,,,...,} que toma u úmero fto o fto de valores. Suodremos que E = (,,,...,) ó E = (,,,...) S = decmos que el roceso se ecuetra e el estado e el temo o etaa. El temo se deoma etaa o aso Cosdere la secueca t+, t, t-,...,,. Se dce que u roceso cumle la codcó de arkov o tee la roedad markovaa s P( t+ = / =, - = -, =, = ) = P( t+ = / = ) Se tee etoces que la robabldad codcoal de cualquer eveto futuro dados el eveto resete o actual y los evetos asados deede úcamete del resete y es deedete del asado.. Probabldad de trascó La robabldad P( t+ = / t = ) se deoma robabldad de trascó o robabldad de asar del estado al estado e ua etaa o trascó.... Probabldad estacoara S ara cada, y t se cumle P( t+=/ t=) = P( t+s+=/ t+s=) = P( =/ =) se dce que las robabldades so estacoaras, es decr, o camba co el temo y se deota smlemete or. Estas robabldades de trascó tee las sguetes roedades: a) b)... Probabldad de trascó e asos També se uede hacer la trascó del estado al estado e varos asos, o ecesaramete e uo, y esta robabldad se deota or y se deoma robabldad de trascó e asos Como los () so robabldades se tee que: P( t+ = / t = ) = P( = / = ) = () a) (), b) ( ), ara ara todo,,,,.,,, todo,,,.,,,..3. atrz de trascó e ua etaa P Es ua matrz cuadrada coformada or las robabldades de trascó e ua etaa P = { }, dode las flas rereseta el estado actual, y las columas el estado futuro.
Berardo A. Calderó C. Cadeas de arkov 6...... P............... La matrz de trascó es ua matrz estocástca y debe cumlr las sguetes roedades: a), b), ara ara todo, todo (suma fla ) La rmera roedad se debe al hecho de que se trata de ua robabldad, y la seguda al hecho de que s e el temo t el roceso se ecuetra e el estado, e el temo t+ se debe ecotrar e cualquer estado, cluyedo el estado...4. Dagrama de trascó Ua cadea de arkov se uede reresetar e forma gráfca medate u dagrama de trascó, e el cual los estados se rereseta or fguras geométrcas (círculos, cuadrados, etc), y medate flechas oretadas se dca las trascoes osbles etre los dferetes estados. (ver el roblema del ugador) Eemlo. Estado del temo Suoga que el estado del temo e u día cualquera deede úcamete del estado del temo del día ateror. as esecífcamete, suoga que s llueve hoy, la robabldad de que llueva mañaa es (=.7), y s o llovó hoy la robabldad de que llueva mañaa es (=.4). Reresete este roceso como ua cadea de arkov. Solucó. S deotamos or el estado del temo el día, or las suoscoes dadas se cocluye claramete que el roceso es ua cadea de arkov, co el sguete esaco de estados: E = (Lluva, o lluva) = (, ) La matrz de trascó corresodete será:.7.3 P.4.6 Eemlo. Problema del ugador Cosdere u ugador A, que auesta cotra otro ugador B. E cada ugada A uede gaar u eso co robabldad, o uede erderlo co robabldad q = -. Sea k el catal cal del ugador A, y sea el catal de ambos ugadores. S deotamos or el catal del ugador A desués de ugadas, a) Es ua cadea de arkov? b) S lo es, cual sería la matrz de trascó. Solucó. Como se exlcó revamete, el catal del ugador A desués de uegos es gual al catal que tee al fal del uego - más el resultado obtedo al realzar el últmo uego, es decr, = - + Y dode Y es el resultado del -ésmo uego (). De la exresó ateror, se cocluye que cumle la codcó de arkov.
Berardo A. Calderó C. Cadeas de arkov 7 El esaco de estados está dado or E = (,,,..., ) Las robabldades de trascó está dadas or: = (s el ugador está arruado o uede aostar y se quedará co cero esos de catal) = = = = s,, P{ / } q s,, s Además ya que s o se tee catal (ugador arruado) o se uede aostar, o s se tee todo el catal, el ooete o uede realzar gua auesta. / 3 -... -... P = -... 3 -........................... -... P... El roblema el ugador se uede reresetar medate el sguete dagrama de trascó. 3 - - Eemlo.3 Sstema de vetaros Cosdere u sstema de vetaro (s, S) dode se de la catdad ecesara ara elevar el vetaro al vel S cuado el vetaro es meor que s. E caso cotraro o se de ada. El eddo se hace al fal de la semaa y se etrega al rco de la sguete semaa. La demada semaal tee la sguete dstrbucó de robabldad (corresode a ua dstrbucó de Posso co tasa =.5): Demada 3 4 5 Probabldad.3.335.5.6.47.8 La demada que o se uede satsfacer a temo se erde, es decr, el clete se va ara dode otro roveedor. Sea el vetaro al fal de la semaa. a) Es ua cadea de arkov? b) E caso afrmatvo, cual será la matrz de trascó?. Sea s =, S = 3 Solucó. El vetaro al fal de ua semaa ( ) es gual al vetaro al fal de la semaa ateror ( -) meos la demada atedda durate la semaa D más las órdees colocadas al fal de la semaa ateror ara reabastecer el vetaro (O -), las cuales llega al rco de la semaa. Por lo tato se exresa como: = - + Q - - D
Berardo A. Calderó C. Cadeas de arkov 8 dode Q - = Catdad edda al fal de la semaa - (que llega al rco de la semaa ) D = demada atedda durate la semaa El esaco de estados está dado or E = (,,, 3) Cálculo de las robabldades de trascó Cálculo de. Para calcular debe teerse e cueta que s el vetaro es cero al fal de ua semaa, se de tres udades que llega al rco de la semaa sguete, y ara oder termar de uevo la semaa e cero, se requere que la demada durate esa semaa sea de or lo meos tres udades P =P( = / - = )= P(D 3) =.6 +.47 +.8 =.9 Cálculo de, y 3. Para calcular ( =,, 3) debe teerse e cueta que s el vetaro es cero al fal de ua semaa, se de tres udades que llega al rco de la semaa sguete, y ara oder termar la semaa co vetaros de, o 3 udades, se requere que las demadas resectvas durate la semaa sea de, y udades P = P( = / - = ) = P(D = ) =.5 P = P( = / - = ) = P(D = ) =.335 P 3 = P( = 3/ - = ) = P(D = ) =.3 Cálculo de. S el vetaro al fal de ua semaa es uo o se hace gú eddo. Por lo tato, ara asar de u vetaro de uo a u vetaro de cero, ( ) se requere que la demada durate esa semaa sea de or lo meos ua udad, y ara oder termar la semaa co ua udad e el vetaros la demada durate la semaa debe ser cero. Además, como o se hace eddo, o es osble termar la semaa co dos o tres udades s al fal de la semaa ateror sólo había ua udad e el vetaro. P = P(D ) =.335 +.5 +.6 +.47 +.8 =.777 P = P(D = ) =.3 P =, P 3 = La matrz de trascó resultate es la sguete:.9.5.335.3.777.3 P =.44.335.3.9.5.335.3 Eemlo.4 Geo de ua ersoa. Suoga que el geo (humor) de u comañero e u día cualquera uede ser alegre, ormal, o de mal geo (malhumorado). Suoga además que s hoy está de bue geo mañaa uede estar de bue geo, ormal o malhumorado co robabldades de.5,.4 y., resectvamete. S hoy está ormal mañaa uede estar de bue geo, ormal o malhumorado co robabldades de.3,.4 y.3, resectvamete. Falmete s hoy está de mal humor, mañaa uede estar de bue geo, ormal o malhumorado co robabldades de.,.3 y.5, resectvamete. S {, } rereseta el geo de su comañero, la matrz de trascó estará dada or.5 P.3..4.4.3..3.5 dode el esaco de estados es E = [alegre, ormal, malhumorado] = [,, ] Problemas rouestos: Lbro de Hller: 4.., 4..3, 4.3., 4.3.3 a y b, 4.5.a, 4.5.a, 4.5.3a, 4.6.6a
Berardo A. Calderó C. Cadeas de arkov 9 Eemlo.5 Trasformacó de ua cadeas de arkov. El estado del temo Suoga que el estado del temo u día cualquera deede de las codcoes del temo e los dos días aterores. Así: S ha llovdo e los dos últmos días, lloverá mañaa co robabldad de.7 S llovó hoy ero o ayer, la robabldad de que llueva mañaa es de.5 S llovó ayer ero o hoy, la robabldad de que llueva mañaa es de.4 S o ha llovdo los dos últmos días, la robabldad de que llueva mañaa es de. a) Es el roceso ateror ua cadea de arkov? b) S o lo es, uede trasformarse ara que lo sea? Solucó. S deotamos or el estado del temo el día, etoces es ua fucó o sólo de - so també de -, or lo cual o es ua cadea de arkov. S embargo, s redefmos el estado del roceso como el estado del temo e dos días cosecutvos, el roceso sería ua cadea de arkov. Así: = Estado del temo e los días y -. La covecó odría ser la sguete: Estado Codcó Llueve los dos últmos días- LL Llueve el día actual ero o el ateror-ln No llueve el últmo día, ero sí el ateror- NL 3 No ha llovdo los dos últmos días-nn E = (,,, 3) = (LL, LN, NL, NN) Cálculo de las robabldades de trascó Estado futuro = Estado del temo mañaa y hoy Estado actual = Estado del temo hoy y ayer P = P(L mañaal hoy/l hoyl ayer) = Probabldad de lluva e los dos últmos días) =.7 P = P(L mañaan hoy/l hoyl ayer) = P = P(N mañaal hoy/l hoyl ayer) =.3 P 3 = P(N mañaan hoy/l hoyl ayer) = P = P(L mañaal hoy/l hoyn ayer) =.5 P = P(L mañaan hoy/l hoyn ayer) = P = P(N mañaal hoy/l hoyn ayer) =.5 P 3 = P(N mañaan hoy/l hoyn ayer) = La matrz de trascó resultate es la sguete:.7..3..5..5. P =..4..6....8 Eemlo.6 Taller co dos máquas y u mecáco Cosdere u taller que tee máquas y u solo mecáco que las reara cuado falla. S ua máqua está trabaado, la robabldad de que falle e ua hora es. S ua máqua está bao rearacó, la robabldad de que el mecáco terme de reararla e ua hora es. S es el úmero de máquas e oeracó al fal de la hora, a) Es ua cadea de arkov?. Exlque b) E caso afrmatvo, calcule la matrz de trascó
Berardo A. Calderó C. Cadeas de arkov Solucó. El úmero de máquas e oeracó al fal de ua hora ( ) es gual al úmero de máquas e oeracó al fal de la hora ateror ( -) más el úmero de máquas rearadas durate la últma hora (R ) meos el úmero de máquas que ha fallado durate la últma hora (F ). Por lo tato se exresa como se dca a cotuacó, de dode se desrede que es ua cadea de arkov. Se suoe que las máquas falla al fal de la hora, o que sólo al fal de la hora se descubre que las máquas ha fallado, o que el mecáco ha termado la rearacó. (No hay evetos smultáeos, es decr, ua máqua o uede fallar y ser rearada e la msma hora) dode = - + R - F R = Número de máquas rearadas durate la últma hora. F = Número de máquas que fallaro durate la últma hora. El esaco de estados está dado or E = (,, ) Cálculo de las robabldades de trascó Cálculo de, y. Para asar del estado cero al estado cero se requere que el mecáco o terme la rearacó de la máqua que estaba rearado ( - ) y ara asar al estado uo se requere que terme de rearar la máqua (). P = P(mecáco o terme la rearacó) = - P = P(mecáco terme la rearacó) = P = P(Rearar dos máquas) = Cálculo de, y. Para asar del estado uo al estado cero se requere que el mecáco o terme la rearacó de la máqua que está arreglado ( - ) y que la máqua que estaba e oeracó se dañe (). Para asar del estado uo al estado uo se requere que el mecáco o terme la rearacó de la máqua que está arreglado ( - ) y que la máqua que estaba oerado o se dañe ( - ), o que el mecáco terme la rearacó de la máqua que está arreglado () y que la máqua que estaba oerado se dañe ().Para asar del estado uo al estado dos se requere que el mecáco terme la rearacó de la máqua que está arreglado () y que la máqua que estaba oerado o se dañe ( -) = P(No termar rearacó y máqua buea se dañe = ( - ) () = P(o termar rearacó y la máqua buea o se dañe) P(termar rearacó y la máqua buea dañe) = ( - ) ( - ) + () () = P(termar rearacó y que máqua buea o se dañe) = () () Queda como u eercco calcular las robabldades de trascó desde el estado haca los demás estados. La matrz de trascó resultate es la sguete: P ( ) ( ) ( ) ( ) ( ) ().. atrz de trascó e etaas P () Se deoma robabldad de trascó e etaas () a la robabldad de que u roceso ase del estado al estado e trascoes o asos. P( =/ =) = P( +m=/ m =) = (),,, Se tee que () =.
Berardo A. Calderó C. Cadeas de arkov Cálculo de (). Para asar del estado al estado e dos trascoes se uede asar or u estado termedo k e la rmera trascó y luego r del estado k al estado e la seguda trascó. Este estado k uede ser cualquera de los estados del roceso, cluyedo los estados y. La fgura sguete lustra el roceso () P( / ) k P(, k k P( P( k / / k / ) k, )P( )P( / k / k) Deotemos or P () la matrz formada or las robabldades de trascó e dos etaas, cuyos elemetos so las dferetes robabldades de trascó e dos etaas (). Al aalzar la exresó resultate ara () observamos este elemeto es gual al roducto de la fla de la matrz de trascó e ua etaa P or la columa de la msma matrz. Es decr, la matrz de trascó e dos etaas, es smlemete el roducto de la matrz de trascó de ua etaa or sí msma. Por lo tato, P () = P () P () = P P = P atrz de trascó e 3 etaas Cálculo P (3) Para asar del estado al estado e tres etaas se uede asar e el rmer aso or u estado termedo k, y luego hacer la trascó del estado k al estado e los restates dos asos, es decr: (3) P ( / ) P( k / )P( / k) 3 k S P (3) es la matrz de trascó e 3 asos, etoces se tee que 3 P (3) = P () P () = P P = P 3 També se uede asar al estado termedo k e los rmeros dos asos, y luego hacer la restate trascó al estado e u aso, es decr (3) P ( / ) P( k / )P( / k) 3 k Es decr, P (3) se uede exresar como: 3 P (3) = P () P () = P P = P 3 k k atrz de trascó e etaas - P () Ecuacó de Chama Kolmogorov. k () k k () k k ) k Para asar del estado al estado e etaas se uede asar e los m rmeros asos or u estado termedo k, y luego hacer la trascó del estado k al estado e los -m asos restates, es decr: k k
Berardo A. Calderó C. Cadeas de arkov () P ( / ) P( k / )P( / k) k m m k S P () es la matrz de trascó e asos, etoces uede exresarse como: P () = P (m) P (-m) = P m P -m = P També ara asar del estado al estado e etaas se uede asar al estado termedo k e los rmeros -m asos, y luego hacer la trascó al estado e m asos, es decr () P ( / ) P( k / )P( / k) k m Es decr, P () se uede exresar como: m P () = P (-m) P (m) = P -m P m = P m k m k El sstema ateror de ecuacoes recbe el ombre de Ecuacó de Chama Kolmogorov k m k m k Proedades: a) (), b) ( ), ara ara todo,,,,.,,, todo,,,.,,, Eemlo.7 hoy?. Estado del temo. Cuál es la robabldad de que llueva detro de 4 días s está llovedo Solucó. Para resoder esta reguta debemos calcular las robabldades de trascó e cuatro aso P( 4) P.7.4.3.6 P ().7.4.3.6..7.4.3.6.6.5.39.48 P (4).6.5.39.48..6.5.39.48.5749.5668.45.433 P (8).575.574.4854.486 La robabldad requerda está dada or ( 4) =.5749 Eemlo.8 Sstema de vetaros. Calcule la robabldad de que o haya udades e el vetaro detro de cuatro días s hoy o hay artículos e vetaro. La matrz de trascó e varas etaas ( =, 4, 8) se reseta e la ága sguete: La robabldad requerda está dada or ( 4) =.3993
Berardo A. Calderó C. Cadeas de arkov 3.9.5.335.3.4.7.34.93 P =.777.3 P() =.37.448.63.733.44.335.3.4433.64.978.986.9.5.335.3.4.7.34.93.3993.6.8.57.45.63..49 P(4).43.64.8.38 P(8).45.63..49.4.67.5.46.45.63..49.3993.6.8.57.45.63..49 Qué comortameto se observa e P () a medda que aumeta?.3. Probabldades de estado q () Se deoma robabldad de estado a la robabldad (codcoal) de que desués de trascoes el roceso se ecuetra e el estado, la cual deotaremos or q () = P( =) Cálculo. La robabldad de estado q () se uede calcular codcoado be sea e el estado cal o e cualquer otro estado. Codcoado e el estado cal se tee: () q P ( ) P( / )P( ) q S deotamos or Q () ={q (), q (),...,q () } u vector fla co las robabldades de estado, y aalzamos la ecuacó ateror teemos que Q () se uede exresar como : Q () = Q () P (), dode Q ( ) es el vector de estado o robabldad cal {q () = P( =)} y Q () ={q (), q (),...,q () } () () Cálculo. També se uede calcular q () codcoado e cualquer otro estado. S se eúltmo estado que vste el roceso se tee: codcoa e el () q P ( ) P( / )P( ) q Aalzado la ecuacó ateror teemos que: Q () = Q (-) P, dode Q (-) es el vector de robabldad de estado ara la etaa -. Eemlo.9 Estado del temo. Calcule la robabldad de que llueva detro de cuatro días s es gualmete robable que llueva o o llueva hoy. () Solucó. Como es gualmete robable que llueva o o llueva hoy, se tee que Q () robabldad de que llueva detro de cuatro días se calcula como: = (.5,.5). La q (4) = q () (4) + q () (4) =.5 x.5749 +.5 x.5668 =.5785 Eemlo. Sstema de vetaros. S el vetaro cal es udades, cual es la robabldad de que o haya vetaro al fal de la rmera semaa? De la cuarta? De la octava?. Qué asa s el vetaro cal fuera tres?
Berardo A. Calderó C. Cadeas de arkov 4 Solucó. S el vetaro cal es dos udades, teemos etoces que Q () = (,,, ). Por lo tato: Q () = Q () P ()..9.5.335.3 (.777.3 ( ) (.44.44.335.3 Q ).9.5.335.3 Q () = Q () P ().= (.4433.64.978.986) Q (4) = Q () P (4).= (.4.67.5.46) Q (8) = Q () P (8).= (.45.63..49).335.3 La robabldad de que o haya vetaro al fal de la rmera semaa es.44, al fal de la cuarta es.4 y al fal de la octava es.45. Eemlo. Sstema de vetaros. S el vetaro cal fuera 3 udades, las robabldades de estado ara las etaas,, 4 y 8 sería: Q () = (,,, ). Q () = Q () P ().= (.9.5.335.3 ) Q () = Q () P ().= (.4.7.34.93) Q (4) = Q () P (4).= (.3993.6.8.57) Q (8) = Q () P (8).= (.45.63..49) La robabldad de que o haya vetaro al fal de la rmera semaa es.9, al fal de la cuarta es.3993 y al fal de la octava es.45 Aalce las resuestas aterores, y como es su comortameto. Qué se observa? Comortameto de las robabldades de estado. a) Qué se observa e el comortameto de Q () cuado aumeta? b) Qué asa co Q () cuado aumeta y se camba el estado cal?.4. Clasfcacó de estados Accesbldad. El estado es accesble desde el estado () s () >. Esto mlca que es accesble desde s y solo s, emezado e es osble que el roceso etre al estado. Esto es verdadero dado que s o es accesble desde, etoces se tedría que P(etrar a / emeza P( / e ) P ) ( () / ) Comucabldad. S el estado es accesble desde el estado, y el estado es accesble desde el estado, etoces se dce que los estados y se comuca (). La comucacó tee las sguetes roedades: a) Reflexva: Todo estado se comuca cosgo msmo, ya que P () = b) Smétrca: S el estado se comuca co el estado, etoces se comuca co. c) Trastva: S el estado se comuca co el estado, y el estado se comuca co el estado k, etoces el estado se comuca co el estado k.. ) k
Berardo A. Calderó C. Cadeas de arkov 5 (m) k r r m rk m k Couto cerrado C. Sea C el couto (clase cerrada) formado or el estado y todos los estados que se comuca co el estado. Puede coteer u solo elemeto. Eemlo. Sstema de vetaros. Se tee que: C = (,,, 3) = C = C = C 3 = E Eemlo.3 Problema del ugador- Se tee que C = () C = (,, 3,..., -) = C = C 3 =...= C - C = () Clases dsutas. Los estados de ua cadea de arkov se uede clasfcar e clases dsutas (cerradas) E, E,.., E k,, dode los estados que se comuca erteece a la msma clase, y se tee que: E = E E...E k, co E E... E k =, E E = Eemlo.4 Problema del ugador. Se tee que E=(,,,...,-,) C = () = E, C = (,,..., -) = C =... = C - = E, C = () = E 3 y E E E 3 = E Eemlo.5 Problema de vetaros. Se tee: E = (,,, 3). C = (,,, 3) = C = C = C 3 = E Proceso rreducble. Ua cadea de arkov es rreducble s sólo cotee ua clase, es decr, s todos los estados se comuca. Por eemlo el sstema de vetaros. Estados recurretes y trastoros Sea f = Probabldad de que el roceso regrese al estado dado que emeza o se ecuetra e dcho estado Estado recurrete. El estado es recurrete s f =, es decr, s hay certeza de regresar a dcho estado. Estado absorbete: Es u caso esecal de u estado recurrete cuado = Estado trastoro: El estado es trastoro s f <, es decr exste ua robabldad = f > de o regresar al estado ua vez se sale de él. Eemlo.6 Problema del ugador. Se tee que E = (,,,..., -, ) 3 - - Como se observa e el dagrama de trascó, los estados y so absorbetes, ya que ua vez el roceso etra e dchos estados, o vuelve a salr de allí. Los demás estados se comuca etre sí, ero so trastoros, ya que s el roceso sale del estado haca el estado o sale del estado - haca el estado uca regresa a dchos estados. Se tee que f = f =, y f <, ara, Para ecotrar el úmero eserado de eríodos que el roceso se ecuetra e el estado dado =, cosdere: Sea B = s =, y B = s
Berardo A. Calderó C. Cadeas de arkov 6 ( B La catdad / ) rereseta el úmero de eríodos que el roceso está e el estado dado que =. Su eseraza está dada or: E ( B / ) E( B / ) P( / ) De lo ateror se tee que : El estado es recurrete s ( ) El estado es recurrete s ( ) La recurreca es ua roedad de clase, es decr, todos los estados que erteezca a ua msma clase o so todos recurretes o so todos trastoros. De uevo, cosdere el roblema del ugador. Claramete el estado es trastoro, ya que s del estado se asa al estado, uca se regresa al estado. Además, los estados,,..., - se comuca etre sí. Por lo tato, estos estados so també trastoros. El msmo argumeto emleado ara el estado se uede usar ara el estado -. No todos los estados de ua cadea de arkov uede ser trastoros, ya que el roceso semre debe estar e algú estado. Cosdere u roceso de arkov co la sguete matrz de trascó. Clasfque sus estados. Sea E=(,,, 3, 4) (Uso dagrama de trascó) ½ ½ ½ ½ P = ½ ½ ½ ½ Solucó: C =(,) =C, C = (,3) = C 3, C 4= (4) E = (,), E = (,3), E 3 = (4) Recurretes = (,), (,3) y trastoro = (4) Período. El eríodo de u estado se defe como el etero t (t>) s () = ara todos los valores de t, t,3t,..., y t es el etero mayor co esta roedad. Eemlo.7 Problema del ugador. Cosdere el estado. S se está e el estado, sólo se uede asar a él, e los temos, 4, 6, etc. Igual sucedería co los estados,, 3,.., -. (Esto se uede verfcar () calculado o aalzado el dagrama de trascó). La erodcdad es roedad de clase, es decr, s el estado es eródco co eríodo t, y el estado se comuca co el estado k, etoces el estado k també tee eríodo t. Estado aeródco. El estado es aeródco s exste dos eteros s y s+ tales que el roceso ueda ecotrarse e el estado e los temos s y s+. Se dce que el estado tee eríodo. Por eemlo, e el sstema de vetaros aalzado revamete todos los estados se comuca, y so aeródcos. Recuerde que ara asar de u estado a otro, la trascó se uede dar e varos asos, o ecesaramete e uo sólo. Para aalzar el eríodo cosdere de uevo el roblema del ugador, co u catal total dsoble de 4. Sólo es osble asar de u estado a ese msmo estado e las trascoes ares (exceto ara los estados y 4). ()
Berardo A. Calderó C. Cadeas de arkov 7,5,5,5,5,,5 P () =,5,5 P () =,5,,5,,5,5,5,,5,,5,5,63,,5,,3,63,3,,3,5 P (3) =,5,5,,5,5 P (4) =,38,,5,,375,3,,5,,63,3,3,,3,65,7,,6,,,7,3,,3, P (5) =,44,6,,6,44 P (6) =,47,,6,,47,,,6,,7,,3,,3,7,75,,,,5,748,,,,48 P (7) =,5,,,,5 P (8) =,498,,4,,498,5,,,,75,48,,,,748 Estado ergódco. Se dce que u estado es ergódco s dcho estado es recurrete y aeródco Ergodcdad. U roceso estocástco es ergódco s es rreducble y aeródco Problema. Cosdere las cadeas de arkov descrtas or las sguetes matrces de trascó. Clasfque sus estados. ½ ½ ½ ½ ½ ½ b) P = ½ ½ a) P = ½ ½ ½ ½ ½ ½ ¼ ¾ /3 /3 ¾ ¼ c) P= /3 /3 /3 d) P = ¾ ¼ ¼ ¾.5. Temos de rmera asada El temo de rmera asada corresode al úmero de trascoes que hace el roceso al r de u estado a u estado or rmera vez. Cuado =, corresode al úmero de trascoes ara regresar al estado y se deoma temo de recurreca. Por eemlo, e el sstema e vetaros, el úmero de semaas requerdo ara asar de u vetaro de cero a otro vetaro de cero, es decr, este temo de recurreca es el temo etre dos eddos cosecutvos Los temos de rmera asada so varables aleatoras y or lo tato tee ua fucó de desdad, la cual hallaremos medate u couto de ecuacoes recursvas.
Berardo A. Calderó C. Cadeas de arkov 8 Ecuacoes recursvas ara la fucó de desdad de temos de rmera asada Sea f () la robabldad de que el temo de rmera asada del estado al estado sea. Para = se tee claramete que: f () = () = Para =, () rereseta todas las formas e que se uede asar de a e dos asos, lo cual cluye asar e u aso y quedarse e el aso o la trascó sguete; or lo tato estas robabldades debe restarse de la robabldad de trascó e dos asos f () = () - f () Para cualquer valor de, () rereseta todas las formas e que el roceso uede asar del estado al estado e asos, lo cual cluye asar a e u aso y quedarse ahí e las - trascoes sguetes, o asar a e dos asos y quedarse ahí e las - trascoes sguetes,..., o asar a e los rmeros - asos y quedarse ahí e la trascó sguete. Por lo tato estas robabldades debe restarse de la robabldad de trascó e asos. f (3) = (3) - f () () - f () () f () = () - f () (-) - f () (-)...-f (-) () Sea f la robabldad (codcoal) de que el roceso ase del estado al estado, la cual está dada or: f () f Etoces, como ya se había vsto, el estado es recurrete s f =, y es trastoro s f < (o hay certeza de realzar la trascó) Temo eserado de rmera asada Corresode al temo eserado ara r del estado al estado, y e teoría, se uede calcular usado la defcó de valor eserado, a saber: s f () f s f Los f () so dfícles de calcular. S embargo, los se uede calcular más fáclmete usado el sguete couto de ecuacoes: Cálculo de.s los estados y so recurretes, los temos de rmera asada se uede calcular usado el couto de ecuacoes dado or: k k k Exlcacó: Para r del estado al estado or rmera vez se requere: a) Realzar mímo u aso. S e dcho aso se llega al estado, etoces = b) S e el rmer aso o se llega al estado so a otro estado k, k, etoces artedo del estado k llega al estado e u úmero eserado de asos dado or k. Prmero se latea y resuelve el sstema de ecuacoes ara ara, y luego se calcula la ecuacó corresodete a. Eemlo.8 Sstema de vetaros. Calcular el temo medo de recurreca del estado. las ecuacoes a latear y resolver so las sguetes:
Berardo A. Calderó C. Cadeas de arkov 9 3 = + 3 + 3 + 33 3 = + + + 3 3 = + + + 3 3 Realzado el cálculo de, y 3 se calcula como: = + + + 3 3 Las ecuacoes resultates so: () 3 = +.5 +.335 +.3 3 () = +.335 +.3 + 3 (3) = +.3 + + 3 De (3) se obtee = /.777 =.87 (4) (4) e (): = ( +.335 x.87)/(-.3) =.84 (5) (4) y (5) e (): 3 =( +.5 x.87)/( -.3) =.497 = +.5 x.87 +.335 x.84 +.3 x.497 =.497 Cómo se terreta =.497? Temo eserado etre dos eddos cosecutvos.6. Probabldades de largo lazo de las Cadeas de arkov (Probabldades de estado estable) Al examar las robabldades de trascó e asos (), se observa que a medda que aumeta, estas robabldades tede haca ua costate, deedete del valor cal de es decr, uede exstr ua robabldad límte, deedete de su estado cal. Esta robabldad límte está dada or lm (), deedete de U comortameto smlar se observó al aalzar el sstema de vetaros ara la robabldad de estado q () ara dos codcoes cales dferetes (gráfco de vs q () ). Además, los valores límtes era los msmos. Es decr, lm () q.6.. Cálculo de robabldades de estado estable Recordemos que la robabldad de estado q () se uede calcular como: q () q () () q () Usado la exresó de la derecha teemos que: lm () lm () lm q q q () Como lm () lm q q () Teedo e cueta lo ateror, se tee que
Berardo A. Calderó C. Cadeas de arkov lm q (),,,,..., S defmos el vector fla = (,,..., ) teemos que la ecuacó ateror se uede escrbr e forma matrcal como = P (se obtee u sstema de + ecuacoes y + varables) Como los forma ua dstrbucó de robabldad, etoces. Por lo tato, las robabldades de estado estable (o e régme ermaete) debe satsfacer el sguete sstema de ecuacoes:,,,,..., Se observa que exste + ecuacoes y + varables, lo cual quere decr que hay ua redudate, la cual o uede ser la últma ( or qué?)..6.. Codcoes ara la exsteca de las robabldades límtes a) S el roceso es rreducble, exste las robabldades lmtes b) S el roceso es ergódco, esas robabldades so deedetes del estado cal.6.3. Temos medos de recurreca Se uede demostrar que los temos medos de recurreca se uede exresar e térmos de las robabldades límtes como = /. Eemlo.9 Cálculo de robabldades límtes Sstema de vetaros: El sstema de ecuacoes = P queda de la sguete maera: (,,, ) (,,, 3 ) 3.9.777.44.9.5.3.335.5.335.3.335.3.3 =.9 +.777 +.44 +.9 3 () =.5 +.3 +.335 +.5 3 () =.335 + +.3 +..335 3 (3) 3 =.3 + + +.3 3 (4) Para que las forme ua dstrbucó de robabldad se debe agregar la sguete ecuacó + + + 3 = (5) Solucó De (4) 3 =.3 /.777=.87 (6) (6) e (3): = (.335 +.335 x.87 ) /.777 =.55488 (7) (6) y (7) e (): = (.5 +.335 x.55488 +.5x.87 )/.777 =.65498 (8) Reemlazado (6), (7) y (8) e (5) teemos:
Berardo A. Calderó C. Cadeas de arkov +.65498 +.55488 +.87 3 = = /.49686 =.45 =/.45 =.4969 =.65498 =.63 =/.63 = 3.86 =.55488 =. =/. = 4.4998 3 =.87 =.49 =/.49 = 8.7 Observacó: Como se uede observar estos valores so los msmos que aarece e la matrz de trascó P (8) calculada aterormete, y e las robabldades de estado Q (8) calculadas també revamete.6.4. Probabldades límtes e cadeas eródcas lm S las cadeas de Harkov so eródcas el límte ( ) uede o exstr. Cosdere la sguete matrz de trascó de dos estados P La matrz de trascó e asos está dada or: P (k), P (k) Teemos que () = s es ar, () = s es mar. Por lo tato el límte ateror o exste. S embargo, el sguete límte semre exste ara cadeas de arkov rreducbles y eródcos: lm (k) k Es decr, ara calcular las robabldades límtes, se calcula la matrz de trascó e varas etaas, y se toma el romedo de dchas matrces.6.5. Iterretacó de las : S se aalza el límte ateror, se observa que el umerador rereseta la suma de las frecuecas (relatvas) e que el roceso se ecuetra e el estado, es decr, el total de eríodos o asos e que el roceso vsta el estado, y el deomador rereseta el úmero total de trascoes observadas. Por lo tato esta robabldad de estado a largo lazo se le uede dar la sguete terretacó: a) Probabldad a largo lazo de que el sstema se ecuetre e el estado b) Proorcó de temo que el sstema se ecuetra e el estado Eemlo. Iterretacó ara el sstema de vetaro. Los valores de las robabldades límtes y su terretacó so los sguetes: =.45 U 4% de las semaas o hay artículos e la teda al fal de la semaa, o també, u 4% de las semaas es ecesaro colocar eddos ara reabastecer el vetaro =.63 u 6.3% de las semaas se terma la semaa co u artículo e vetaro = =. u.% de las veces se terma la semaa co dos artículos e vetaro. 3 =.49 u.49% de las veces se terma la semaa co tres artículos e vetaro. Cálculo e Iterretacó ara el roblema del estado del temo.7.3 La matrz de trascó está dada or P.4.6 Las ecuacoes ara el cálculo de las robabldades límtes so las sguetes:
Berardo A. Calderó C. Cadeas de arkov =.7 +.4 () =.3 +.6 3 () + = (5) Del sstema ateror de ecuacoes se obtee que =.57, =.39 Iterretacó: La robabldad de que llueva e u día cualquera es.57, o u 57.% de los días lloverá..7. Costo romedo eserado/udad de temo Suoga que se curre e u costo C( t) cuado el roceso se ecuetra e el estado t e el temo t. C( t) es ua varable aleatora que toma cualquera de los valores C(), C(),..., C(), y la fucó C(.) es deedete de t. El costo romedo eserado a lo largo de eríodos está dado or: E C( t ) t Usado el resultado lm (k) k Se uede demostrar que el costo romedo eserado or udad de temo está dado or: lm E C( ) C() t t Eemlo. Suoga que exste u costo de $ or cada udad que hay e vetaro al fal de la semaa t. Cuál sería el costo eserado or semaa de matemeto del vetaro? Se tee que C() =, C() =, C() = 4, C(3) = 6 El costo eserado or semaa está dado or: Costo eserado = C() =.45x +.63x +.x4 +.49x6=.8 Fucoes de costos más comleas Suoga que debe teerse e cueta los costos de ordear y de ealzacó or faltates (demada satsfecha durate la semaa). El costo or demada satsfecha deede de la demada y del estado del roceso. El costo del eríodo es ua fucó de t, t- y D. El costo romedo eserado a la larga está dado or: lm E C(,, ) C() t t D t t dode C() = E{C( t, t-,d t)} Eemlo.. Sstema de Ivetaros. Suoga que se tee los sguetes costos: El costo de hacer u eddo ara reabastecer el vetaro es $, metras que el costo utaro es de $5. Por lo tato, s se orde Q cámaras, el costo de edr exgua a + 5Q Costo de demada satsfecha = $5/udad. Cosderado úcamete los aterores comoetes, el costo semaal será: 5 max{( D 3),} s x t t C (, D ) 5 max{( t t t Dt ),} s t x t xt
Berardo A. Calderó C. Cadeas de arkov 3 S al fal de ua semaa hay udades e vetaro, se hace u eddo or tres udades. Habrá demada satsfecha al fal de la semaa sguete, s durate la semaa la demada es de 4 o 5 udades. Por lo tato el costo eserado está dado or:: C()=+5 x 3 + 5 E{max(D t-3), } =75 + 5 { 4 + 5} = 75 + 5x(.47+*.8)= 79.5 C() = + 5 E{max(D t-}, }= + 5 { + 3+3 4+4 5} = + 5 (.5 + x.6 + 3 x.47 + 4 x.8} = 37.8 C() = x + 5 E{max(D t-}, } =4 + 5{ 3 + 4 + 3 5} = 4 + 5 (.6+ x.47 + 3 x.8) = 7.7 C(3) = x 3 + 5 E{max(D t-3}, ) = 6 + 5 { 4 + 5} = 6 + 5 (.47 + x.8) =.5 Por lo tato, el costo eserado or udad de temo está dado or: Costo eserado = 79.5 x.45 + 37.8 x.63 +7.7 x. +.5 x.49 = 46.7.8. Estados absorbetes Defcó. El estado k es absorbete s kk = S el estado k es absorbete, y el roceso emeza e el estado, etoces o se habla de robabldades límtes e el setdo e que fuero aalzadas recetemete, so que se camba or las robabldades de absorcó, es decr, de que el estado sea absorbdo or el estado k, o robabldad de absorcó al estado k, deotada or f k..8.. Probabldades de absorcó S el roceso se ecuetra e el estado (o absorbete), ara calcular la robabldad de que este estado sea absorbdo or el estado k, se uede codcoar e el resultado de la rmera trascó, de la sguete maera: El roceso uede hacer ua trascó a u estado termedo, y de ahí ser absorbdo osterormete or el estado k. Por lo tato, las robabldades de absorcó f k uede calcularse medate el sguete sstema de ecuacoes: f f f k kk k f s k, k es ara s es recurrete,,,..., absorbete e k Eemlo.3 Camata aleatora. U roceso estocástco es ua camata aleatora s se cumle que estado e el estado, e el state sguete uede estar sólo e -, e +. Eemlo: Juegos de azar Eemlo.4 Estados absorbetes. Cosdere el roblema del ugador co = 3 y =.5. Calcule f. La matrz de trascó está dada or: / Las ecuacoes ara calcular f so las sguetes f = f =/ f +/f =/ +/f f =/ f +/f 3 =/ f f 3= / / /
Berardo A. Calderó C. Cadeas de arkov 4 Resolvedo se obtee f = /3, f = /3 Demostrar que f 3 = /3, f 3 = /3.8.. Número medo de asos ara la absorcó S el roceso emeza e el estado (o se ecuetra e el estado ), dode es u estado trastoro, el úmero medo de asos ara llegar a u estado absorbete, se uede calcular codcoado e el resultado de la rmera trascó, medate el sstema de ecuacoes que se obtee de la sguete ecuacó: k kt dode T es el couto de estados trastoros. També se odría escrbr de la sguete maera k k k k dode la sumatora se hace ara todo estado k cotedo e el esaco muestral, y teedo e cueta que k = s k es u estado recurrete (absorbete), es decr, s u roceso llega a u estado absorbete, el temo medo de absorcó a artr de ese estado es cero.8.3. Probabldad de absorcó. Calculo matrcal El cálculo se basa e la matrz fudametal. Smlemete daremos los asos requerdos e el rocedmeto, s aalzar detalladamete el or qué. Suodremos que el roceso tee m estados trastoros, s estados absorbetes y k estados recurretes. ) Se reorgaza las flas y las columas de la matrz de trascó, tal que quede exresada (arcal o totalmete) de la sguete maera: I P R Q dode R es ua matrz de trascó (mxs) que rereseta las trascoes de los m estados trastoros a los s estados absorbetes Q es ua submatrz de trascó etre estados trastoros (m x m) I es ua matrz detdad (s x s). Se excluye de la matrz las trascoes etre estados recurretes, s los hay (ya que estos estados uca será absorbdos or los estados absorbetes). ) Se calcula la matrz fudametal N como: N = (I - Q) -, dode Ì es otra matrz detdad de m x m 3) Se calcula la matrz que cotee las robabldades de absorcó como PA = N x R La matrz de trascó també uede orgazarse de la sguete maera: Q P Eemlo.5 R I Probabldad de absorcó. Cosdere u almacé. Al fal de cada mes se clasfca las cuetas or cobrar e cuatro categorías: ) cuetas saldadas, ) cuetas solutas, las que o adeuda aboos del mes ateror, ) cuetas vecdas, las
Berardo A. Calderó C. Cadeas de arkov 5 que lleva etre uo y tres meses de atraso, y falmete, v) cuetas de dudoso o dfícl cobro, las que lleva mas de tres meses de atraso e sus aboos. De los regstros cotables se extrao la sguete formacó: El 6% de las cuetas solutas se aga al sguete mes, el 3% ermaece e esta categoría y el % asa a cuetas vecdas; el 4% de las cuetas vecdas se coverte e solutas, el 3% se aga, el % ermaece como cuetas vecdas y el % asa a deudas de dudoso cobro, cosderadas como cuetas erddas. a) Platear este roceso como ua cadea de arkov. b) De $ 5 mlloes que tee el almacé este mes e cuetas solutas y $ mlloes e cuetas vecdas, cuáto dero recuerará el almacé al mes sguete y cuáto cosdera como erddo? Solucó Defcó de estados. Los estados se uede defr de la sguete maera: : = Cuetas saldadas = Cuetas solutas = Cuetas vecdas 3 = Cuetas malas La sguete es la matrz de trascó resultate Procedmeto: P.6.3.3.4... ) Se tercamba calmete flas y 4 y osterormete las columas y 4. El esaco de estados queda como E = (, 3,, ) y la matrz resultate es la sguete: P.3.6....4.3 I,. Q..4,.3.3 R.6.. ) Cálculo de la matrz fudametal..4.8 I Q..3..346.769 (I Q).93. 5385.4.7 3) Cálculo de las robabldad de absorcó PA.346 N x R.93.769.3.5385.6..8654.988.346.9
Berardo A. Calderó C. Cadeas de arkov 6 Iterretacó de las robabldades de absorcó: A largo lazo, u 86.5% de las cuetas vecdas so caceladas, y u 3.5% se coverte e cuetas de dudoso recaudo. De las cuetas solutas, u 98.% se cacela, y u.9% se coverte e deudas malas. S el almacé tee $5 mlloes este mes e cuetas solutas y $ mlloes e cuetas vecdas, la catdad de dero que recuerará el almacé, y la catdad que se cosderará como erddo se obtee de la sguete maera: Sea C = ($, $5) mlloes u vector (fla) que rereseta las cuetas vecdas e solutas, resectvamete, etoces a largo lazo se cacelará o se erderá las sguetes catdades:.8654.346 EC C. P, 5 A.988.9 (x.8654 5x.988, x.346 5 x.9) ( $57.694, $.36) Es decr, de los $5 mlloes que tee el almacé e cuetas solutas y de los $ mlloes e cuetas vecdas, se recuerará $57.694 mlloes y se erderá $.36 mlloes. Resuelva este roblema usado el sstema de ecuacoes vsto ates.8.4. El roblema del ugador. Otra vsó. Cosdere de uevo el roblema del ugador: U ugador A auesta cotra otro ugador B. E cada ugada A uede gaar u eso co robabldad, o uede erderlo co robabldad q = -. Sea el catal cal del ugador A, y sea el catal de ambos ugadores. Estamos teresados e calcular la robabldad de que el ugador A sea arruado s emeza ugado co esos. S deotamos or el catal del ugador A desués de ugadas, vmos que es ua cadea de arkov, co las sguetes robabldades de trascó. s P{ / } q s s,,, Además ya que s o se tee catal (ugador arruado) o se uede aostar, o s se tee todo el catal, el ooete o uede realzar gua auesta. Estamos teresados e f, la robabldad de absorcó or el estado, s emezamos co u catal de. Por smlcdad deotaremos or la robabldad de que el ugador A se arrue s emeza co u catal de., Alcado las ecuacoes ara calcular las robabldades de absorcó se tee: f f f k kk k f s k, k es ara s es recurrete,,,..., absorbete e k Usado las robabldades de trascó se obtee la sguete ecuacó: = + +q -, ara =,, 3,, - = = La ecuacó ara os dce que ara arruarse emezado co u catal cal de, se uede gaar la rmera auesta co robabldad, y luego arruarse co u catal de +, o se uede erder la rmera auesta co ua robabldad de q y luego arruarse teedo u catal de.
Berardo A. Calderó C. Cadeas de arkov 7 Como + q =, se uede multlcar or ( + q) y o asa ada. Por lo tato, la ecuacó queda como: ( + q) = + +q - + q = + +q - q - q - = I + I + - = ( I - -) (q/), ara =,, 3,, - Alcado la ecuacó ateror ara dferetes valores de teemos las sguetes ecuacoes: Para = q () Para = 3 q q () Para = 3 3 3 3 4 q q (3) La exresó geeral sería: q () Ahora, cosderado = e la ecuacó ateror se obtee la sguete detdad: () S sumamos las ecuacoes (), (), (),...,() teemos lo sguete: q q q...... q q s, q / q / q / s, q/ Nota: La sere geométrca, dada or la exresó N toma los sguetes valores deededo de s la costate es uo o dferete de., N, N N Sabemos que: =, =, reemlazado = se tee:
Berardo A. Calderó C. Cadeas de arkov 8 q / q /, s q /, q / q /, s, / q/ Reemlazado y = se obtee las sguetes exresoes ara : q /, s q / q / s q / Aálss de las robabldades de arruarse Se aalzará la robabldad de rua ara el caso e que se esté ugado cotra u ooete sumamete rco ()). Caso e que = (q/) < Cuado la robabldad de gaar es mayor que la robabldad de erder, se tee que lm lm q / q / q / Es decr, cuado la robabldad de gaar es mayor que la de erder, la robabldad de arruarse es meor de, es decr, o hay certeza de ser arruado emezado co u catal. Caso e que = (q/) = Cuado la robabldad de gaar es gual a la robabldad de erder, se tee que lm Cuado la robabldad de gaar es gual a la robabldad de erder, y se está ugado cotra u ooete sumamete rco, hay certeza de arruarse, es decr, tarde o temrao el ugador A será arruado. Caso e que = (q/) > Cuado la robabldad de gaar es meor que la robabldad de erder, se tee que lm lm q / q / Cuado la robabldad de gaar es meor que la robabldad de erder, y se está ugado cotra u ooete sumamete rco, hay certeza de arruarse, es decr, tarde o temrao el ugador A será arruado..9. Problemas. Sea { } ua cadea de arkov co esaco de estados (,, ), vector de robabldades cales Q () = (/4, /, /4) y matrz de trascó P dada or :
Berardo A. Calderó C. Cadeas de arkov 9 /4 3/4 P /3 /3 /3 /4 3/4 a) Calcule (,, ) = Pr( =, =, = ) b) Demuestre que Pr( =, = / = ) = c) Calcule ( ). d) Calcule e) Demuestre que la cadea es Irreducble. f) Ecuetre el valor de las robabldades estacoaras. Dos ugadores A y B uega de la sguete maera: S A gaa u uego recbe $ y s erde aga $. La robabldad de que A gae u uego es /3 y que erda es /3. El dero total dsoble es $ N. S el catal de cualquera de los dos ugadores cae or debao del uto dode o ueda agar el róxmo uego s lo erde, etoces el uego terma. Sea { } el catal del ugador A desués de ugadas. a) Ecuetre la matrz de trascó ara esta cadea de arkov. b) Suoga que ambos ugadores acuerda que s el catal de uo de ellos llega a ser $, realzará la róxma ugada de $ co gual robabldad de gaar o erder. Ecuetre la matrz de trascó ara este caso. 3. Ua reresa se utlza ara geerar eergía eléctrca y ara el cotrol del fluo de aguas. La caacdad de la reresa es 3 udades. La fucó de robabldad de la catdad de agua que fluye a la reresa -W- e el mes la sguete: Catdad 3 Probabldad /6 /3 /3 /6 S el agua e la reresa excede la caacdad máxma, el agua sobrate se bota a través del vertedero, que es de fluo lbre. Para geerar eergía se requere mesualmete dos udades que se suelta al fal de cada mes. S hay meos de dos udades e la reresa, se geera eergía co el agua dsoble, es decr, se suelta toda el agua que haya. Sea la catdad de agua e la reresa e el mes, desués de que se suelta el agua. Suoga que calmete la reresa está vacía. a) Es { } ua cadea de arkov? b) S { } es ua cadea de arkov, ecuetre la matrz de trascó. 4. El roetaro de ua barbería local que solamete osee ua slla ara restarle el servco a sus cletes esa agradar su egoco ues le arece que semre hay mucha gete eserado ser ateddos. Las observacoes dca que e el temo requerdo ara motlar ua ersoa uede llegar,,, o 3 ersoas co robabldades de.3,.4,. y., resectvamete. La barbería tee ua caacdad fa de 6 asetos, cluyedo aquel e que se seta el que está sedo ateddo. Sea el úmero de ersoas e la barbería cuado se comleta el servco al -ésmo clete. a) Demuestre que { } es ua cadea de markov. b) Ecuetre la matrz de trascó. c) Determe la roorcó de temo, a largo lazo, que e la barbería hay ses ersoas, o que hay 4 ersoas. 5. Suoga que Usted ha realzado ua sere de ruebas e u rocedmeto de destreza maual y ecuetra que la sguete matrz de robabldad descrbe el curso de resuestas correctas e correctas. ENSAYO Esayo Correcta Icorrecta Esayo Correcta.95.5 Icorrecta..99
Berardo A. Calderó C. Cadeas de arkov 3 a) Qué roorcó de resuestas correctas se odría eserar de ua ersoa comletamete etreada? b) Qué roorcó de resuestas correctas se odría eserar de ua ersoa desués de reetr cco veces el rocedmeto, s la resuesta cal tee gual robabldad de ser correcta o correcta? c) Cual es la robabldad de que ua resuesta correcta se obtega or rmera vez, exactamete desués de cuatro esayos co resuesta correcta? 6. Suoga que la líea de esamblae de SOFASA tee las sguetes reglas: U Reault o uede segur a otro Reault orque el cotedo de trabao desbalacearía la líea. U Reault Y debe ser segudo or u Reault Z ara balacear la líea. U Reault Z debe ser segudo or u Reault o u Reault Y ero o or otro Reault Z. a) Ecuetre ua matrz de trascó ara este roceso. Use las letras a, b, c,..., cuado los valores de las robabldades de trascó o esté umércamete defdas. b) Es esta cadeas rreducble? c) Cual es la robabldad de que desués de u Reault el sguete Reault ocurra e la líea desués de otro vehículo dferete? d) S P es ua matrz de trascó, que terretacó daría Usted al elemeto P () ara grade? 7. Ua artícula se mueve e u círculo a través de cco utos marcados co los úmeros,,, 3 y 4. E cada etaa la artícula tee ua robabldad de dar u aso e el setdo de las maecllas del relo y - de moverse e setdo cotraro. Sea la oscó de la artícula e el círculo desués de dar asos. a) Es {, } ua cadea de arkov? b) S { } es ua cadea de arkov, ecuetre la matrz de trascó. c) Calcule las robabldades límtes. Cómo se terreta? 8. Ua fábrca tee dos máquas y ua cuadrlla de rearacó. Suoga que la robabldad de que ua máqua se dañe e u día cualquera es. Suoga, además, que s la cuadrlla de rearacó está trabaado e ua de las máquas, la robabldad de que terme la rearacó e u día mas es. Sea el úmero de máquas e oeracó al fal del -ésmo día. Asuma que el comortameto de { } uede modelarse medate ua cadea de arkov. (Qué smlfcacoes debe hacerse ara que esta suoscó sea comletamete válda?). a) Ecuetre la matrz de trascó. b) S ambas máquas está fucoado cuado el sstema se ca, cual es la robabldad de que ambas esté trabaado dos días desués? 9. Ua moeda hoesta se laza al are sucesvamete hasta que ocurra tres caras segudas. Sea { } la logtud de la secueca de caras que terma e el -ésmo lazameto. Cual es la robabldad de que haya al meos 8 lazametos sucesvos de la moeda?.. Cosdere el exermeto de lazar u dado de maera reetda. Sea el máxmo de los úmeros que ocurre e los rmeros lazametos. S { } es ua cadea de marco: a) Ecuetre la matrz de trascó. b) Ecuetre Q () y Q (3). Tres ños A, B y C uega co ua elota de la sguete maera: S A tee la elota semre se la asa a B, y B semre se la asa a C, ero este se la asa a A o a B dsttamete. Sea la -ésma ersoa e recbr la elota. Es { } ua cadea de arkov?. S es así, a) Ecuetre la matrz de trascó. b) Calcule Q (3) sabedo que calmete C tee la elota. c) Calcule las robabldades límtes.. Se tee 6 bolas, tres blacas y tres egras, las cuales se dstrbuye al azar e dos uras, de tal forma que cada ua cotega tres. E cada etaa se retra, smultáeamete, ua bola de cada ura, y se deosta e la ura cotrara. Sea el úmero de bolas blacas e la rmera ura desués de tercambos. a) Exlque or qué { } es ua cadea de arkov. b) Ecuetre la matrz de trascó.