Cadenas de Marov Después de mucho estudo sobre el clma, hemos vsto que s un día está soleado, en el 70% de los casos el día sguente contnua soleado y en el 30% se pone nublado. En térmnos de probabldad, lo que nos srve entonces para predecr el clma, vemos que la probabldad de que contnúe soleado el día sguente es.7 y la probabldad de que al día sguente esté nublado es.3. Tambén nos fjamos en que s un día está nublado, la probabldad de que esté soleado el día sguente es.6 y la probabldad de que se ponga nublado es.4. Hoy está nublado, cuál es la probabldad de que mañana contnúe nublado? cuál es la probabldad de que está nublado pasado mañana? Podemos lustrar esta stuacón por medo de un dagrama de árbol: Tempo hoy Tempo mañana Tempo pasado mañana.7 soleado soleado.6.3 nublado nublado.4.6 soleado nublado.4 nublado Fgura Posbles estados del tempo a partr de que hoy está nublado Con la ayuda de la Fgura podemos predecr qué ocurrrá mañana s sabemos que hoy está nublado. Vemos que la probabldad de que mañana contnúe nublado es.4, es decr, s hcéramos esta predccón muchas veces estaríamos en lo correcto cerca del 40% de las veces. Para conocer la probabldad de esté nublado pasado mañana buscamos en las hojas del árbol correspondentes al Tempo pasado mañana los lugares donde dce nublado. Hay dos hojas donde esto ocurre. Ahora lo que queda es determnar cómo desde el prncpo, desde la raíz del árbol, podemos llegar allí. S hoy está nublado, para que pasado mañana esté nublado, podríamos tener un día de mañana soleado o nublado. Así tenemos las sguentes secuencas en orden de (hoy, mañana, pasado mañana): (nublado, soleado, nublado) o (nublado, nublado, nublado) donde pasado mañana es nublado. Estas secuencas son mutuamente excluyentes, corresponden a camnos dstntos en el árbol, así tenemos que: P(pasado mañana nublado hoy nublado) = P((nublado, soleado, nublado) o (nublado, nublado, nublado)) = P(nublado, soleado, nublado) + P (nublado, nublado, nublado) = (.6.3) + (.4.4) =.34. Este resultado se obtuvo multplcando las probabldades condconales a lo largo de los camnos desde hoy nublado hasta pasado mañana nublado. No es necesaro que seamos tan específcos en térmnos de hoy, mañana o pasado mañana, podemos darnos cuenta que lo realmente mportante es el número de días que pasa entre una predccón y otra. El problema que tratamos es equvalente al problema en que s en el día 0 está nublado, cuál es la probabldad un día después tambén esté nublado?, dos días después?, 00 días después?... C:\My Documents\Cursos\M 500\.06.Cadenas de Marov.doc pag.
Hoy está nublado, cuál es la probabldad de que esté nublado tres días después? Representa esta stuacón con un árbol. El proceso de este ejemplo sólo puede adqurr uno de dos estados posbles s = nublado y s oleado. La probabldad con que se va de un estado a otro depende del estado en que estamos en el presente. Dejemos que represente el estado del clma del día número, el estado del clma del día número y así sucesvamente. En general, para n =,,... sea n el estado del clma en el enésmo día. La sucesón de observacones,,... se llama un proceso estocástco o proceso aleatoro. La prmera observacón se conoce como el estado ncal del proceso y para n =, 3,..., n es el estado del proceso en el tempo n. En un proceso de este tpo los valores de las observacones no pueden predecrse con precsón de antemano. Sn embargo puede especfcarse una probabldad de observar determnado valor, tal como en nuestro ejemplo. En un proceso estocástco el estado varía en una forma aleatora. Para descrbr el modelo de probabldad es necesaro especfcar una probabldad para cada uno de los posbles valores del estado ncal. Tambén es necesaro especfcar para cada estado subsguente n+ todas las probabldades condconales de la forma sguente: P( n+ n+,,..., n n ). Esto quere decr que para todos los tempos n, el modelo de probabldad debe especfcar la probabldad condconal de que el proceso esté en el estado s n+ en el tempo n+, dado que en los tempos,,..., n el proceso estuvo en los estados s, s,..., s n. Muchos procesos reales, como el del ejemplo, se pueden modelar examnando úncamente la hstora más recente, es decr, examnando su últmo estado, sn consderar todos los estados anterores. Una cadena de Marov (general) es un proceso de esta naturaleza: en el momento n el estado actual del proceso y todos los estados anterores son conocdos, entonces las probabldades de todos los estados futuros j ( j > n) dependen úncamente del estado actual n y no de los anterores,,,... n-. Esto se puede ver en el dagrama de árbol, s sabemos cuál es estado del clma hoy, no tenemos que saber cuál fue el de ayer, anter o antes. Formalmente, una cadena de Marov es un proceso estocástco tal que para n =,,... y para cualquer sucesón posble de estados s, s,..., s n+, tenemos P( n+ n+,,..., n n ) = P( n+ n+ n n ). Tal como en el ejemplo del clma, s usamos la regla de multplcacón repetdas veces vemos que las probabldades en una cadena de Marov deben cumplr: P(,,..., n n ) = P ( ) P( ) P( 3 3 )... P( n n n- n- ). Demuestra este últmo resultado. En general, consderamos una cadena de Marov que en cualquer momento estará en alguno de un número fnto de estados s, s,..., s. Un proceso aleatoro de esta naturaleza se llama una cadena de Marov fnta. C:\My Documents\Cursos\M 500\.06.Cadenas de Marov.doc pag.
Es el ejemplo del estado del clma una cadena de Marov fnta? Explca. Identfca los estados. La probabldad condconal P( n+ j n ), de que la cadena estará en el estado s j en el tempo n + s está en el estado s en el tempo n se conoce como una probabldad de transcón. S para una cadena de Marov esta probabldad de transcón tene el msmo valor para todo los tempos n (n =,, 3,... ) decmos que la cadena tene probabldades de transcón estaconaras. Es decr una cadena de Marov tene probabldades de transcón estaconaras s para cualquer estados s y s j exste una probabldad de transcón p j tal que P( n+ j n ) = p j para n =,, 3,... Son las probabldades del ejemplo del estado del clma estaconaras? Construye ejemplos de stuacones que se puedan representar por procesos estocástcos, por cadenas de Marov generales, por cadenas de Marov fntas, por cadenas de Marov fntas con probabldades estaconaras. Las probabldades del ejemplo pueden presentarse en forma de matrz: soleado( s ) nublado( s ) soleado( s).7 nublado( s).6.3..4 Esta matrz que ncluye las probabldades de pasar de un estado a otro en un paso se llama la matrz de transcón. Los elementos en cada una de las flas suman uno. En la prmera fla representamos P( n n- ) = P( soleado soleado) =.7 y P( n n ) = P( nublado soleado) =.3. Qué probabldades condconales representa la segunda fla? En general, consdera una cadena de Marov con estados posbles s, s,..., s y probabldades estaconaras. Para =,, 3,..., y j =,, 3,..., denotaremos por p j la probabldad condconal de que el proceso estará en el estado s j en un determnado momento s está en el estado s en el momento nmedatamente anteror. Entonces la matrz de transcón de la cadena de Marov se defne como una matrz de dmensones, que llamamos P con elementos p j : p p L p p p L p P =. M M M p p L p El elemento en la fla, columna j p j =P( n j n- ), representa la probabldad de transcón de un paso. Estos elementos son probabldades, vemos que p j 0 para todo, j y que además la suma de estos valores en cada fla es gual a : p =. Esto nos dce que s estamos en el estado, entonces la suma de las probabldades de r a un estado s, s,..., s es uno. j = j C:\My Documents\Cursos\M 500\.06.Cadenas de Marov.doc pag. 3
El usar esta representacón en forma de matrz nos faclta el cómputo de las probabldades de transcón en más de un paso. Regresemos al ejemplo del estado del clma y añadamos algo de notacón. Dgamos que el estado s es gual a n, ndcando que el día está nublado y s es gual a s ndcando que está soleado. Sea n el estado del clma en el enésmo día en que se observe. Así n será gual a n s el día está nublado y será gual a s s el día está soleado. La pregunta que contestamos antes, la probabldad de que pasado mañana esté nublado s sabemos que hoy está nublado corresponde entonces a encontrar P( 3 = n = n). Para calcular esta probabldad examnamos los posbles estados del día de mañana y las formas de cómo llegar a 3 = n, vemos esto en el sguente árbol: Tempo hoy Tempo mañana Tempo pasado mañana p =.7 3 p =.6 p =.3 3 = n =n p =.6 3 p =.4 = n p =.4 3 = n Fgura Notacón para los posbles estados del tempo Así la probabldad que nos nteresa se puede calcular como hcmos antes, usando la fórmula de probabldad total: P( 3 = n = n) = (.6.3) + (.4.4) en térmnos de nuestra notacón esto es gual a = (p p ) + (p p ) = P( = n) P( 3 = n ) + P( = n = n) P( 3 = n = n). Es decr, hemos descompuesto el evento de que pasado mañana esté nublado s sabemos que hoy lo está en térmnos de todas los estados que se pueden observar mañana. Entonces, para cada posble estado del clma de mañana examnamos cómo podemos tener el día de pasado mañana nublado. Ahora veamos la expresón resultante. S examnamos la expresón (p p ) + (p p ), vemos que ésta corresponde al elemento en la segunda fla y segunda columna de la matrz que resulta al multplcar P P. Es decr.7 P P =.6.3.7.4.6.3.7.7 +.3.6.4 =.6.7 +.4.6.7.3 +.3.4.67 =.6.3.4.4 +.66.33..34 Esta últma matrz es la matrz de transcón del proceso en dos pasos. Nos da las probabldades de llegar en dos pasos a cualquer estado s partmos de un estado partcular. Por ejemplo, de ahí podemos leer que P( 3 = n ) =.33 y P( 3 = n) =.66. Como el proceso es estaconaro podemos nclusve determnar que P( 5 = n 3 = n) =.34, ya que lo únco que afecta el resultado es el número de días en el futuro en que queremos hacer la predccón. Podemos extender este argumento a cualquer número de días en el futuro en que queremos hacer la predccón, vemos que P P = P corresponde a las probabldades de transcón en dos pasos, entonces P 3, P 4,..., P m,... corresponden a las probabldades de transcón en 3, 4,..., m pasos respectvamente. De hecho, la matrz P m se conoce como la matrz de transcón en m pasos de la cadena de Marov. C:\My Documents\Cursos\M 500\.06.Cadenas de Marov.doc pag. 4
Estas matrces pueden encontrarse fáclmente usando una calculadora con esta capacdad o un programa de computadoras tal como Excel. Hasta ahora no sabemos las probabldades de encontrar el clma en un estado partcular (soleado o nublado) rrespectvamente del estado del tempo de hoy, es decr no sabemos P( n ), por ejemplo. S aplcamos la defncón de probabldad condconal y la fórmula de probabldad total, sabemos que P( ) = P( y ) + P( y = n) = P( )P( ) + P( = n)p( = n). Así que para calcular P( ) debemos conocer el valor de P( ) y de P( = n) además de las probabldades condconales. Estas últmas están dadas en la matrz de transcón, así que son conocdas. Las probabldades P( ) = w y P( = n) = w se conocen como las probabldades ncales del sstema. Su valor se puede estmar o suponer a través del hstoral de días soleados o nublados con que se cuente hasta ese momento. Podemos escrbr P( ) = w p + w p, recordando que el estado número corresponde a soleado y el estado número corresponde a nublado. Debemos darnos cuenta que w + w =, pues estas probabldades ncluyen todos los posbles estados en que puede estar el sstema. Encuentra P( ) s w =.7 y w =.3. Podemos extender la notacón de matrces a las probabldades ncales, esta vez usando un vector de probabldad. Consdera una cadena de Marov con estados posbles s, s,..., s y probabldades estaconaras. Supongamos que al nco, la cadena puede estar en cualquera de los estados con la probabldad de que esté en el estado s con probabldad w 0, es decr P( ) = w para =,,..., y que además w + w +...+ w =. Estas probabldades descrben un vector de probabldad w = (w, w,..., w ), en este caso llamado vector de probabldad ncal. Usando este vector de probabldad ncal podemos calcular por ejemplo, P( = = P( j ) = = P( ) P( j y ) ) = j = w p j. Esta últma sumatora corresponde al componente j del vector wp, así las probabldades de que esté en cualquera de los estados están dadas por el vector vp. Podemos generalzar este resultado aún más. Supongamos que en el tempo n, la probabldad de que el sstema esté en el estado s es P( n ) = v, n+ j = = entonces P ( ) v p. para j =,,...,. Dcho de otra forma, s las probabldades de los j estados en el tempo n están especfcadas por el vector de probabldad v, entonces las probabldades en el tempo n+ están especfcadas por el vector de probabldad vp. De aquí podemos ver que s el vector de probabldad ncal para una cadena de Marov con probabldades de transcón estaconaras es w, entonces las probabldades de los varos estados en el tempo n+ están especfcados por el vector de probabldad vp n. C:\My Documents\Cursos\M 500\.06.Cadenas de Marov.doc pag. 5
Demuestra esta últma aseveracón. Encuentra el vector de probabldad correspondente a 3 s w = (.7,.3). Ejerccos y Problemas. Camnata aleatora con barreras que reflejan.. Camnata aleatora con barreras absorbentes. 3. Dfusón de gases 4. Modelo de colas 5. Cajas con cancas C:\My Documents\Cursos\M 500\.06.Cadenas de Marov.doc pag. 6