CADENAS DE MARKOV Itroducció U proceso o sucesió de evetos que se desarrolla e el tiempo e el cual el resultado e cualquier etapa cotiee algú elemeto que depede del azar se deomia proceso aleatorio o proceso estocástico. Por ejemplo, la sucesió podría ser las codicioes del tiempo e Paraá e ua serie de días cosecutivos: el tiempo cambia día a día de ua maera que e apariecia es algo aleatoria. O bie, la sucesió podría cosistir e los precios de las accioes que cotiza e la bolsa e dode otra vez iterviee cierto grado de aleatoriedad. U ejemplo simple de u proceso estocástico es ua sucesió de esayos de Beroulli, por ejemplo, ua sucesió de lazamietos de ua moeda. E este caso, el resultado e cualquier etapa es idepediete de todos los resultados previos (esta codició de idepedecia es parte de la defiició de los esayos de Beroulli). Si embargo, e la mayoría de los procesos estocásticos, cada resultado depede de lo que sucedió e etapas ateriores del proceso. Por ejemplo, el tiempo e u día determiado o es aleatorio por completo sio que es afectado e cierto grado por el tiempo de días previos. El precio de ua acció al cierre de cualquier día depede e cierta medida del comportamieto de la bolsa e días previos. El caso más simple de u proceso estocástico e que los resultados depede de otros, ocurre cuado el resultado e cada etapa sólo depede del resultado de la etapa aterior y o de cualquiera de los resultados previos. Tal proceso se deomia proceso de Markov o cadea de Markov (ua cadea de evetos, cada eveto ligado al precedete) Estas cadeas recibe su ombre del matemático ruso Adrei Adreevitch Markov (856-9). Como mecioamos ates, estas cadeas tiee memoria, recuerda el último eveto y eso codicioa las posibilidades de los evetos futuros. Esto justamete las distigue de ua serie de evetos idepedietes como el hecho de tirar ua moeda. Este tipo de proceso preseta ua forma de depedecia simple, pero muy útil e muchos modelos, etre las variables aleatorias que forma u proceso estocástico. Se utiliza, por ejemplo, para aalizar patroes de compra de deudores morosos, para plaear ecesidades de persoal, para aalizar el reemplazo de u equipo, etre otros. Defiició Ua cadea de Markov es ua sucesió de esayos similares u observacioes e la cual cada esayo tiee el mismo úmero fiito de resultados posibles y e dode la probabilidad de cada resultado para u esayo dado depede sólo del resultado del esayo imediatamete precedete y o de cualquier resultado previo. Propiedad de Markov: Dada ua secuecia de variables aleatorias X X,,..., tales que el valor de, X 3 X es el estado del proceso e el tiempo. Si la distribució de probabilidad codicioal de X + e estados pasados es ua fució de X por sí sola, etoces: P(X P(X + + + + /X /X, X ),...X, X ) = Dode xi es el estado del proceso e el istate i.
Esta idetidad es la deomiada propiedad de Markov: El estado e t + sólo depede del estado e t y o de la evolució aterior del sistema Matriz de trasició Al trabajar co cadeas de Markov, a meudo es útil pesar la sucesió de esayos como experimetos efectuados e cierto sistema físico, cada resultado dejado a este sistema e cierto estado. Por ejemplo, cosideremos ua sucesió de eleccioes políticas e cierto país: el sistema podría tomarse como el país mismo y cada elecció lo dejaría e cierto estado, es decir e el cotrol del partido gaador. Si sólo hay dos partidos políticos fuertes, llamados A y B, los que por lo regular cotrola el gobiero, etoces podemos decir que el país se ecuetra e el estado A o B si el partido A o B gaara la elecció. Cada esayo (o sea cada elecció), coloca al país e uo de los dos estados A o B. Ua sucesió de 0 eleccioes podría producir resultados tales como los siguietes: A, B, A, A, B, B, B, A, B, B La primera elecció e la sucesió deja e el poder al partido A, la seguda fue gaada por el partido B, y así sucesivamete, hasta que la décima elecció la gae el partido B. Supogamos que las probabilidades de que el partido A o B gae la próxima elecció so determiadas por completo por el partido que está e el poder ahora. Por ejemplo podríamos teer las probabilidades siguietes: Si el partido A está e el poder, existe ua probabilidad de ¼ que el partido A gaará la próxima elecció y ua probabilidad de ¾ de que el partido B gae la elecció siguiete. Si el partido B está e el poder, hay ua probabilidad de /3 de que el partido A gae la elecció siguiete y ua probabilidad de /3 que el partido B permaezca e el poder. E tal caso, la sucesió de eleccioes forma ua cadea de Markov, dado que las probabilidades de los dos resultados de cada elecció está determiadas por el resultado de la elecció precedete. Lo descrito ateriormete puede represetarse gráficamete usado la siguiete red: /4 A 3/4 /3 B /3 Los círculos A y B se deomia odos y represeta los estados del proceso, las flechas que va de u odo a si mismo o al otro so los arcos y represeta la probabilidad de cambiar de u estado al otro La iformació probabilística que se acaba de dar se puede represetar de maera coveiete por la siguiete matriz: Resultado de la próxima elecció A B Resultado de la A / 4 3/ 4 última elecció B /3 /3
3 Esta matriz se deomia matriz de trasició. Los elemetos de la matriz de trasició represeta las probabilidades de que e el próximo esayo el estado del sistema del partido idicado a la izquierda de la matriz cambie al estado del partido idicado arriba de la matriz. Defiició: Cosideremos u proceso de Markov e que el sistema posee estados posibles, dados por los úmeros,, 3,.,. Deotemos p a la probabilidad de que el sistema pase al estado j después de cualquier esayo e dode su estado era i ates del esayo. Los úmeros p se deomia probabilidades de trasició y la matriz x ij P = ( p ij ) se cooce como matriz de trasició del sistema Observacioes: ) La suma p i + pi +... + pi =. Esta suma represeta la probabilidad de que el sistema pase a uo de los estados,,., dado que empieza e el estado i. Ya que el sistema ha de estar e uo de estos estados, la suma de probabilidades debe ser igual a. Esto sigifica que los elemetos e cualquier regló de la matriz de trasició debe sumar. ) Cada elemeto p 0 ij Ejemplo: ua cadea de Markov como modelo para el ADN. Es improbable que ua secuecia aleatoria de A,C,G y T sea u bue modelo para el patró de ucleótidos e ua secuecia géica. Ua cadea de Markov co {A, T, G y C} podría ser ua mejor aproximació a la realidad: las probabilidades para el ucleótido e la posició j+ depede del ucleótido e la posició j. (Si embargo, e la realidad las depedecias so más complejas) Si el espacio de estados es S = {A, C, G, T}. La matriz de trasició P es de 4 x 4: Aquí ij Ejercicios. Dada la matriz de trasició: 0,3 P = 0,4 0,5 0,5 0, 0,4 0, 0,4 0, Cuál es la probabilidad de que el próximo esayo del sistema cambie: a) del estado al?, b) del estado al 3?
4. E cierta ació hay tres partidos políticos pricipales, el liberal (L), el coservador (C) y el demócrata (D). La matriz de trasició siguiete da las probabilidades de que la ació sea cotrolada por cada uo de los tres partidos políticos después de ua elecció, coocidas las diversas posibilidades del resultado de la elecció aterior: L C D L 0,7 0, 0, C 0,5 0,3 0, D 0,3 0,4 0,3 Supoiedo que el partido liberal tiee el cotrol ahora, use u diagrama de árbol para determiar la probabilidad de que el partido coservador esté e el poder después de las dos próximas eleccioes. 3. El valor de ua acció fluctúa día co día. Cuado la bolsa de valores se ecuetra estable, u icremeto e u día tiede a ateceder ua baja el día siguiete, y ua baja por lo regular es seguida por u alza. Podemos modelar estos cambios e el valor mediate u proceso de Markov co dos estados, el primer estado cosistete e que el valor se icremeta u dia dado, el segudo estado defiido por la baja. (la posibilidad de que el valor permaezca si cambio se igora) supoga que la matriz de trasició es la siguiete: Cambio de mañaa A B Cambio de hoy A 0, 0, 9 B 0, 8 0, Si el valor de la acció bajó hoy, calcule la probabilidad de que se icremete 3 días después a partir de ahora. E el ejemplo que acabamos de ver, calculamos la probabilidad de que la acció vaya al alza al tercer día. Supoga que deseamos calcular la probabilidad de que la acció vaya al alza o la baja al décimo día. E este caso, el uso de u diagrama sería muy complicado. E ua situació como esa, el álgebra de matrices evita dibujar u diagrama muy grade. Cosideremos u sistema de estados posibles, de modo que cada esayo tiee resultado posibles. E cualquier etapa e el futuro o podemos decir e qué estado se ecotrará el sistema pero podríamos estar e posició de dar las probabilidades de que se ecuetre e cada uo de los estados,,.,. E geeral, si p, p,..., p so las probabilidades de que el sistema se ecuetre e los estados,,..,, respectivamete, etoces la matriz fila x ( p p... p ) se cooce como matriz de estado iicial o vector de estado iicial del sistema. Obviamete que la suma de esa fila es. Deotaremos a la matriz de estado iicial co A y a la matriz de estado después de k esayos o etapas por A o k
5 E el ejemplo que vimos de las accioes, comezamos co u estado iicial de baja, de modo que la matriz de estado iicial es: A o = ( 0 ) E la matriz de trasició vemos que después de u día, la acció está e alza co probabilidad de 0,8 y e baja co probabilidad de 0,, así, la matriz de estado A después de u día está dada por. A = ( 0,8 0,) La probabilidad de que la acció vaya al alza o a la baja después de dos días es: p = (0,8)(0,) + (0,)(0,8) = 0,4 p = (0,8)(0,9) + (0,)(0,) = 0,76 Así que la matriz de estado A después de dos días está dada por: A = ( 0,4 0,76) De esta forma podemos deducir la matriz de estado e cualquier etapa si se cooce la matriz de estado del esayo previo. Lo geeralizamos de la siguiete forma: Teorema : Si P deota la matriz de trasició de ua cadea de Markov y A k es la matriz de estado después de k esayos, etoces la matriz de estado A k + después del esayo siguiete está dada por: A A P Observemos lo que ocurre si hallamos k + = k. P e el ejemplo aterior. 0,73 0,7 Luego de hacer los cálculos, resulta: P = 0,4 0,76 Es de otar que todos los valores so o egativos, y que la suma por fila es, de dode P es tambié ua matriz de trasició, pero ahora es la matriz de trasició que se obtiee luego de dos pasos. La última fila correspode a la matriz de estado A 0,4 0,76 que habíamos obteido. = ( ) Cuál es la vetaja de trabajar co P? Qué sigificado tiee la fila (,73 0,7) 0? Podemos exteder este argumeto a cualquier úmero de días e el futuro e que queremos hacer la predicció, vemos que PxP = P correspode a las probabilidades de 3 4 m trasició e dos pasos, etoces P, P,..., P correspode a las probabilidades de trasició e 3, 4,., m pasos respectivamete. La matriz matriz de trasició e m pasos de la cadea de Markov. m P se cooce como la
6 Ejemplo: La variació del tiempo de u día a otro se supoe que forma ua cadea de Markov co la matriz de trasició siguiete: S N LL S 0,6 0, 0, N 0, 0,5 0,4 LL 0, 0,3 0,5 Dode los estados posibles so S (Soleado), N (Nublado) y LL (Lluvioso) Dado que hoy (domigo) está ublado, cuál es la probabilidad de que el miércoles sea soleado? Teorema : Ua matriz de trasició P se dice que es regular si para algú etero k positivo k, la matriz P o tiee elemetos iguales a cero. Si P es ua matriz de trasició regular, etoces si importar la matriz de estado iicial, las matrices de estado sucesivas se aproxima a algua matriz de estado fija B e dode B.P = B. La matriz B se deomia matriz estacioaria del sistema Ejemplo: Si la matriz de trasició regular es: 0,8 0, P = y B = ( p p ) es la matriz estacioaria que se requiere. 0,6 0,4 Por defiició, la suma de las probabilidades p + p = y además B.P = B, o sea: 0,8 0, ( p p ) = ( p p ) 0,6 0,4 De allí, resolviedo el sistema que queda plateado podemos calcular la matriz estacioaria buscada. Aplicacioes e Bioiformática Búsqueda de gees Mapeo de viculació geética Aálisis filogeético Predicció de estructura secudaria de proteías Búsqueda de sitios coservados vs sitios variables Predicció de regioes que codifica proteías detro de geomas Modelado de familias de secuecias de proteía o ADN relacioado Predicció de elemetos de estructura secudaria e secuecias primarias de proteía
7 Ejercicios. Supoga que la matriz de trasició de cierta cadea de Markov está dada por: /3 /3 P = / 4 3/ 4 Dode la primera fila y columa idica el estado y la seguda fila y columa el estado. a) qué represeta el elemeto ¼ de la matriz? b) Supoiedo que el sistema se ecuetra e u pricipio e el estado, co u diagrama de árbol ecuetre la matriz de estado después de dos esayos. c) Ahora mediate el teorema ecuetre la respuesta a la preguta aterior d) Cuál es la matriz estacioaria del sistema?. La matriz de trasició de cierto proceso de Markov es: 0,3 0,5 0, 0, 0,6 0,3 0,4 0, 0,5 a) Si el sistema se ecuetra e u pricipio e el estado, determie la matriz estado después de dos etapas del proceso b) Si el sistema se ecuetra iicialmete e el estado, ecuetre la matriz de estado después de dos etapas c) Determie la matriz estacioaria 3. Las probabilidades de que cierto país sea goberado por uo de tres partidos políticos X, y o Z después de la próxima elecció está dadas por la matriz de trasició: X Y X / /3 / 6 Y / 4 3/ 4 0 Z /5 /5 / 5 a) Cuál es la probabilidad de que el partido Z gae la próxima elecció si el partido X está ahora e el poder? b) Cuál es la probabilidad de que el partido X esté e el poder después de dos eleccioes si se supoe que el partido Y se ecuetra e el poder ahora? c) Si el partido Z se ecuetra e el poder, cuál es la probabilidad de que estará ahí después de dos eleccioes? 4. La probabilidad de que ua persoa de baja estatura tega u hijo tambié de baja estatura es de 0,75, mietras que la probabilidad de que u padre alto tega u hijo algo es de 0,60 (se igora la posibilidad de cocebir u hijo de mediaa estatura) a) cuál es la probabilidad de que u hombre alto tega u ieto de baja estatura? b) cuál es la probabilidad de que u hombre de baja estatura tega u ieto alto? c) Ecuetre la matriz estacioaria del proceso y dé su iterpretació Z
8 5. Las grajas de cierta regió puede clasificarse e tres tipos: agrícolas, pecuarias o mixtas. Actualmete 30% so agrícolas, 40% pecuarias y 30% mixtas. La matriz de trasició de ua año al siguiete es: A P M A 0,8 0, 0, P 0, 0,8 0 M 0, 0, 0,8 Ecuetre los porcetajes de los tres tipos de grajas: a) el año próximo, b) detro de años, c) a largo plazo. 6. E cierto país 90% de la eergía es geerada por petróleo, gas o carbó y 0% proveía de la eergía atómica. Cico años después los porcetajes era 80% y 0% respectivamete, mietras que 5 años más tarde fuero 75% y 5%. Supoiedo que el proceso es de Markov co 0,8 0, = 0,9 0,. P ( ) ( ) ( 0,75 0,5) = ( 0,8 0,). P Calcule la matriz de trasició P de x. Ecuetre la matriz estacioaria e iterprétela. 7. Supoga que la ocupació de cada persoa puede clasificarse como de profesioal, calificado o o calificado. Supoga, además, que siempre es cierto que de los hijos de profesioales 70% so profesioales, 0% calificados y 0% o calificados, de los hijos de persoas calificadas, 60% so calificados, 0% so profesioales y 0% so o calificados y de los hijos de persoas o calificadas, 0% so profesioales, 30% so calificados y 50% o calificados. Supoga que el úmero total de persoas co u ocupació es el mismo e cada geeració y que e la geeració actual, 35% so profesioales, 35% calificados y 30% o calificados. Ecuetre la matriz de trasició. Halle la distribució de trabajos después de ua geeració y después de dos geeracioes.