6. Teoría de decisión

Transcripción

1 6. Teoría de decsón 6. Fundamentos y Axomas de coherenca El OBJETIVO de la estadístca, y en partcular de la estadístca Bayesana, es proporconar una metodología para analzar adecuadamente la nformacón con la que se cuenta (análss de datos) y decdr de manera razonable sobre la mejor forma de actuar (teoría de decsón). DIAGRAMA de la Estadístca: Toma de decsones Poblacón Inferenca Muestreo Muestra Análss de datos Tpos de INFERENCIA: Clásca Bayesana Paramétrca No paramétrca 93

2 La estadístca esta basada en la TEORÍA DE PROBABILIDADES. Formalmente la probabldad es una funcón que cumple con certas condcones (axomas de la probabldad), pero en general puede entenderse como una medda o cuantfcacón de la ncertdumbre. Aunque la defncón de funcón de probabldad es una, exsten varas nterpretacones dela probabldad: clásca, frecuentsta y subjetva. La METODOLOGÍA BAYESIANA está basada en la nterpretacón subjetva de la probabldad y tene como punto central el Teorema de Bayes. Reverendo Thomas Bayes (702-76). La nferenca estadístca es una forma de tomar decsones. Los métodos cláscos de nferenca gnoran los aspectos relatvos a la toma de decsones, en cambo los métodos Bayesanos sí los toman en cuenta. Qué es un problema de decsón?. Nos enfrentamos a un problema de decsón cuando debemos elegr entre dos o más formas de actuar. 94

3 La TOMA DE DECISIONES es un aspecto prmordal en la vda de un profesonsta, por ejemplo, un admnstrador debe de tomar decsones constantemente en un ambente de ncertdumbre; decsones sobre el proyecto más verosíml o la oportundad de realzar una nversón. La TEORÍA DE DECISIÓN propone un método de tomar decsones basado en unos prncpos báscos sobre la eleccón coherente entre opcones alternatvas. ELEMENTOS DE UN PROBLEMA DE DECISIÓN en ambente de ncertdumbre: Un problema de decsón se defne por la cuarteta (D, E, C, ), donde: D : Espaco de opcones. Es el conjunto de posbles alternatvas, debe de construrse de manera que sea exhaustvo (que agote todas las posbldades que en prncpo parezcan razonables) y excluyente (que la eleccón de uno de los elementos de D excluya la eleccón de cualquer otro). D = {d,d 2,...,d k }. E : Espaco de eventos ncertos. Contene los eventos ncertos relevantes al problema de decsón. E = {E,E 2,...,E m }., =,2,,k. 95

4 C : Espaco de consecuencas. Es el conjunto de consecuencas posbles y descrbe las consecuencas de elegr una decsón. C = {c,c 2,...,c k }. : Relacón de preferenca entre las dstntas opcones. Se defne de manera que d d 2 s d 2 es preferdo sobre d. ÁRBOL DE DECISIÓN (en ambente de ncertdumbre): No se tene nformacón completa sobre las consecuencas de tomar certa decsón. E c E 2 c 2 d E m c m d E E 2 E m c c 2 c m d k E k c k E k2 c k2 E kmk c kmk Nodo de decsón Nodo aleatoro EJEMPLO : Un gerente tene $B pesos y debe decdr s nvertr en un proyecto o guardar el dnero en el banco. S guarda su dnero en 96

5 el banco y s la tasa de nterés se mantene constante, al fnal del año tendría el doble, pero s la tasa sube tendría 3 veces más. S nverte en el proyecto, puede ocurrr que el proyecto sea extoso o que fracase. S el proyecto es extoso y la tasa de nterés se mantene constante, al fnal de un año tendría 0 veces la nversón ncal, pero s la tasa sube tendría úncamente 4 veces más de su nversón ncal. En caso de que el proyecto fracasara al fnal de un año habrá perddo su nversón ncal. D = {d, d 2 }, donde d = proyecto, d 2 = banco E = {E, E 2, E 3, E 2, E 22 }, donde E = éxto / tasa constante, E 2 = éxto / tasa sube, E 3 = fracaso, E 2 = tasa constante, E 22 = tasa sube C = {c, c 2, c 3, c 2, c 22 }, donde c =$0B, c 2 =$5B, c 3 =-$B, c 2 =$2B, c 22 =$4B Éxto T. cte. T. sube $0B $5B Proyecto Fracaso -$B Banco T. cte. $2B T. sube $4B 97

6 En la práctca, la mayoría de los problemas de decsón tenen una estructura más compleja. Por ejemplo, decdr s realzar o no un proyecto, y en caso afrmatvo tratar de decdr la accón más adecuada según el resultado del proyecto. (Problemas de decsón secuencales). Frecuentemente, el conjunto de eventos ncertos es el msmo para cualquer decsón que se tome, es decr, E = {E,E 2,...,E m } = {E,E 2,...,E m } = E, para todo. En este caso, el problema se puede representar como: E... E j... E m d c... c j... c m M M M M d c... c j... c m M M M M d k c k... c kj... c km El OBJETIVO de un problema de decsón en ambente de ncertdumbre consste entonces en elegr la mejor! decsón d del conjunto D sn saber cuál de los eventos E j de E ocurrrá. Aunque los sucesos que componen cada E son ncertos, en el sentdo de que no sabemos cuál de ellos tendrá lugar, en general se tene una dea sobre la probabldad de cada uno de ellos. Por ejemplo, 98

7 Cuál es más probable? 40 años vva 0 más? muera en mes? llegue a los 00? Algunas veces resulta dfícl ordenar nuestras preferencas sobre las dstntas consecuencas posbles. Tal vez resulta más fácl asgnar una utldad a cada una de las consecuencas y ordenar posterormente de acuerdo a la utldad. Ganar mucho dnero y tener poco tempo dsponble Consecuencas Ganar poco dnero y tener mucho tempo dsponble Ganar regular de dnero y tener regular de tempo dsponble CUANTIFICACIÓN de los sucesos ncertos y de las consecuencas. La nformacón que el decsor tene sobre la posble ocurrenca de los eventos ncertos puede ser cuantfcada a través de una funcón de probabldad sobre el espaco E. 99

8 De la msma manera, es posble cuantfcar las preferencas del decsor entre las dstntas consecuencas a través de una funcón de utldad de manera que c ( c ) u( ) j c 'j ' u. j c ' j' Alternatvamente, es posble representar el árbol de decsón de la sguente manera: P(E d ) u(c ) d P(E 2 d ) P(E m d ) u(c 2 ) u(c m ) d d k P(E d ) P(E 2 d ) P(E m d ) P(E k d k ) P(E k2 d k ) P(E kmk d k ) u(c ) u(c 2 ) u(c m ) u(c k ) u(c k2 ) u(c kmk ) CÓMO tomar la mejor! decsón? S de alguna manera fuéramos capaces de deshacernos de la ncertdumbre podríamos ordenar nuestras preferencas de acuerdo con las utldades de cada decsón. La mejor decsón sería la que tenga la utldad máxma. Decsor Fuera Incertdumbre 200

9 ESTRATEGIAS: En un prncpo estudaremos cuatro estrategas o crteros propuestos en la lteratura para tomar una decsón. ) Optmsta : Dar por segura a la mejor consecuenca de cada opcón. 2) Pesmsta (o mnmax): Dar por segura a la peor consecuenca de cada opcón. 3) Consecuenca más probable (o condconal): Dar por segura a la consecuenca más probable de cada opcón. 4) Utldad esperada: Dar por segura una consecuenca promedo para cada opcón. Cualquera que sea la estratega tomada, la mejor opcón es aquella que maxmce la utldad del árbol sn ncertdumbre. EJEMPLO 2: En unas eleccones parlamentaras en la Gran Bretaña competían los partdos Conservador y Laboral. Una casa de apuestas ofrecía las sguentes posbldades: a) A quen apostara a favor del partdo Conservador, la casa estaba dspuesta a pagar 7 lbras por cada 4 que apostase s el resultado favorecía a los conservadores, en caso contraro el apostador perdía su apuesta. b) A quen apostase a favor del partdo Laboral, la casa estaba dspuesta a pagar 5 lbras por cada 4 que apostasen s ganaban los laborstas, en caso contraro el apostador perdía su apuesta. 20

10 A qué partdo apostar? Conservador Laboral o D = {d,d 2 } donde, d = Apostar al partdo Conservador o E = {E, E 2 } d 2 = Apostar al partdo Laboral donde, E = Que gane el partdo Conservador E 2 = Que gane el partdo Laboral o C = {c, c 2, c 2, c 22 }. S la apuesta es de k lbras 7 3 entonces, c = k + k = k 4 4 c 2 = k c 2 = k 5 c 22 = k + k = k 4 4 Supongamos que la utldad es proporconal al dnero,.e., u(c j ) = c j y sea π = P(E ), y π = P(E 2 ). P(E) π π u(d,e) E E 2 d (3/4)k -k d 2 -k (/4)k 202

11 ) Optmsta: d (apostar al partdo Conservador) 2) Pesmsta: d ó d 2 (da gual cualquera de las dos) 3) Consecuenca más probable: d ó d 2 (dependendo) S π > / 2 se toma a E como seguro d S π / 2 se toma a E 2 como seguro d 2 4) Utldad esperada: d ó d 2 (dependendo) Las utldades esperadas son: ( d ) = π(3 / 4)k + ( π)( k) = {(7 / 4) π } k u ( d ) = π( k) + ( π)(/ 4)k = {(/ 4) (5 / 4) } k u 2 π Entonces, la mejor decsón sería: S u ( d ) > ( d 2 ) S u ( d ) < ( d 2 ) S u ( d ) = ( d 2 ) u π > 5 / 2 d u π < 5 / 2 d 2 u π = 5 / 2 d ó d 2 Gráfcamente, s defnmos las funcones 7 g π = 4 ( π ) = k k u( ) d 5 k g π + = 4 4, y ( π ) = k u( ) 2 d 2 203

12 entonces, s k =, /2 /5 4/7 g 2 (π) g (π) La línea gruesa representa la mejor solucón al problema de decsón dada por el crtero de la utldad esperada. Observacón: S π [ / 5,4 / 7] decsón es negatva!. Pregunta : Tu apostarías s [ / 5,4 / 7], la utldad esperada de la mejor π? Pregunta 2: Cuál es el valor que la casa esperaría tuvera π?. Intutvamente, la casa esperaría que [ / 5,4 / 7] π. INADMISIBILIDAD de una opcón: Una opcón d es nadmsble s exste otra opcón d 2 tal que d 2 es al menos tan preferble como d pase lo que pase (para cualquer suceso ncerto) y exste un caso (suceso ncerto) para el que d 2 es más preferda que d. 204

13 AXIOMAS DE COHERENCIA. Son una sere de prncpos que establecen las condcones para tomar decsones coherentemente y para aclarar las posbles ambgüedades en el proceso de toma de decsón. Los axomas de coherenca son 4:. COMPARABILIDAD. Este axoma establece que al menos debemos ser capaces de expresar preferencas entre dos posbles opcones y por lo tanto entre dos posbles consecuencas. Es decr, no todas las opcones n todas las consecuencas son guales. Para todo par de opcones d y d 2 en D, es certa una y sólo una de las sguentes condcones: d 2 es más preferble que d d < d 2 d es más preferble que d 2 d 2 < d d y d 2 son gualmente preferbles d d 2 2. TRANSITIVIDAD. Este axoma establece que las preferencas deben de ser transtvas para no caer en contradccones. S d, d 2 y d 3 son tres opcones cualesquera y ocurre que d <d 2 y d 2 <d 3 entonces, necesaramente sucede que d <d 3. Análogamente, s d d 2 y d 2 d 3, entonces d d SUSTITUCIÓN Y DOMINANCIA. Este axoma establece que s se tenen dos stuacones tales que para cualquer resultado que se tenga de la prmera, exste un resultado preferble en la segunda, 205

14 entonces la segunda stuacón es preferble para todos los resultados. S d y d 2 son dos opcones cualesquera y E es un evento ncerto y sucede que d <d 2 cuando ocurre E y d <d 2 cuando no ocurre E, entonces d <d 2 (sn mportar los eventos ncertos). Análogamente, s d d 2 cuando ocurre E y d d 2 cuando no ocurre E, entonces d d EVENTOS DE REFERENCIA. Este axoma establece que para poder tomar decsones de forma razonable, es necesaro medr la nformacón y las preferencas del decsor expresándolas en forma cuanttatva. Es necesaro una medda (P) basada en sucesos o eventos de referenca. El decsor puede magnar un procedmento para generar puntos en el cuadrado untaro de dos dmensones, de manera tal que para cualesquera dos regones R y R 2 en ese cuadrado, el evento { z R } es más creíble que el evento { R 2 } z úncamente s el área de R es mayor que el área de R

15 6.2 Prncpo de utldad esperada máxma IMPLICACIONES de los axomas de coherenca: En general, toda opcón d se puede escrbr como todas sus posbles consecuencas dados los sucesos ncertos, es decr, d { c E, j =, K, m } =. j j ) Las consecuencas pueden verse como casos partculares de opcones: donde Ω es el evento seguro. c ~ d c = { c Ω}, De esta forma podemos comparar las consecuencas: c c 2 {c Ω} {c 2 Ω}. Por lo tanto, es posble encontrar dos consecuencas c (la peor) y c (la mejor) tales que para cualquer otra consecuenca c, c c c. 2) Los eventos ncertos tambén pueden verse como casos partculares de opcones: E ~ d E = { } * E,c E c c, donde c y c * son la peor y la mejor consecuencas. De esta forma podemos comparar los eventos ncertos: E F {c * E, c E c } {c * F, c F c }, en este caso dremos que E no es más verosíml (probable) que F. 207

16 CUANTIFICACIÓN DE LAS CONSECUENCIAS: La cuantfcacón de la consecuenca c será un número u(c) meddo en la escala [0,]. Esta cuantfcacón estará basada en eventos de referenca. o Defncón: Utldad. La utldad u(c) de una consecuenca c es la probabldad q que debe asgnarse a la mejor consecuenca c* para que la consecuenca c sea gualmente deseable que la opcón {c * R q, c R c q } (que tambén se puede escrbr como {c * q, c q}), donde R q es un evento de referenca en el cuadrado untaro de área q. De esta forma, para toda consecuenca c exste una opcón basada en eventos de referenca tal que c {c * u(c), c u(c)}. En vrtud de los axomas de coherenca, 2 y 3 sempre exste un número u(c) [0,] que cumpla con la condcón anteror, puesto que c * ~ {c * R 0, c R c 0 } u(c ) = 0 c * ~ {c * R, c R c } u(c ) = Por lo tanto, para toda c tal que c c c 0 u(c). EJEMPLO 3: Utldad del dnero. Supongamos que la peor y la mejor consecuencas al jugar un juego de azar son: c * = $0 (la peor) y c * = $,000 (la mejor) La dea es determnar una funcón de utldad para cualquer consecuenca c tal que c * c c *. Pensemos en una lotería: {c * q, c q} 208

17 {c } Ganar seguro c S el número de consecuencas es muy grande o ncluso nfnto la funcón de utldad se puede aproxmar por un modelo obtenéndose una de las sguentes formas: Cuál preferes? Ganar c * con probabldad q o Ganar c * con probabldad -q u(c) Aversón al resgo Indferente al resgo 0 0,000 Amante al resgo c Para no caer en paradojas, es convenente que la funcón de utldad sea aversa al resgo. NOTA: En algunos casos es más convenente defnr la funcón de utldad en una escala dstnta al ntervalo [0,], como por ejemplo: en tempo, en números negatvos, productos venddos, empleos generados, etc. Es posble demostrar que una funcón de utldad defnda en otra escala es una transformacón lneal de la utldad orgnal defnda en [0,]. 209

18 CUANTIFICACIÓN DE LOS EVENTOS INCIERTOS: La cuantfcacón de los eventos ncertos E estará tambén basada en eventos de referenca. o Defncón: Probabldad. La probabldad P(E) de un evento ncerto E es gual al área de una regón R del cuadrado untaro elegda de tal forma que las opcones {c * E, c E c } y {c * R, c R c } sean gualmente deseables (equvalentes). o En otras palabras, s d E = {c E, c E c } y d R = {c R q, c R c q } son tales que d E d Rq P(E) = q. EJEMPLO 4: Asgnacón de la probabldad de un evento E. Supongamos que nos enfrentamos al problema de decdr en qué proyecto nvertr y que la peor y la mejor consecuencas son: c = $000 (la peor) y c * = $5,000 (la mejor) Sea E = sube la tasa de nterés. Para determnar la probabldad de E consderamos las sguentes loterías: {c * E, c {c * q, c Cuál preferes? E c } q} Ganar c * s ocurre E o Ganar c s no ocurre E Ganar c * con probabldad q o Ganar c con probabldad -q 20

19 Fnalmente, se aplca este msmo procedmento a cada una de los eventos ncertos, dgamos, E,E 2,...,E k. S el número de eventos ncertos es muy grande o ncluso nfnto la funcón de probabldad se puede aproxmar por un modelo (dscreto o contnuo) obtenéndose la sguente forma, P(θ) Modelo contnuo S E θ ={θ} E = {θ θ [a,b]} θ a NOTA: La probabldad asgnada a un evento, es sempre condconal a la nformacón que se posee en el momento de la asgnacón,.e., no exsten probabldades absolutas. b DERIVACIÓN DE LA UTILIDAD ESPERADA: Hasta ahora, hemos cuantfcado a las consecuencas y a los eventos ncertos. Fnalmente queremos asgnar un número a las opcones, del tal forma que la mejor opcón es aquella a la que se le asgna la cuantfcacón más alta. o Teorema: Crtero de decsón Bayesano. Consdérese el problema de decsón defndo por D = {d,d 2,...,d k }, donde d = { c E,j, K, m } j j =, =,...,k. Sea P(E j d ) la probabldad de que suceda E j s se elge la opcón d, y sea u(c j ) la utldad de la 2

20 consecuenca c j. Entonces, la cuantfcacón de la opcón d es su utldad esperada,.e., m ( d ) = u( cj ) P( Ej d ) u. La decsón óptma es aquella d * tal que ( d ) max u( d ) DEM. d = j= { c E, j =, K,m } = { c E,c E, K,c E } j j Por otro lado sabemos que, donde ( c ) Area( ) j 2 2 u =. m m * c * c { c R,c R } { c u( c ),c u( c )} u =, y d E j R j j j = j j, { c } * E,c E c * c * = { c RE,c RE} = { c P( E j ),c P( E j )} donde ( E) ( ) P = Area R E., Entonces, combnando ambas expresones, tenemos d c c { c R,c R} E,,{ c Rm,c Rm } Em } c c { c R E,c R E, K,c Rm Em,c Rm Em } c c { c ( R E ) L ( R E ), c ( R E ) L ( R E )} = K = = m m Fnalmente, u ( d ) = Area{ ( R E ) L ( R E )} m m m Area ( Rj ) Area( E j ) = u ( cj ) P( E j ) m = j= j= m m 22

21 RESUMIENDO: S se aceptan los axomas de coherenca, necesaramente se debe proceder de la sguente manera: ) Asgnar una utldad u(c) para toda c en C. 2) Asgnar una probabldad P(E) para toda E en E. 3) Elegr la opcón (óptma) que maxmza la utldad esperada. 6.3 Proceso de aprendzaje y dstrbucón predctva La reaccón natural de cualquera que tenga que tomar una decsón cuyas consecuencas dependen de la ocurrenca de eventos ncertos E, es ntentar reducr su ncertdumbre obtenendo más nformacón sobre E. Cómo reducr la ncertdumbre sobre un evento E?. Adqurr nformacón adconal (Z) sobre E. LA IDEA es entonces recolectar nformacón que reduzca la ncertdumbre de los eventos ncertos, o equvalentemente, que mejore el conocmento que se tene sobre E. De dónde obtengo nformacón adconal?. Encuestas, estudos prevos, expermentos, etc. El problema central de la nferenca estadístca es el de proporconar una metodología que permta asmlar la nformacón accesble con el objeto de mejorar nuestro conocmento ncal. 23

22 Cómo utlzar Z para mejorar el conocmento sobre E?.? P E Z Medante el Teorema de Bayes. P ( E) ( ) o TEOREMA DE BAYES: Sean {, j J} E j E k = j k y DEM. ( Z) P E P E = U j J P ( Z) P( Z) E = j ( E Z) E j una partcón fnta de Ω (E),.e., = Ω. Sea Z un evento. Entonces, = P( ZE ) P( E ) P( ZE ) P( E ) j J ( ) P( E ) P ZE ( ) P Z como Z Z Ω = Z UE j = U ( Z E j ), =,2,...,k. = tal que j J j J ( E ) ( Z E ) = Z j k j k P( Z) = P U ( Z E j ) = P( Z E j ) = P( ZE j ) P( E j ). j J j J j J Comentaros: 2) Una forma alternatva de escrbr el Teorema de Bayes es: ( E Z) P( ZE ) P( E ) P P(Z) es llamada constante de proporconaldad. 24

23 3) A las P(E j ) se les llama probabldades ncales o a-pror y a las P(E j Z) se les llama probabldades fnales o a-posteror. Además, P(Z E j ) es llamada verosmltud y P(Z) es llamada probabldad margnal de la nformacón adconal. Recordemos que todo esto de la cuantfcacón ncal y fnal de los eventos ncertos es para reducr la ncertdumbre en un problema de decsón. Supongamos que para un problema partcular se cuenta con lo sguente: P ( E j ): cuantfcacón ncal de los eventos ncertos u ( c j ): cuantfcacón de las consecuencas Z: nformacón adconal sobre los eventos ncertos Teo. Bayes P ( E) P ( E Z) En este caso se tenen dos stuacones: ) Stuacón ncal (a-pror): P ( E j ), ( c j ) j u, u ( c ) P( ) j E j Utldad esperada ncal 2) Stuacón fnal (a-posteror): P( E j Z), u ( ), u ( c ) P( E Z) c j j j j Utldad esperada fnal 25

24 Qué pasa s de alguna manera se obtene aún más nformacón adconal acerca de E?. Suponga que prmero se tene acceso a Z (nformacón adconal acerca de E) y posterormente se obtene Z 2 (más nformacón adconal acerca de E). Exsten dos formas para actualzar la nformacón que se tene sobre E: ) Actualzacón secuencal: P ( E) ( ) P P ( E Z, ) E Z Z Z 2 Z 2 Los pasos son: Paso : ( E Z ) ( E) P( E) P Z P =, P Z Paso 2: ( E Z,Z ) 2 ( ) ( 2 Z,E) P( E Z) P( Z Z ) P Z P =. 2 2) Actualzacón smultánea: P ( E) P ( E Z, ) Z,Z 2 Z 2 Cómo se hace? Paso únco: ( E Z,Z ) (,Z E) P( E) P Z 2 P 2 =. P Z (,Z ) 2 Serán equvalentes ambas formas de actualzacón? 26

25 P ( E Z,Z ) 2 P Z = ( 2 Z,E) P( E Z) P( Z Z ) 2 (,Z2,E) (,Z ) P Z = P Z 2 P Z = (,Z2,E) P( Z,E) P( Z,E) P( Z) P( Z,Z2 ) P( Z ) (,Z E) P( E) P Z = P Z 2 (,Z ) 2 EJEMPLO 5: Un pacente va al médco con algún padecmento y quere que el médco le de un dagnóstco. Supongamos que la enfermedad del pacente cae en alguna de las sguentes tres categorías: E = enfermedad muy frecuente (resfrado) E 2 = enfermedad relatvamente frecuente (grpa) E 3 = enfermedad poco frecuente (pulmonía) El médco sabe por experenca que P(E )=0.6, P(E 2 )=0.3, P(E 3 )=0. (probabldades ncales) El médco observa y obtene nformacón adconal (Z = síntomas) acerca de la posble enfermedad del pacente. De acuerdo con los síntomas el doctor dctamna que P(Z E )=0.2, P(Z E 2 )=0.6, P(Z E 3 )=0.6 (verosmltud) Qué enfermedad es más probable que tenga el pacente?. Usando el Teorema de Bayes, obtenemos: ( ) P( ZE ) P( E ) = (0.2)(0.6) + (0.6)(0.3) + (0.6)(0.) 0.36 P Z 3 = j= j j = (0.2)(0.6) P( E Z) = = (probabldades fnales) 27

26 (0.6)(0.3) P( E 2 Z) = = 0.36 (0.6)(0.) P( E 3 Z) = = Por lo tanto, es más probable que el pacente tenga una enfermedad relatvamente frecuente (E 2 ). 2 Problema de Inferenca. PROBLEMA DE INFERENCIA. Sea F = { ( x θ), θ Θ} f una famla paramétrca ndexada por el parámetro θ Θ. Sea X,...,X n una m.a. de observacones de f(x θ) F. El problema de nferenca paramétrco consste en aproxmar el verdadero valor del parámetro θ. El problema de nferenca estadístco se puede ver como un problema de decsón con los sguentes elementos: D = espaco de decsones de acuerdo al problema específco E = Θ (espaco parametral) C = {( d, θ ): d D, θ Θ} : Será representado por una funcón de utldad o pérdda. La muestra proporcona nformacón adconal sobre los eventos ncertos θ Θ. El problema consste en cómo actualzar la nformacón. 28

27 Por lo vsto con los axomas de coherenca, el decsor es capaz de cuantfcar su conocmento acerca de los eventos ncertos medante una funcón de probabldades. Defnamos, f ( θ) la dstrbucón ncal (ó a-pror). Cuantfca el conocmento ncal sobre θ. f ( x θ) proceso generador de nformacón muestral. Proporcona nformacón adconal acerca de θ. f ( x θ) la funcón de verosmltud. Contene toda la nformacón sobre θ proporconada por la muestra X ( X, K ) =. X n Toda esta nformacón acerca de θ se combna para obtener un conocmento fnal o a-posteror después de haber observado la muestra. La forma de hacerlo es medante el Teorema de Bayes: Θ ( x θ) f( θ) f f( θ x) =, f θ ( x) donde f ( x) = f( x θ) f( θ) dθ ó ( x θ) f( θ) f. Como f( θ x) es funcón de θ, entonces podemos escrbr Fnalmente, f ( θ x) f( x θ) f( θ) f( θ x) la dstrbucón fnal (ó a-posteror). Proporcona todo el conocmento que se tene sobre θ (ncal y muestral). NOTA: Al tomar θ el carácter de aleatoro, debdo a que el conocmento que tenemos sobre el verdadero valor θ es ncerto, 29

28 entonces la funcón de densdad que genera observacones con nformacón relevante para θ es realmente una funcón de densdad condconal. o Defncón: Llamaremos una muestra aleatora (m.a.) de tamaño n de una poblacón f(x θ), que depende de θ, a un conjunto X,...,X n de varables aleatoras condconalmente ndependentes dado θ,.e., f ( x, x θ) = f( x θ) Lf( θ) K. n xn En este caso, la funcón de verosmltud es la funcón de densdad (condconal) conjunta de la m.a. vsta como funcón del parámetro,.e., n ( x θ) = f( x θ) f. = DISTRIBUCIÓN PREDICTIVA: La dstrbucón predctva es la funcón de densdad (margnal) f(x) que me permte determnar qué valores de la v.a. X resultan más probables. Lo que conocemos acerca de X esta condconado al valor del parámetro θ,.e., f(x θ) (su funcón de densdad condconal). Como θ es un valor desconocdo, f(x θ) no puede utlzarse para descrbr el comportamento de la v.a. X. Dstrbucón predctva ncal. Aunque el verdadero valor de θ sea desconocdo, sempre se dspone de certa nformacón sobre θ 220

29 (medante su dstrbucón ncal f(θ)). Esta nformacón puede combnarse para poder dar nformacón sobre los valores de X. La forma de hacerlo es: f ( x) = f( x θ) f( θ) dθ ó f ( x) = f( x θ) f( θ) θ Supongamos que se cuenta con nformacón adconal (nformacón muestral) X,X 2,..,X n de la densdad f(x θ), por lo tanto es posble tener un conocmento fnal sobre θ medante su dstrbucón fnal f( θ x). Dstrbucón predctva fnal. Supongamos que se quere obtener nformacón sobre los posbles valores que puede tomar una nueva v.a. X F de la msma poblacón f(x θ). S X F es ndependente de la muestra X,X 2,..,X n, entonces f ( xf x) = f( xf θ) f( θ x) dθ ó f( xf x) = f( xf θ) f( θ x) θ EJEMPLO 6: Lanzar una moneda. Se tene un expermento aleatoro que consste en lanzar una moneda. Sea X la v.a. que toma el valor de s la moneda cae sol y 0 s cae águla,.e., X Ber(θ). En realdad se tene que X θ Ber(θ), donde θ es la probabldad de que la moneda caga sol. x x ( x ) = θ ( θ) I (x) f {0,} θ. El conocmento ncal que se tene acerca de la moneda es que puede ser una moneda deshonesta (dos soles). 22

30 P(honesta) = 0.95 y P(deshonesta) = 0.05 Cómo cuantfcar este conocmento sobre θ? por lo tanto, moneda honesta θ = /2 θ {/2, } moneda deshonesta θ = ( θ = / 2) y P ( θ = ) = P = es decr, f ( θ) 0.95, = 0.05, s θ = / 2 s θ = Supongamos que al lanzar la moneda una sola vez se obtuvo un sol,.e, X =. Entonces la verosmltud es 0 ( X = θ) = θ ( θ) = θ P. Combnando la nformacón ncal con la verosmltud obtenemos, ( X = ) = P( X = θ = / 2) P( θ = / 2) + P( X = θ = P ) ( θ ) P = P P = ( θ = / 2 X = ) ( θ = X = ) es decr, ( 0.5)( 0.95) + ( )( 0.05) = P X = ( = θ = / 2) P( θ = / 2) ( 0.5)( 0.95) = = P( X = ) P X = ( = θ = P ) ( θ = ) ( )( 0.05) = = P( X = ) ( θ x = ) f } , = , s θ = / 2 s θ = La dstrbucón predctva ncal es ( X = ) = P( X = θ = / 2) P( θ = / 2) + P( X = θ = P ) ( θ ) P = 222

31 = ( 0.5)( 0.95) + ( )( 0.05) = ( X = 0) = P( X = 0 θ = / 2) P( θ = / 2) + P( X = 0 θ = P ) ( θ ) P = es decr, = ( 0.5)( 0.95) + ( 0)( 0.05) = f ( x) 0.525, = 0.475, La dstrbucón predctva fnal es s x = s x = 0 ( X = x = ) = P( X = θ = / 2) P( θ = / 2 x = ) + P( X = θ = P ) ( θ = x ) P F F F = = ( 0.5)( ) + ( )( ) = ( X = 0 x = ) = P( X = 0 θ = / 2) P( θ = / 2 x = ) + P( X = 0 θ = P ) ( θ = x ) P F F F = es decr, = ( 0.5)( ) + ( 0)( ) = f ( x x = ) 0.548, = 0.452, s x = = 0 F F. s xf EJEMPLO 7: Proyectos de nversón. Las utldades de un determnado proyecto pueden determnarse a partr de la demanda (θ) que tendrá el producto termnal. La nformacón ncal que se tene sobre la demanda es que se encuentra alrededor de $39 mllones de pesos y que el porcentaje de veces que excede los $49 mllones de pesos es de 25%. De acuerdo con la nformacón proporconada, se puede conclur que una dstrbucón normal modela adecuadamente el comportamento ncal, entonces 2 θ N(, σ ) µ, donde µ=e(θ)=meda y σ 2 =Var(θ)=varanza. Además 223

32 Demanda (θ) alrededor de 39 µ=39 P(θ > 49) = 0.25 σ=4.8 Cómo? P ( θ > 49) = P Z > = σ como Z 0.25 = (valor de tablas) Por lo tanto, θ N(39, 29.47). Z = σ 0, σ = Para adqurr nformacón adconal sobre la demanda, se consderarán 3 proyectos smlares cuyas utldades dependen de la msma demanda. Supongamos que la utldad es una varable aleatora con dstrbucón Normal centrada en θ y con una desvacón estándar de σ=2. X θ N(θ, 4) y θ N(39, 29.47) Se puede demostrar que la dstrbucón predctva ncal toma la forma X N(39, ) Qué se puede dervar de esta dstrbucón predctva? P ( X > 60) = P Z > = P( Z >.4047) = , lo cual ndca que es muy poco probable tener una utldad mayor a 60. Suponga que las utldades de los 3 proyectos son: x =40.62, x 2 =4.8, x 3 =

33 Se puede demostrar que s donde, Por lo tanto, X θ N(θ, σ 2 ) y θ N(θ 0, σ 0 2 ) n x σ σ0 = n σ σ0 θ θ y 0 σ. 2 = n σ σ0 x = , θ 0 = 39, σ 2 = 4, σ 0 2 = 29.47, n=3 θ = , σ 2 =.3252 θ x N(θ, σ 2 ) θ x N(40.945,.3252) 6.4 Dstrbucones ncales nformatvas, no nformatvas y conjugadas Exsten dversas clasfcacones de las dstrbucones ncales. En térmnos de la cantdad de nformacón que proporconan se clasfcan en nformatvas y no nformatvas. DISTRIBUCIONES INICIALES INFORMATIVAS: Son aquellas dstrbucones ncales que proporconan nformacón relevante e mportante sobre la ocurrenca de los eventos ncertos θ. 225

34 EJEMPLO 8: La dstrbucón ncal para θ del Ejemplo 7 es un ejemplo de dstrbucón ncal nformatva. En el msmo contexto del Ejemplo 7, supongamos ahora que exsten úncamente 3 posbles estados de la demanda: θ = demanda baja, θ 2 = demanda meda y θ 3 = demanda alta. Suponga además que la demanda meda se cree tres veces tan probable que la demanda baja y la demanda alta dos veces tan probable que la demanda baja. Especfca la dstrbucón ncal para la demanda. Sea p =P(θ ), =,2,3. Entonces, p 2 =3p y p 3 =2p. Además, + p + p p 2 3 = p + 3p + 2p = 6p = p =/6, p 2 =/2 y p 3 =/3 DISTRIBUCIONES INICIALES NO INFORMATIVAS: Son aquellas dstrbucones ncales que no proporconan nformacón relevante o mportante sobre la ocurrenca de los eventos ncertos θ. Exsten varos crteros para defnr u obtener una dstrbucón ncal no nformatva: ) Prncpo de la razón nsufcente: Bayes (763) y Laplace (84, 952). De acuerdo con este prncpo, en ausenca de evdenca en contra, todas las posbldades deberían tenerla msma probabldad ncal. o En partcular, s θ puede tomar un número fnto de valores, dgamos m, la dstrbucón ncal no nformatva, de acuerdo con este prncpo es: 226

35 f m ( θ) = I{ }( ) θ, θ2, K, θ θ m o Qué pasa cuando el número de valores (m) que puede tomar θ tende a nfnto? f( θ ) cte. En este caso se dce que f(θ) es una dstrbucón ncal mpropa, porque no cumple con todas las propedades para ser una dstrbucón ncal propa. 2) Dstrbucón ncal nvarante: Jeffreys (946) propuso una dstrbucón ncal no nformatva nvarante ante reparametrzacones, es decr, s π θ (θ) es la dstrbucón ncal no nformatva para θ entonces, π ( ϕ) = π ( θ( ϕ) ) J ( ϕ) ϕ θ θ es la dstrbucón ncal no nformatva de ϕ = ϕ(θ). Esta dstrbucón es generalmente mpropa. o La regla de Reffreys consste en lo sguente: Sea F = { ( x θ ): θ Θ} f, Θ R d un modelo paramétrco para la varable aleatora X. La dstrbucón ncal no nformatva de Jeffreys para el parámetro θ con respecto al modelo F es donde π ( θ) det θ ( X θ) { I( )} / 2, θ Θ, 2 log f I( θ) = E X θ es la matrz de nformacón de θ θ' Fsher 227

36 o EJEMPLO 9: Sea X una v.a. con dstrbucón condconal dado θ, x x f {0,} Ber(θ),.e., ( x θ ) = θ ( θ) I (x), θ (0,). ( x θ ) = x log( θ) + ( x)log( θ) + logi (x) log f {0,} θ log f ( x θ) = x θ x θ 2 θ 2 ( ) log f x x ( x θ) = 2 2 θ ( θ) ( θ) E( X θ) X X E X θ = E X θ = + = = 2 2 L 2 θ ( θ) θ I 2 / 2 / 2 ( = θ (0,) π θ) θ( θ) ( θ) = Beta( θ/ 2,/ 2) π. / 2 ( θ) I ( θ) ( ( θ) θ θ) 3) Crtero de referenca: Bernardo (986) propuso una nueva metodología para obtener dstrbucones ncales mínmo nformatvas o de referenca, basándose en la dea de que los datos contenen toda la nformacón relevante en un problema de nferenca. o La dstrbucón ncal de referenca es aquella dstrbucón ncal que maxmza la dstanca esperada que hay entre la dstrbucón ncal y la fnal cuando se tene un tamaño de muestra nfnto. o Ejemplos de dstrbucones ncales de referenca se encuentran en el formularo. 228

37 DISTRIBUCIONES CONJUGADAS: Las dstrbucones conjugadas surgen de la búsqueda de cuantfcar el conocmento ncal de tal forma que la dstrbucón fnal sea fácl de obtener de manera analítca. Debdo a los avances tecnológcos, esta justfcacón no es válda en la actualdad. o Defncón: Famla conjugada. Se dce que una famla de dstrbucones de θ es conjugada con respecto a un determnado modelo probablístco f(x θ) s para cualquer dstrbucón ncal pertenecente a tal famla, se obtene una dstrbucón fnal que tambén pertenece a ella. o EJEMPLO 0: Sea X,X 2,...,X n una m.a. de Ber(θ). Sea θ Beta(a,b) la dstrbucón ncal de θ. Entonces, f n ( ) x n θ = θ ( θ) x x I{0,} ( x ) Γ(a + b) Γ(a) Γ(b) = a b ( θ) = θ ( θ) I ( θ) f (0,) a+ x b+ n x f (0,) ( θ x) θ ( θ) I ( θ) Γ(a + b ) Γ(a ) Γ(b ) a b f (0,) ( θ x) = θ ( θ) I ( θ) donde θ Beta(a,b ). x a = a + x y b + n, b. Es decr, = x o Más ejemplos de famlas conjugadas se encuentran en el formularo. 229

38 6.5 Problemas de nferenca paramétrca Los problemas típcos de nferenca son: estmacón puntual, estmacón por ntervalos y prueba o contraste de hpótess. ESTIMACIÓN PUNTUAL. El problema de estmacón puntual vsto como problema de decsón se descrbe de la sguente manera: o D = E = Θ. ~ o ( θ,θ) v la pérdda de estmar medante θ ~ el verdadero valor del parámetro de nterés θ. Consdérense tres funcones de pérdda: ) Funcón de pérdda cuadrátca: ~ v ~ θ, θ = a θ θ, donde a > 0 ( ) ( ) 2 En este caso, la decsón óptma que mnmza la pérdda esperada es ~ θ = E ( θ) La mejor estmacón de θ con pérdda cuadrátca es la meda de la dstrbucón de θ al momento de producrse la estmacón.. 2) Funcón de pérdda absoluta: ( ~ ~ θ, θ) = a θ θ v, donde a > 0 En este caso, la decsón óptma que mnmza la pérdda esperada es 230

39 ~ θ = Med ( θ) La mejor estmacón de θ con pérdda absoluta es la medana de la dstrbucón de θ al momento de producrse la estmacón.. 3) Funcón de pérdda vecndad: ~ θ, θ = I ~ donde ( θ) ε ( ) ~ ( θ) v Bε( θ ) B denota una vecndad (bola) de rado ε con centro en θ ~. En este caso, la decsón óptma que mnmza la pérdda esperada cuando ε 0 es ~ θ = Moda ( θ) La mejor estmacón de θ con pérdda vecndad es la moda de la dstrbucón de θ al momento de producrse la estmacón.., EJEMPLO : Sean X,X 2,...,X n una m.a. de una poblacón Ber(θ). Supongamos que la nformacón ncal que se tene se puede descrbr medante una dstrbucón Beta,.e., θ Beta(a,b). Como demostramos en el ejemplo pasado, la dstrbucón fnal para θ es tambén una dstrbucón Beta,.e., n n θ x Beta a + X, b + n X. = = La dea es estmar puntualmente a θ, 23

40 ) S se usa una funcón de pérdda cuadrátca: ~ a + x ( ) θ = E θ x =, a + b + n 2) S se usa una funcón de pérdda vecndad: ~ a + ( ) x Moda x θ = θ =. a + b + n 2 ESTIMACIÓN POR INTERVALO. El problema de estmacón por ntervalo vsto como problema de decsón se descrbe de la sguente manera: o D = {D : D Θ}, donde, D es un ntervalo de probabldad al (-α) s ( θ) dθ = α f D. Nota: para un α (0,) fjo no exste un únco ntervalo de probabldad. o E = Θ. o v( D, ) = D I ( ) θ la pérdda de estmar medante D el verdadero D θ valor del parámetro de nterés θ. Esta funcón de pérdda refleja la dea ntutva que para un α dado es preferble reportar un ntervalo de probabldad D * cuyo tamaño sea mínmo. Por lo tanto, La mejor estmacón por ntervalo de θ es el ntervalo D * cuya longtud es mínma. 232

41 El ntervalo D * de longtud mínma satsface la propedad de ser un ntervalo de máxma densdad, es decr s θ D * y θ 2 D * f(θ ) f(θ 2 ) Cómo se obtene el ntervalo de mínma longtud (máxma densdad)? Los pasos a segur son: o Localzar el punto más alto de la funcón de densdad (posteror) de θ. o A partr de ese punto trazar líneas rectas horzontales en forma descendente hasta que se acumule (-α) de probabldad. densty α Gamma Dstrbuton θ x Shape,Scale 2, CONTRASTE DE HIPÓTESIS. El problema de contraste de hpótess es un problema de decsón sencllo y consste en elegr entre dos modelos o hpótess alternatvas H 0 y H. En este caso, o D = E = {H 0, H } o v ( d,θ) la funcón de pérdda que toma la forma, 233

42 v(d,θ) H 0 H H 0 v 00 v 0 H v 0 v donde, v 00 y v son la pérdda de tomar una decsón correcta (generalmente v 00 = v = 0), v 0 es la pérdda de rechazar H 0 (aceptar H ) cuando H 0 es certa y v 0 es la pérdda de no rechazar H 0 (aceptar H 0 ) cuando H 0 es falsa. Sea p 0 = P(H 0 ) = probabldad asocada a la hpótess H 0 al momento de tomar la decsón (ncal o fnal). Entonces, la pérdda esperada para cada hpótess es: E { v( H 0 )} = v 00 p 0 + v 0 ( p 0 ) = v 0 ( v 0 v 00 ) p 0 { v( H )} = v 0 p 0 + v ( p 0 ) = v ( v v 0 ) p 0 E cuya representacón gráfca es de la forma: v 0 { ( )} E v H 0 { ( )} E v H v 0 v v 00 p 0 0 H H 0 p * 234

43 donde, p * 0 =. v 0 v v v + v 0 v 00 Fnalmente, la solucón óptma es aquella que mnmza la pérdda esperada: p - p v v 0 0 * s E{ v( H0 )} < E{ v( H) } > p0 > p H 0 H 0 s p 0 es sufcentemente grande comparada con -p 0. p - p * s E{ v( H0 )} > E{ v( H) } < p0 < p H 0 v v v v 0 0 v v H s p 0 es sufcentemente pequeña comparada con -p 0. s * p0 = p Indferente entre H 0 y H s p 0 no es n sufcentemente grande n H 0 ó H sufcentemente pequeña comparada con -p