Tema 4. Esperanzas y función característica

Transcripción

1 CSA. Esperanzas y funcón característca 1 Tema 4. Esperanzas y funcón característca 1. ESPERANZA Y VARIANZA A menudo es nteresante resumr certas propedades de una VA y de su dstrbucón de probabldad en unos cuantos números. Estas cantdades determnstas no dentfcarán de forma únca a la VA, pero nos darán una dea de sus prncpales característcas. En este tema se estudarán los prncpales parámetros de una VA; fundamentalmente índces de localzacón y de dspersón. Def: Llamaremos Esperanza (Meda o Valor esperado) de una VA: En el caso dscreto, esto se converte en: E( X) = µ = xfx( x) dx EX ( ) = µ = xpx ( = x) Evdentemente, en un espaco equprobable este es el concepto ntutvo y habtual de promedo. La meda es claramente un parámetro de localzacón, nos da una dea de dónde puede estar stuada la varable estudada. Interpretacón frecuencal Supongamos que X es una VA dscreta tomando valores {x 1,x 2,,x k, }. Repetmos el expermento n veces (sendo n sufcentemente grande) y observamos n = {número de veces que obtenemos el valor x }; con lo que f r (x ) = n /n. La esperanza de X sería: nx n x EX ( ) xf r( x k k + ) = n La meda puede entenderse desde el punto de vsta frecuencal como el límte del promedo de muestras de la msma VA, cuando el número de muestras tende a nfnto. Obs: La esperanza se defne como una ntegral (o como una sere en el caso dscreto). Esta ntegral puede que no sempre exsta. De hecho, algunas VA carecen de meda. Ejemplo: Sea X: Valor obtendo en el lanzamento de un dado. X toma valores en {1,2,,6} con probabldad 1/6. Por tanto: E(X) = ( )/6 = 3.5. Ejemplo: Sea X~U(a,b). Entonces: EX ( )= a b x b a dx 1 b a b a = = + b a Las prncpales propedades de la esperanza son: 1) S la fdp es smétrca respecto a un punto, ese punto ha de ser necesaramente la meda. Es decr, s f(a+x) = f(a-x) para todo x, entonces E(X) = a. En partcular, s la fdp es par entonces la meda es cero. Por ejemplo, una unforme es smétrca respecto al punto medo del ntervalo donde está defnda, por lo que este punto es la meda.

2 2 Departamento de Teoría de la Señal y Comuncacones. Unversdad de Vgo 2) La meda de una VA no tene porqué ser uno de los posbles valores de la varable. En el ejemplo del lanzamento de un dado, la meda (3.5) no pertenece al rango de la VA. 3) Teorema fundamental para esperanzas Bajo las msmas hpótess del teorema fundamental. S Y=g(X) entonces: E( Y) = yf ( y) dy = g( x) f ( x) dx El teorema tambén es certo en el caso dscreto: EY ( ) = ypy ( = y) = gx ( ) PX ( = x) j En el caso bdmensonal, Z = g(x, Y) entonces: j Y j E( Z) = zf ( z) dz = g( x, y) f ( x, y) dxdy Z El teorema fundamental para esperanzas nos permte calcular la meda de una transformacón sn necesdad de calcular la fdp de la varable transformada. 4) La esperanza es un operador lneal, es decr: () E(aX+b) = ae(x)+b () E(aX+bY) = ae(x)+be(y) Ejemplo 4.1: Sea X una VAN(0, σ). Hacemos la transformacón Y= X 2. Determna E(Y) X XY Otros índces de localzacón son la moda: el máxmo de la fdp o; lo que es lo msmo en el caso dscreto, el valor más probable; y la medana, aquel punto que deja la mtad de la probabldad a cada lado, es decr, el punto en el que la FD vale 1/2. Ejemplo 4.2: Sea X una VAN(µ, σ). Determna la meda, la moda y la medana de X

3 CSA. Esperanzas y funcón característca 3 Ejemplo 4.3: Sea X una VAexp(α). Determna la meda, la moda y la medana de X De entre los parámetros de dspersón, el más mportante quzá sea la varanza, que mde la concentracón de una varable aleatora respecto a su meda. Se defne: En el caso dscreto esto se transforma en: Var( X) = σ = E{( X µ ) } = ( x µ ) f( x) dx Var( X) = ( x µ ) 2 P( X = x) Sus propedades prncpales son: 1) Var(X) = E(X 2 ) - E 2 (X) 2) S X= c (constante o determnsta) entonces Var(X) =0 3) Var(aX+b) = a 2 Var(X); con a y b números reales. Ejercco 4.1: Demuestra las propedades anterores

4 4 Departamento de Teoría de la Señal y Comuncacones. Unversdad de Vgo Ejemplo 4.4: Sea X una VA que toma valores en -1 y en +1 con probabldad 1/2. Calcula su meda y su varanza. Sea Y una VA que toma valores en -10 y en +10 con probabldad 1/2. Calcula su meda y su varanza. Compara las medas y las varanzas de X e Y. Otro parámetro mportante de dspersón es la desvacón típca: la raíz cuadrada (postva) de la varanza. Tene especal nterés por estar expresada en la msmas undades que la varable. Sabemos que la varanza mde la dspersón de una varable en torno a su meda; pero es una medda mprecsa. Es de gran mportanca calcular la probabldad de que una varable tome valores en un ntervalo centrado en la meda, y gracas a la desgualdad de Tchebycheff, podemos acotar esto en térmnos de la varanza y del rado del ntervalo. Dado ε>0 entonces P( X-µ ε) σ 2 /ε 2 La demostracón es senclla: { } σ = ( x µ ) fxdx ( ) µ ε = ε µ ε { µ ε } ( x ) fxdx ( ) fxdx ( ) P( X ) x/ x x/ x µ ε La cota de Tchebycheff es, en general, un poco exagerada, pero especalmente útl en aquellos casos en los que dspongamos de poca nformacón sobre la dstrbucón de probabldad de la VA. Ejemplo 4.5: Sea X una VABer(p). Determna la meda y la varanza de X Ejemplo 4.6: Sea X una VAN(µ,σ). Determna la varanza de X

5 CSA. Esperanzas y funcón característca 5 Ejemplo 4.7: Sea X una VAU(a,b). Determna la varanza de X Ejemplo 4.8: Sea X una VAexp(α). Determna la varanza de X Ejemplo 4.9: Sea X una VAcon dstrbucón de Raylegh de parámetro σ. Calcula E(X) y Var(X).

6 6 Departamento de Teoría de la Señal y Comuncacones. Unversdad de Vgo Dado un suceso A de probabldad no nula, defnmos la esperanza condconada: = EX ( / A) xfx ( / Adx ) Esta es una defncón equvalente a la de esperanza pero utlzando la fdp condconada. En el caso dscreto: EX ( / A) = xpx ( = x / A) Este concepto puede ser útl para calcular una meda gracas al teorema de las probabldades totales para esperanzas (váldo para partcones fntas o nfntas): Dada una partcón { A1,, An, } se verfca que E( X) = E( X / A) P( A) La esperanza condconada es especalmente útl cuando el suceso que condcona está relaconado con una VA. Por ejemplo s A ={Y=y}: EX Y y xfx Y ydx x fxy (, ) ( / = ) = ( / = ) = f y dx Y( ) Para cada valor y de la VA Y tendremos un valor dferente de E(X/Y=y). En este sentdo, la esperanza condconada es una funcón de la VAY; por lo que podemos pensar que E(X/Y)=g(Y) es a su vez una VA. Tene sentdo pues, hablar de la meda de la esperanza condconada; que verfca que: E{E(X / Y)} = E( X / Y = y) f( y) dy = E( X) Este resultado es útl por dos motvos: por un lado nos proporcona una versón contnua del teorema de las probabldades totales para esperanzas, y por otro nos va a permtr, como veremos en el epígrafe dedcado a regresón, realzar predccones. Es fácl comprobar que s las dos varables son ndependentes la esperanza condconada vale sempre E(X), ndependentemente del valor y utlzado, por lo que no será VA. Ejemplo 4.10: Dsponemos de dos dados, uno con 4 y otro con 6 caras, numeradas de 1 a 4 ó de 1 a 6 respectvamente. Se lanza una moneda, de forma que s sale cara lanzamos el dado de 4 caras, en otro caso lanzamos el dado de 6 caras. Sea la VAX: Número obtendo. Calcula E(X) y E(X 2 ). Ejemplo 4.11: Sea X una VA N(c,1). Supongamos que a su vez el parámetro c es un valor observado de una VAU(5,6). Calcula la esperanza de X.

7 CSA. Esperanzas y funcón característca 7 Ejemplo 4.12: Sea X una VA Geo(r). Supongamos que a su vez el parámetro r es un valor observado de una VAU(0.5,1). Calcula la esperanza de X. Sugerenca: Utlza que E{Geo(p)} = 1/p (Ejemplo 4.15) 2. CORRELACIÓN Y REGRESIÓN A menudo las VA mplcadas en un determnado problema están nterrelaconadas y presentan una determnada relacón de dependenca. Por ejemplo, en un sstema de colas, el tempo de espera está relaconado con la cantdad de clentes por undad de tempo que se ncorporan al sstema. El objetvo de muchos trabajos de nvestgacón es precsamente determnar la dependenca que exste entre dstntas varables, por ejemplo consumo de tabaco e ncdenca de cáncer. Por tanto, resulta muy útl dsponer de algún parámetro que mda la dependenca entre VA. En nuestro caso ntroducremos parámetros relatvos a la dependenca lneal entre dos VA. Def: Se llama covaranza de X e Y: Cov(X,Y) = σ XY = E{(X-µ X )(Y-µ Y )} = E(XY) - E(X)E(Y) Una relacón mportante entre las varanzas y la covaranza de dos VA vene dada por la desgualdad de Schwartz: 2 σ XY σ X 2 σ Y 2 ; o, equvalentemente: σ XY σ X σ Y La covaranza puede ser nteresante para estudar la relacón lneal entre dos VA, pero es fácl comprobar que es un parámetro dependente de las undades de medda que utlcemos. Es decr, s Z=aX+b y W=cY+d, es nmedato que σ ZW =acσ XY. Sn embargo, resulta evdente que la relacón entre las varables X e Y es la msma que la que exste entre Z y W (supón que las varables mden longtud y que la transformacón lneal consste en un cambo de metros a centímetros). Para elmnar esa dependenca de la escala usada, se defne el coefcente de correlacón como: ρ XY = σ XY σ X σ Y parámetro que, ndependentemente de las undades, sempre toma valores en el ntervalo [-1,1] (véase desgualdad de Schwartz). Además, es una magntud admensonal. El coefcente de correlacón mde el grado de dependenca lneal entre dos VA, de forma que s vale 1 ó -1 la dependenca es total. Esta afrmacón se dscutrá en detalle en el apartado de regresón. Dremos que dos VAson ncorreladas s su coefcente de correlacón es nulo (para ello basta con que su covaranza sea cero); hablaremos de VA ortogonales en el caso de que la esperanza de su producto sea cero.

8 8 Departamento de Teoría de la Señal y Comuncacones. Unversdad de Vgo Ejercco 4.2: Demuestra que s X e Y son VA ndependentes, entonces tambén son ncorreladas. Dos VAndependentes son sempre ncorreladas, aunque el recíproco no es, en general, certo; pues el hecho de que no exsta dependenca lneal no quere decr que no pueda exstr otro tpo de dependenca, por ejemplo, polnómca o exponencal. Las condcones de ncorrelacón e ndependenca son equvalentes bajo la hpótess de normaldad, como se verá más adelante. Ejercco 4.3: Demuestra que Var(X+Y) = Var(X) + Var(Y) + 2 Cov(X,Y). Por tanto, la varanza de una suma concde con la suma de las varanzas sólo cuando las varables están ncorreladas, pero puede ser mayor o menor que la suma de las varanzas. Todos estos parámetros tenen una especal relevanca cuando trabajemos con dstrbucones normales. Defnremos la dstrbucón normal n-dmensonal de la sguente forma: t Sea X = ( X1,, X n ) un vector aleatoro, y sea µ = ( µ 1,, µ n ) t un vector de números reales. σ1 2 σ12 σ1n 2 σ n Sea Σ= 2 σ2 una matrz smétrca y semdefnda postva. 2 σ n Dremos que X ~ Nn( µ, Σ) s 1 t fx ( ) = fx (,, xn ) = n exp 1 1 / / ( x µ ) Σ ( x µ ) ( 2π) det( Σ) 2 Al vector µ se le llama vector de medas y a la matrz Σ se le llama matrz de varanzascovaranzas. En el caso bdmensonal (n=2), s llamamos r = σ 12 /(σ 1 σ 2 ), la funcón de densdad se puede expresar como: 1 1 ( x ) ( y ) ( fxy (, ) exp r x )( y ) µ µ = r 21 ( r ) µ 1 µ 2 2 πσ σ σ σ2 σσ

9 CSA. Esperanzas y funcón característca 9 Es fácl de demostrar, calculando las margnales, que X~N(µ 1,σ 1 ) e Y~N(µ 2,σ 2 ). Además se verfca que Cov(X,Y) = σ 12 y ρ XY = r. Obs: En la expresón anteror de f(x,y) es fácl comprobar que s r=0 entonces f(x,y)=f(x)f(y). Es decr, s dos normales son ncorreladas, tambén son ndependentes. Por tanto, bajo la hpótess de normaldad, la condcón de ndependentes equvale a la de ncorreladas. Obs: En una normal n-dmensonal las n margnales son normales monodmensonales, aunque el recíproco no es certo en general Y X Fgura: Representacón de una fdp de una normal bdmensonal. REGRESIÓN La teoría de la regresón estuda cómo estmar una VA Y en funcón de n VA X 1,..., X n que puderan ser más fáclmente medbles. Para ello se construye Ŷ = g(x 1,,X n ) y se aproxma Y por Ŷ. Para elegr la funcón g debemos establecer algún crtero respecto a su forma o propedades. Para que la estmacón sea buena, la funcón g debe mnmzar el error cometdo. Al trabajar con VA se pueden consderar dstntos tpos de error; pero la teoría de la regresón clásca consdera el error cuadrátco medo: ε = E{(Y-Ŷ)2 } En esta seccón estudaremos la predccón de una VA Y por una únca VA X, aunque los resultados que obtengamos serán fáclmente generalzables a dmensones superores. Estudaremos dstntas posbldades para la forma de la funcón g: 1) Ŷ = g(x) = a (Estmacón constante e ndependente de X) En este caso ε = E{(Y-a) 2 } = E(Y 2 ) + a 2-2aE(Y). Dervando respecto al parámetro a e gualando a cero: 2a - 2E(Y) = 0; de donde se deduce que a = E(Y). Al ser postva la segunda dervada conclumos que el valor de Ŷ que mnmza el error es precsamente E(Y). Por otro lado, es evdente que el error cuadrátco medo cometdo es ε = Var(Y).

10 10 Departamento de Teoría de la Señal y Comuncacones. Unversdad de Vgo 2) Ŷ = g(x) = ax + b (Estmacón lneal) Mnmzando el error cuadrátco medo se obtenen los sguentes valores (análogo a 1): σxy Y Y a = = ρ σ b = E Y ρ σ 2 ; ( ) E( X) σx σx σx Por lo que la recta general de regresón toma la sguente expresón: Yˆ = E( Y) + ρ σy ( X E( X)) σ Además, se puede probar que el error cometdo es: X 2 2 Y ε = σ ( 1 ρ ) La pendente de la recta vene marcada por el sgno de ρ. S ρ = 1 ó -1, se ve que el error cometdo es cero y la dependenca lneal entre las dos varables es total. Por otro lado s ρ = 0, vemos que la recta de regresón se reduce a la expresón Ŷ = E(Y), es decr, el conocer X no aporta nnguna nformacón lneal sobre Y; o lo que es lo msmo, las varables son ncorreladas. 3) Ŷ = g(x) (Estmacón general) Se puede probar que el estmador es: Ŷ = E(Y/X) llamado línea general de regresón. Evdentemente s X e Y son ndependentes Ŷ = E(Y) es decr, el conocer X no nos aporta nada para conocer Y. En la práctca no es fácl conocer esa esperanza condconada, por lo que, en general, se utlza más la estmacón lneal mínmo cuadrátca. 3. MOMENTOS Y FUNCIÓN CARACTERÍSTICA S elegmos una transformacón del tpo g(x)=x k y calculamos su esperanza tendremos el momento no centrado de orden k de la VA X, que denotaremos por m k. Tambén hablaremos de momento centrado de orden k de la VA X: µ k = E{(X-µ) k }. Los momentos de orden bajo ya han sdo estudados y debdo a su gran uso tene nombres propos como meda y varanza. Los momentos de orden superor pueden ser útles para medr propedades de las dstrbucones tales como asmetría o apuntamento. Para varables bdmensonales, se defnen los momentos de órdenes k y r, como: m kr = E(X k Y r ) (momento no centrado) µ kr = E{(X-µ X ) k (Y-µ Y ) r } (momento centrado) La funcón característca es, salvo por un sgno, la transformada de Fourer de la fdp. Se defne: En el caso dscreto: jωx jωx φω ( ) = Ee ( ) = e fxdx ( ) jωx φω ( ) = Ee ( ) = e PX ( = x) jωx

11 CSA. Esperanzas y funcón característca 11 Obs: La funcón característca exste sempre, es decr, sempre se puede calcular la ntegral o la sere. Sus prncpales propedades son: 1) φ(0)=1 2) φ(ω) 1 3) S Y = ax+b, entonces φ Y (ω) = e jωb φ X (aω) 4) S f(x) es par entonces φ(ω) es par y real Ejercco 4.4: Demuestra las propedades 2) y 3) La funcón característca dentfca de modo únco una VA debdo a la fórmula de nversón: 1 jωx fx ( ) = e φω ( ) dω 2π La fórmula de nversón, dervada de la transformada nversa de Fourer, permte dentfcar de forma únca la fdp de una VA. Es decr, dos VA con funcones característcas guales, tenen funcones de densdad guales. Un resultado de especal nterés es el teorema de los momentos: S exste m n, el momento de orden n, entonces: d n φω ( ) n n = jmn dω ω= 0 La demostracón se basa en el desarrollo en sere de potencas de una funcón exponencal: k jωx jωx e = ( ) k! k= 0 Por tanto: jωx ( jω) k φω ( ) = e f( x) dx = ( ) = k! xfxdx k k= 0 k= 0 ( jω) k! Por otro lado, hacendo el desarrollo en sere de potencas de φ(ω) en torno a ω 0 = 0: φ ( ) φω ( ) = k 0 k ω! k= 0 k Dado que el desarrollo en sere de potencas es únco, se obtene el resultado. La demostracón de este resultado nos permte, a través de los momentos de una VA, reconstrur su funcón característca o, equvalentemente, su transformada de Fourer. Esto será especalmente útl en el caso de la dstrbucón normal. El teorema nos proporcona tambén una herramenta para el cálculo de los momentos de una VA a partr de su funcón característca. Utlzaremos este método para calcular la meda y varanza de las dstrbucones bnomal, geométrca y de Posson. ( ) k m k

12 12 Departamento de Teoría de la Señal y Comuncacones. Unversdad de Vgo Ejemplo 4.13: Calcula la funcón característca, la meda y la varanza de una B(n,p) Ejemplo 4.14: Calcula la funcón característca, la meda y la varanza de una P(λ)

13 CSA. Esperanzas y funcón característca 13 Ejemplo 4.15: Calcula la funcón característca, la meda y la varanza de una Geo(p) Ejemplo 4.16: Calcula la funcón característca de una VA N(µ,σ) Obs: En una N(0,1) se verfca que m 2k-1 = 0 y m 2k = (2k)! / [2 k k!] para k=1,2,

14 14 Departamento de Teoría de la Señal y Comuncacones. Unversdad de Vgo Def: Llamaremos funcón característca conjunta de las varables X e Y a: φ XY (ω 1,ω 2 ) = E{e j(ω 1 X+ω 2 Y) } La funcón característca caracterza de un modo únco una VA bdmensonal, pues tambén exste una fórmula de nversón bdmensonal. Sus prncpales propedades son: 1) Se pueden obtener las funcones característcas margnales como: φ X (ω) = φ XY (ω,0); φ Y (ω) = φ XY (0,ω) 2) S Z= ax+by entonces φ Z (ω) = φ XY (aω, bω) 3) S Z= ax+by y W=cX+dY entonces φ ZW (ω 1,ω 2 ) = φ XY (aω 1 +cω 2, bω 1 +dω 2 ) 4) X e Y son ndependentes s y solo s φ XY (ω 1,ω 2 ) = φ X (ω 1 )φ Y (ω 2 ) 5) La funcón característca de la suma de dos VA ndependentes es el producto de las funcones característcas margnales (Se deduce de las propedades 2) y 4)). Esta propedad se puede consderar como la versón del teorema de convolucón en el domno de la funcón característca. La convolucón de fdp s se converte en un producto de funcones característcas, lo cual, en determnadas ocasones, puede resultar más fácl de calcular. 6) Teorema de los momentos. S exste el momento de órdenes k y r, entonces: k r φω ( 1, ω2) ( k+ r) k r = j m kr ω ω ω = ω = 0 Ejemplo 4.17: Demuestra que la suma de dos VA normales ndependentes sgue una dstrbucón normal. 2

15 CSA. Esperanzas y funcón característca 15 Dstrbucón Parámetros Rango Meda Varanza Bernoull p {0,1} p p(1-p) Bnomal n, p {0,1,2,...,n} np np(1-p) Posson λ {0,1,2,3,...} λ λ Geométrca p {1,2,3,...} 1/p (1-p)/p 2 Unforme a, b (a,b) (a+b)/2 (b-a) 2 /12 Normal µ, σ (-,) µ σ 2 Exponencal α (0,) 1/α 1/α 2 Raylegh σ (0,) σ(π/2) 1/2 σ 2 (4-π)/2 En una N(0,1) se verfca que m 2k-1 = 0 y m 2k = (2k)! / [2 k k!] para k=1,2, Tabla resumen de las medas y varanzas de las prncpales dstrbucones EJERCICIOS PROPUESTOS: Esperanzas y varanzas. Cao. Problema 4.6. Pag. 181; Problema Pag 198. Esperanza y varanza. L. Problemas de autoevaluacón 3.4. Pag Varanza. L. Problemas de autoevaluacón 3.2. Pag Esperanza de funcones de una VA. L. Problema Pag. 135 Esperanza y esperanza condconada. Stark. Problema Pag Esperanza y Correlacón. L. Problema Pag Correlacón. Stark. Ejemplo Pag 186 Covaranza e ncorrelacón. L. Ejemplos adconales Pag Independenca e ncorrelacón. Stark. Problema Pag. 221 Regresón. Stark. Problema Pag 221 Nota: Las referencas ndcadas para los problemas son váldas para la 2ª edcón del Stark. LECTURAS RECOMENDADAS: Esperanzas y varanzas. Cao. Capítulos 4.6 y 4.7. Momentos y funcón característca. Papouls. Capítulos 7.1 y 7.2 (2 y 3 ed) INFORMACIÓN Y DOCUMENTACIÓN ADICIONAL: La documentacón de este tema se complementa con un boletín de problemas. En clases de laboratoro se realzará una práctca de ordenador (práctca #6). Esta práctca dspone de un enuncado que es recomendable leer antes de asstr al laboratoro. Todo el materal de la asgnatura está dsponble en la fotocopadora y en la dreccón: