Comportamiento asintótico de estimadores

Transcripción

1 Comportamiento asintótico de estimadores Seguimos con variable X con función de densidad/masa f (x; θ). Queremos estimar θ. Dada una muestra aleatoria, definimos un estimador T = h(x 1,..., X n ) Esperamos/deseamos que cuanto mayor sea el tamaño de la muestra n, más precisa será la estimación. Nos disponemos ahora a analizar consistencia de estimadores; distribución asintótica (exacta/aproximada) de estimadores; Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

2 Consistencia Para cada n, tenemos muestra aleatoria (X 1,..., X n ) y estimador T n = h n (X 1,..., X n ) Habitual: la sucesión de estimadores (T n ) se obtiene con funciones h n que tienen la misma forma (promedio, máximo, etc.): h n (x 1, x 2,..., x n ) = 1 n n j=1 x j; h n (x 1, x 2,..., x n ) = max(x 1, x 2,..., x n );... Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

3 Decimos que una sucesión (T n ) de estimadores de un parámetro θ (donde cada T n es una función de (X 1,..., X n )) es consistente cuando lim P θ( T n θ ε) = 0, para todo ε > 0. n Es decir, cuando para n grande, la probabilidad de que T n yerre siquiera ε del verdadero valor θ sea casi nula. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

4 Criterio habitual: Lema 1 Sea (T n ) n 1 una sucesión de estimadores insesgados de θ tales que lim V θ(t n ) = 0. n Entonces la sucesión (T n ) n 1 es consistente. Demostración. Como E θ (T n ) = θ, por la desigualdad de Chebyshev tenemos, para ε > 0 dado, que P θ ( T n θ ε) V θ(t n ) ε 2 n 0. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

5 Lema 2 Sea (T n ) n 1 una sucesión de estimadores de θ tales que lim ECM θ(t n ) = 0. n Entonces la sucesión (T n ) n 1 es consistente. Demostración. Por la desigualdad de Markov tenemos, para ε > 0 dado, que P θ ( T n θ ε) E θ( T n θ ) Eθ ((T n θ) 2 ) ε ε ECM(Tn ) n = 0. ε donde la segunda desigualdad es consecuencia de la de Cauchy-Schwarz. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

6 Ejemplo 1. X y S 2 como estimadores consistentes, respectivamente, de E(X ) y de V(X ). Para indicar la dependencia en el tamaño de la muestra, escribiremos X (n) y S 2 (n) Sabemos que, para cualquier n, X (n) es estimador insesgado de E(X ) y además que V(X (n) ) = V(X ). n Así que X (n) es una sucesión consistente de estimadores de E(X ). Esto requiere, por supuesto, que E(X 2 ) < +. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

7 Análogamente para S 2 (n), pues E(S 2 (n) ) = V(X ) y V(S 2 (n) ) E[ (X E(X )) 4] n con la hipótesis de que E(X 4 ) < +. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

8 Ejemplo 2. El estimador T n = n+1 n max(x 1, X 2,..., X n ) del parámetro a de Unif[0, a]. Como ya sabemos, y V a (M n ) = E a (M n ) = a 1 n(n + 2) a2. Ejemplo 3. Estimamos E(X ) con T n = X (n) + 1 n. No son estimadores insesgados, pues E(T n ) = E(X ) + 1/n, pero sí son consistentes, pues V(T n ) = V(X )/n y el sesgo 1/n tiende a 0. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

9 Distribución exacta/aproximada de T n En ocasiones, podemos determinar la distribución de T n, lo que permitirá obtener cotas de P θ ( T n θ ε) mucho mejores que las dadas, por ejemplo, por la desigualdad de Chebyshev, precisando así mucho más la confianza en las estimaciones de sucesiones de estimadores consistentes. Veremos algunos ejemplos en que podremos calcular expĺıcitamente la distribución del estimador; cómo utilizar el teorema del ĺımite central para obtener la distribución aproximada del estimador X ; cómo utilizar el teorema del ĺımite central para obtener la distribución aproximada de estimadores que dependan de X ; Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

10 a) Distribución exacta Ejemplo 1. Sea X N (µ, σ 2 ). Sabemos que X (n) N (µ, σ 2 /n). La desigualdad de Chebyshev daría: P( X (n) µ ε) V(X ) ε 2 = σ2 nε 2. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

11 Pero también ( X (n) µ P( X (n) µ ε) = P σ/ n ε ) ( σ/ = 2 1 Φ n ( nε σ )). Usando la estimación 1 Φ(x) φ(x) x, para x > 0, de la cola de la normal estándar, deducimos: P( X (n) µ ε) 2σ ε 1 e nε2 /σ 2. n 2π Comparación: pongamos que σ = 1 y tomemos ε = 1/n 1/4. Tendríamos 2 π n1/4 e n vs 1 n. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

12 Ejemplo 2. Sea X N (µ, σ 2 ). Sabemos que (n 1)S 2 (n) /σ2 χ 2 n 1. Así que ( P( S(n) 2 (n 1)S 2 σ2 (n) ε) = P σ 2 (n 1) ( ( = P χ 2 n 1 > (n 1) ( 1 + ε σ 2 ) ) + P Una expresión exacta, en términos de percentiles de χ 2 n 1. ε(n 1) ) σ 2 χ 2 n 1 < (n 1) ( 1 ε ) ) σ 2 Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

13 Ejemplo 3. Sea X unif[0, a]. El estimador es Como E a (M n ) = no). Conocemos su distribución: M n = max(x 1, X 2,..., X n ). n n+1 a, el estimador es sesgado (aunque asintóticamente, P a ( M n a ε) = P a (M n a ε) = ( 1 ε a) n. Así que M n no sólo es consistente, sino que además la probabilidad de error de estimación converge exponencialmente a 0. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

14 Pero más interesante, si cambiamos la escala del error y consideramos P a ( M n a (aε/n)) = ( 1 ε/n ) n n e ε Esto nos dice que n a (a M n) converge en distribución a exp(1). Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

15 b) Aproximación normal: el teorema del ĺımite central Recordemos que el teorema del ĺımite central (TLC) afirma que para una variable Z n que sea suma (o promedio) de n variables iid (con varianza finita), la versión tipificada de Z n converge en distribución a la normal estándar. Aplicación básica. Media muestral X como estimador de E(X ) para una variable general con E(X 2 ) < +. Si X tiene E(X ) = µ y V(X ) = σ 2, entonces n(x µ) converge en distribución a N (0, σ 2 ), Así que, para n grande, P( X µ ε) = P( n (X µ) nε) 2 ( 1 Φ( nε/σ) ). En el caso en el que X sea normal, el es un =. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

16 Un ejemplo adicional. Cuasivarianza muestral S 2 como estimador de σ 2 para una variable N (µ, σ 2 ). Una χ 2 n 1 es una suma de n 1 variables idénticas e independientes (cuadrados de normales estándar). Su esperanza es n 1 y su varianza 2(n 1). Por el teorema del ĺımite central tenemos que (n 1)S 2 (n) σ 2 (n 1) 2(n 1) converge en distribución a N (0, 1). Esto nos daría que, para n grande, ( P( S(n) 2 σ2 ε) 2 1 Φ ( ε n 1) ). 2 σ 2 Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

17 c) El método delta Con frecuencia, el estadístico T n para estimar un cierto parámetro es una cierta función de X, por ejemplo, 1/X. O de X 2, como X 2. Teorema 3 (Método delta) Sea Z n una sucesión de variables aleatorias en un espacio (Ω, P) tal que n (Zn µ) converge en distribución a N (0, σ 2 ) Sea g una función continua en R, C 2 en un intervalo que contiene a µ y tal que g (µ) 0. Entonces n (g(zn ) g(µ)) converge en distribución a N (0, g (µ) 2 σ 2 ) Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

18 (Idea de la) demostración. Se tiene que n (Zn µ) σy, donde Y normal estándar. Obviemos. Así Z n = µ + σ n Y. Obsérvese que Z n será proximo a µ para n grande. Por otro lado, g(x) g(µ) + g (µ)(x µ), si x próximo a µ. Obviemos. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

19 Combinando, tenemos que g(z n ) = g(µ) + g (µ) (Z n µ) = g(µ) + g (µ)σ n Y. Es decir, n (g(zn ) g(µ)) = g (µ) σ Y. Es decir, como la normal estándar es simétrica, n (g(z n ) g(µ)) es una normal de media 0 y varianza g (µ) 2 σ 2. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

20 Ejemplo 1. Estimador 1/X del parámetro λ para X exp(λ). Recordemos que E λ (X ) = 1/λ y que V λ (X ) = 1/λ 2. Denotemos X (n) a la media muestral de tamaño n. Por el teorema del ĺımite central, n ( X (n) 1 λ) converge en distribución a N ( 0, 1 λ 2 ). Consideremos ahora g(x) = 1/x para x (0, + ). Obsérvese que Entonces, por el teorema 3, ( 1 ) n λ X (n) g (µ) 2 = g (1/λ) 2 = λ 4. converge en distribución a N ( 0, λ 2). Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

21 Ejemplo 2. X ber(p). Se tiene que E(X ) = p. Para estimar p, tomamos la media muestral X (n). El TLC nos dice que n ( X (n) p ) converge en distribución a N ( 0, p(1 p) ), Pero para estimar el parámetro q = p/(1 p) ( odds a favor ), tomaríamos X (n) 1 X (n) Consideramos g(x) = x/(1 x) para x (0, 1). Se tiene que g (p) = 1/(1 p) 2. Entonces ( X (n) n p ) 1 X (n) 1 p converge en distribución a ( p ) N 0, (1 p) 3, Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

22 Ahora queremos estimar el parámetro p(1 p) (la varianza). Usamos X (n) (1 X (n) ). Consideramos, en x (0, 1) para la que g (x) = 1 2x. g(x) = x(1 x) Esto nos da, si p 1/2, n ( X (n) (1 X (n) ) p(1 p)) d N ( 0, (1 2p) 2 p(1 p) ), Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

23 Pero, y si p = 1/2? En este caso, g (p) = 0. Teorema 4 (Método delta con g (µ) = 0) Sea Z n una sucesión de variables aleatorias en un espacio (Ω, P) tales que n(zn µ) converge en distribución a N (0, σ 2 ). Sea g una función continua en R, C 3 en un intervalo que contiene a µ y tal que g (µ) = 0, pero g (µ) 0. Entonces n (g(z n ) g(µ)) converge en distribución a g (µ)σ 2 2 χ 2 1 Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

24 Demostración. Los = que siguen son en realidad. Primero, g(x) g(µ) = 1 2 g (µ)(x µ) 2 Además, Z n µ = σ n Y, con Y normal estándar. Concluimos que Es decir, g(z n ) g(µ) = 1 2 g (µ) σ2 n Y 2 n (g(z n ) g(µ)) = g (µ)σ 2 2 Y 2 Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25

25 Para la función g(x) = x(1 x), tenemos que g (x) = 2. En el caso p = 1/2 tenemos E(X ) = 1/2 y V(X ) = 1/4. La conclusión, vía el teorema 4, es que, si p = 1/2, entonces ( ) n X (n) (1 X (n) ) p(1 p) converge en distribución a 1 4 χ2 1. Pablo Fernández Gallardo (UAM) Estadística I, November 4, / 25