Curso Inferencia. Miguel Ángel Chong R. 17 de septiembre del 2013

Transcripción

1 Curso Estadística Miguel Ángel Chong R. 17 de septiembre del 2013

2 Estimador insesgado de minima varianza Definición Estimador insesgado uniformemente de mínima varianza. Diremos que el estimador insesgado ˆ 0, es insesgado y uniformemente de mínima varianza (UMVUE) para el parámetro, si dado cualquier otro estimador insesgado ˆ de él, se verifica que Var(ˆ 0 ) apple Var(ˆ ) para todos los valores posibles de. Para llegar a obtener el UMVUE, si es que éste existe, tendríamos calcular las varianzas de todos los estimadores insesgados para y quedarnos con el estimador que tenga la varianza más chica. Afortunadamente existe un resultado que nos garantiza que existe una cota inferior para la varianza de un estimador. Si bien no nos da este resultado el estimador de mínima varianza, sí nos dice si hemos alcanzado la cota o no.

3 Las condiciones de regularidad sobre f (x; ) son: i) El modelo f (x; ) para la distribución de la población es tal que el soporte de f no depende de, esdecir que los puntos tales que f (x) > 0noesunintervalo que depende de. ii) La funcion ln(f (x; )) es dos veces diferenciable y continua, es decir, de clase C 2. iii) Las operaciones de derivación e integración (o suma en caso discreto) son intercambiables

4 Cota inferior de Cramer y Rao Sea (X 1,...,X n)unamuestraaleatoriadetamafion, deunapoblaciónconfunciónde densidad f (x; ). Entonces la función de densidad conjunta de la muestra cumple con que Z R L (x 1,...,x n; ) = f (x 1,...,x n; ) Z f (x 1,...,x n; ) dx 1...dx n = 1. R Por otro lado, sea ˆ = g (X 1,...,X n)unestimadorinsesgadoparaelparámetro. Ysisecumplenlascondicionesderegularidad,entonceslavarianzadelestimadorestá acotada inferiormente de la siguiente manera Var ˆ = 1 ln f (x; ) 2 1 h ne 2 ln f (x; 2 A E ln f (x; ) 2 se le conoce como la información de

5 Si el estimador ˆ hubiera sido sesgado, es decir i E hˆ = + B(ˆ ), en donde B(ˆ ) es el sesgo del estimador, entonces la Cota Inferior de Cramer y Rao tiene la forma Var(ˆ ) 2 1+B ˆ 0 apple 2, ln f (x; siendo B 0 (ˆ ) laderivadarespectode del sesgo del estimador.

6 Observaciones Si el modelo de población, X es una variable aleatoria discreta, en vez de usar la función de densidad f (x; ) usamos la función de masa de probabilidad P (X = x). La Cota Inferior de Cramer Rao (CICR) nos da un ĺımite inferior para la varianza del estimador ˆ.

7 Estimador eficiente La propiedad de eficiencia de un estimador la definiremos comparando su varianza con la varianza de los demás estimadores insesgados. Así pues, el estimador más eficiente entre un grupo de estimadores insesgados será el que tenga menor varianza. Definición Estimador eficiente. Un estimador ˆ del parámetro poblacional, es eficiente si es insesgado y además su varianza alcanza la CICR, es decir Var(ˆ ) = 1 apple ln f (x; 2

8 Definición Eficiencia de un estimador. La eficiencia de un estimador insesgado, ˆ del parámetro como e (ˆ ) = CICR, Var ˆ donde e (ˆ )apple1. Por otro lado, si tenemos dos estimadores insesgados ˆ 1 y ˆ 2 con respecto a el parámetro, diremos que el estimador ˆ 1,esmás eficiente que el estimador ˆ 2,siseverifica oequivalentemente e (ˆ 1 ) e (ˆ 2 ), Var(ˆ 1 ) apple Var(ˆ 2 ).

9 Eficiencia relativa. Dados dos estimadores insesgados ˆ 1 y ˆ 2 del parámetro, definimos la eficiencia relativa de ˆ 1 a ˆ 2 como e. relat ˆ 1, ˆ 2 = Var ˆ 2 = Var ˆ 1 e e ˆ 2 ˆ 1. Yporlotantosi e. relat ˆ 1, ˆ 2 8 >< < 1 ˆ 2 es más eficiente que ˆ 1 =1 ˆ 1 y ˆ 2 son igual de eficientes >: > 1 ˆ 1 es más eficiente que ˆ 2

10 Definición Estimador asintóticamente eficiente. Diremos que un estimador ˆ es asintóticamente eficiente si se verifica ĺım n!1 CICR = 1. Var ˆ

11 Estimador consistente Hasta ahora hemos considerado las propiedades de los estimadores puntuales usando una muestras aleatorias de tamaño n, con n fijo. Parece lógico suponer que un estimador será mejor en la medida que el tamaño de muestra n aumente. Además usando el teorema de Glivenko-Cantelli que nos dice que para una muestra aleatoria X 1, X 2,...,X n proveniente de una población con función de distibución F (x). Si a partir de la muestra calculamos la función de distribución empirica F n(x) = 8 0 x 2 1, X (1) >< u x 2 X n (u), X (u+1) y u 2{1,...,n 1} >: 1 x 2 X (n), 1. Entonces d n = sup F (x) F n(x) entonces P ĺım x n!1 dn =0 =1. Es decir, que cuando el tamaño de la muestra es suficientemente grande entonces la distribución de la muestra se parece mucho la de la población y por el valor del estimador tiende a coincidir con el valor del parámetro.

12 Sean ˆ 1, ˆ 2,...,ˆ n una sucesión de estimadores del parámetro, obtenidos a partir de muestras de tamaño 1, 2,...,n, respectivamente, es decir: ˆ 1 = g (X 1 ) ˆ 2 = g (X 1, X 2 ). ˆ n = g (X 1, X 2,...,X n ), de manera que el estimador basado en la muestra de tamaño n lo notaremos por ˆ n, en donde el subíndice n lo empleamos para hacer más evidente la dependencia del tamaño muestral. En o general esta sucesión de estimadores se representa por nˆ n.

13 Definición Estimador consistente. o Diremos que una sucesión de estimadores nˆ n es consistente, si la sucesión converge en probabilidad hacia el parámetro. Esdecir,si ĺım P ˆ n < n!1 = 1 y cada elemento de la sucesión se dirá que es un estimador consistente.

14 Ejemplo Si se lanzara una moneda n veces que tiene probabilidad p de ser águila, entonces Y, el número de águilas en los n lanzamientos, tiene una distribución binomial. Si p es desconocido se puede estimar con Y /n. Qué pasa con esta proporción muestral si aumenta el número de lanzamientos n? IntuitivamentesepensaríaqueY /n debería estar más cerca de p. Esto en términos de probabilidad se escribe así P Y p apple. n Esta probabilidad debería ser cercana a la unidad para valores grandes de n. Si la probabilidad de arriba tiende a uno cuando n!1entonces Y /n es un estimador consistente de p. En general un estimador ˆ de es consistente si para cualquier número positivo, lim P ˆ n apple =1. n!1

15 Suficiencia Cuando hacemos inferencia sobre un parámetro, usando una muestra aleatoria (X 1,...,X n )yunestadísticoˆ (X 1,...,X n )que resume la información proporcionada por la muestra. Podríamos preguntarnos lo siguiente: El resumen que realiza ˆ (X 1,...,X n ) con respecto a (X 1,...,X n ) es tal que no se pierde información que pudiera contener la muestra acerca del (los) parámetro(s) poblacional(es)? Según Fisher, un estadístico es suficiente para hacer inferencia sobre un parámetro, si resume el conjunto de información relevante suministrada por la muestra y ningún otro estadístico (otra función de la muestra) puede proporcionar información adicional a cerca del parámetro desconocido.

16 Definición Estadístico suficiente Un estadístico es suficiente respecto al parámetro si la distribución de probabilidad de la muestra (X 1,...,X n ) condicionada al estadístico no depende del parámetro. Es decir F (X 1,...,X n ) ˆ (X 1,...,X n ) = t) nodependede

17 Existe otra manera que nos permitirá de manera más fácil decir si un estadístico es suficiente. Teorema de Factorización Una condición necesaria y suficiente para que el estadístico ˆ (X ) sea suficiente, es que la función de verosimilitud de la muestra la podamos escribir de la siguiente forma ny L( ; X )= f (x i ; ) i=1 = g ˆ (X ); h(x ) donde g(ˆ (X ); ) dependedelparámetroydelamuestra,através del estadístico ˆ (X ), y h(x ) no depende de.

18 Teorema Si el estadístico ˆ 1 (X ) es suficiente y existe una función inyectiva tal que ˆ 2 (X )=f ˆ 1 (X ) entonces el estadístico ˆ 2 (X ) es también suficiente. Demostración Por ser f inyectiva tenemos que si ˆ 2 (X )=f ˆ 1 (X ) entonces está bien definida ˆ 1 1 (X )=f ˆ 2 (X ). Por otro lado como ˆ 1 (X ) es suficiente tenemos que donde g 1 ˆ 2 (X ); = g f. L( ; X) = g ˆ 1 (X ); h(x ) 1 ˆ 2 = g f (X ) ; h(x ) = g 1 ˆ 2 (X ); h(x ), 1 ˆ 2 (X );. Entonces ˆ 2 (X ) es suficiente para De manera intuitiva podríamos entender este resultado como, si ˆ 1 (X ) se puede calcularse a partir de ˆ 2 (X ), entonces el conocimiento de ˆ 2 (X ), debe ser al menos tan bueno como el de ˆ 1 (X ).

19 Notemos que un recíproco al último teorema sería el siguiente: Si los estadísticos estadisticos ˆ 1 (X )yˆ 2 (X ) son suficientes para el parámetro entonces están relacionados funcionalmente, es decir uno se puede ver como una función del otro.

20 Ahora si una distribución depende de dos parámetros 1 y 2,tambiénpodemos encontrar vía el criterio de factorización estimadores suficientes ˆ 1 (X )yˆ 2 (X )para 1 y 2 respectivamente, esto es lo que nos dice el siguiente resultado. Teorema Los estadísticos ˆ 1 (X )yˆ 2 (X ) son conjuntamente suficientes para 1 y 2 respectivamente si solo si L( 1, 2 ; X )=g 1 ˆ 1 (X ); 1 g 2 ˆ 2 (X ); 2 h(x) donde g 1 ˆ 1 (X ); 1 depende del parámetro 1 ydelamuestra,atravésdelestadístico ˆ 1 (X ), g 2 ˆ 2 (X ); 2 depende del parámetro 2 ydelamuestra,atravésdelestadístico ˆ 2 (X )y h(x ) no depende de.

21 Suficiencia Minimal A continuación veremos un método general para encontrar un estadístico que resuma la información de la muestra lo más posible y sin pérdida de información sobre el parámentro, y a este estadístico lo llamaremos suficiente minimal. Definición Estadístico suficiente y minimal Un estimador es suficiente minimal, si es suficiente y cualquier reducción de la información definida por el ya no es suficiente, es decir desprecia información que está contenida en la muestra, acerca del parámetro.

22 Existe un método general 1 para encontrar estadístico(s) suficiente(s) minimal(es), este método supone la existencia de dos muestras aleatorias de tamaño n, X =(X 1 = x 1,...,X n = x n )y Y =(Y 1 = y 1,...,Y n = y n ), y se calcula el cociente de sus verosimilitudes, es decir Q n i=1 f (x i; ) Q n i=1 f (y i; ) = L( ; X ) g ˆ (X ); h (X ) L( ; X ) =. g ˆ (Y ); h (Y ) Para que esta última igualdad no dependa del parámetro necesitamos que g ˆ (X ); = g ˆ (Y );, y entonces diremos que ˆ (X )essuficienteyminimalpara. 1 Debido a Lehmann y She é