1 Consistencia de M-estimadores

Transcripción

1 Cosistecia de M-estimadores Supogamos que se tiee ua familia de desidades p(x; ) discreta o cotiua dode 2 R. Tomemos ua fució (x; ) : R 2 R llamemos (; ) = E ( (x; )). Supodremos que para todo 2 se cumple (; ) = 0 Esta codició será llamada "cosistecia de Fisher ". Dada ua muestra aleatoria X ; :::; X de p(x; ); el correspodiete M- estimador b de se de e como la solució de (X i ; b ) = 0 () Teorema. Supogamos que (x; ) es estrictamete moótoa (creciete o decreciete ) cotiua respecto de. Sea X ; :::; X ua muestra aleatoria co desidad p(x; 0 ) Luego b coverge a casi seguramete. Demostració Vamos a supoer que (x; ) es estrictamete creciete como fució de : La demostració para el caso decreciete es similar. Llamemos (; ) = E ( (x; )) Es imediato que (; ) es estrictamete moótoa como fució de b está de ido por (X i ; b )) = 0 Sea L () = (X i ; )) Tomemos " > 0:: Vamos a mostrar que co probabilidad existe 0 tal que para 0 se tiee 0 " b 0 + " Por la mootoía teemos de teemos ( 0 ; 0 ") < ( 0 ; 0 ) = 0 < ( 0 ; 0 + ") De amos Luego > 0 = mi(( 0 ; 0 + "); ( 0 ; 0 ")): ( 0 ; 0 ") ( 0 ; 0 + ")

2 Como L ( 0 + ") coverge casi seguramete a ( 0 ; 0 + ") co probabilidad existe tal que para todo L ( 0 + ") =2 como L ( 0 ") coverge casi seguramete a ( 0 ; 0 ") existe 2 tal que para todo 2 L ( 0 ") =2 Luego como L es estrictamete creciete cotiua, si 0 = max( ; 2 ); para todo 0 existe u úico valor b tal que L ( b ) = 0 ese valor tiee que satisfacer 0 + " b 0 ".. Estimadores basados e mometos. El estimador de los mometos se de e por Luego si de imos g(x i ) = E (g(x i )) (x i ; ) = g(x i ) E (g(x i )) teemos Observemos que se tiee (g(x i ) E (g(x i ))) = 0 (x i ; ) = 0 (; ) = E ( (x; )) = E (g(x)) E (g(x)) = 0 por lo tato se cumple la codició de cosistecia de Fisher. Para que se cumpla la cosistecia habrá que pedir que E (g(x)) sea ua fució cotiua estrictamete creciete..2 Estimador de maxima verosimilitud. El estimador de máxima verosimilitud satisface co X 0(x; ) = 0(x i ; ) = 0 ) (2) 2

3 Hemos mostrado que bajo las codicioes de la desigualdad de Rao-Cramer (; ) = E ( 0 (x; )) = 0: Luego si 0 es estrictamete moótoa cotiua, tambie es fuertemete cosistete. La hipótesis de cotiuidad mootoicidad puede relajarse. Tambié la cosistecia fuerte es valida para el caso que se estime varios parámetros simultaeamete. 2 Asitótica ormalidad de los M-estimadores. Cosideremos u M-estimador b de ido por () Teorema.Supogamos que () (x; ) tiee dos derivadas cotiuas despecto de : (2) b p 0 (3) E 0 ( 2 (x; 0 )) < (4) (xi ; 0 ) E 6= 0 (5) Existe " > 0 (x) tal que sup 2 (x i ; 0 ) 2 (x) Luego se tiee que dode Demostracio Teemos j =2 ( b 0j" E((x)) < 0 ) N 0; A( ; 0) B 2 ( ; 0 ) A( ; ) = E ( 2 (x; )) (x; ) B( ; ) = E (x i ; b ) = 0 luego desarrollado e serie de Talor e el puto 0 se tiee 0 = (x i ; b (x i ; 0 ) ) = (x i ; 0 ) + ( b 0 )+ 2 (3) 2 (x i ; ) 2 ( b 0 ) 2 3

4 Por lo tato " (x i ; 0 ) = por lo tato (x i ; 0 ) + 2 # 2 (x i ; ) 2 ( b 0 ) ( b 0 ) ( b 0 ) = P (x i; 0) P (x i; 0 ) + b 0 2 P 2 (x i; ) 2 dode =2 ( b 0 ) = = Vamos a mostrar que P (x i; 0) =2 P (x i ; 0 ) P (x i; ) 2 ( b 0 ) A B + C (4) A = =2 B = C = b 0 X (x i ; 0 ) (x i ; 0 ) 2 (x i ; ) 2 A D N(0; A( ; 0 ); (5) B B( ; 0 ) c.s. (6) C P 0 (7) Comecemos mostrado (5). Esto se deduce imediatamete del Teorema Cetral del Límite observado que E 0 ( (x i ; 0 )) = 0; var 0 ( (x i ; 0 )) = A( ; 0 ) Por otro lado (6) se deduce imediatamete de la le fuerte de los grades úmeros. Llamemos D = 2 (x i ; ) 2 4

5 Sea U = fj b j "g sea h = E((x)): Llamemos U c al complemeto de U : Luego P (D h + ) = P (fd h + g \ U g + P (fd h + g \ U c ) P (F h + ) + P (U c ) Por la le de los grades úmeros F h = h c.s. Como además j 0 j j b 0 j, cuado ocurre U se tiee que j 0 j " etoces D F ; ; resulta P (F h + ) 0 por la hipótesis 2 se obtiee P (U c ) 0 Luego Luego dado > 0 P (D h + ) 0 (8) por lo tato fjc j > g fd h + g [ fj b 0 j =(h + )g P (jc j > ) P (D h + ) + P (j b 0 j =(h + )) Usado (8) la hipótesis (5) se tiee por lo tato (7) se cumple P (C > ) 0 De (4) (5), 6) (7) por Slutzk resulta que =2 ( b 0 ) N 0; A( ; 0) B 2 ( ; 0 ) 2. Estimadores basados e mometos Apliquemos el teorema a los estimadores basados e mometos. Luego las hipotesis se trasforma e () E g(x; ) tiee dos derivadas cotiuas despecto de : (2) b p 0 (3) E 0 (g 2 (x)) < (4) g(xi ; 0 ) E 6= 0 5

6 (5) Existe " > 0 tal que j sup 0j" 2 E (g(x)) 2 =0 E este caso g(xi ; 0 ) A( ; ) = var (g(x)); B( ; ) = E 2.2 Estimador de máxima verosimilitud E el caso del estimador de máxima verosimilitud por 2) luego A( 0 ; ) = I() se tiee que = 0 dada El siguiete teorema muestra quie es B( 0 ; ) Teorema. Si se cumple las hipótesis de Rao Cramer etoces B( 0 ; ) = I(): Demostració. Teemos que es decir E ( 0 (x; ) ) = 0 I S (x) p(x; )dx = 0 dode S = fx : p(x; ) > 0g: Derivado uevamete detro de la itegral tiee I S (x) 2 p(x; )dx + I S (x) Luego I S (x) p(x; ) dx = I S (x) = E = I() se p(x; ) dx = 0 (9) 2 2 p(x; )dx reemplazado e (9) se obtiee I S (x) 2 p(x; )dx = I() 6

7 luego (x; 0 ) B( 0 ; ) = E = I S (x) 2 p(x; )dx = I() Esto demuestra el Teorema. Corolario. Bajo las codicioes -5 las hipotesis de Rao Cramer, el estimador de máxima verosimilitud b satisface =2 ( b 0 ) N 0; I() El siguiete Teorema muestra que cualquier otro M-estimador tiee ua variaza maor que el estimador de máxima verosimilitud. Teorema. Supogamos que se cumpla las codicioes de Rao Cramer. Luego (a) si b es u M-estimador etoces A( ; ) B 2 ( ; ) I() (b). La igualdad se cumple si b coicide es el M-estimador correspodiete a (x; ) tal que P ( (x; ) = 0 (x; )) = luego b coicide co probabilidad co el estimador de máxima verosimilitud Demostració. Como E ( (x; )) = I S (x) (x; )p(x; )dx = 0 derivado se obtiee (x; 0 ) I S p(x; )dx + I S (x) (x; ) p(x; dx = 0 7

8 (x; 0 ) B( ; ) = E (x; 0 ) = I S p(x; )dx p(x; ) = I S (x) (x; ) dx log p(x; = I S (x) (x; ) p(x; )dx I S (x) (x; ) 0 (x; )p(x; )dx Como E ( (x; )) = E ( 0 (x; )) = 0; se tiee B( ; ) = cov ( (x); 0 (x)) por la desigualdad de Cauch-Schwarz se tiee B 2 ( ; ) var ( (x))var ( 0 (x)) Pero como var ( (x)) = A( ; ) var ( 0 (x)) = I() se tiee luego B 2 ( ; ) A( ; )I() A( ; ) B 2 ( ; ) I() Esto prueba (a) Para probar (b) observemos que la igualdad se cumple si solo si P ( (x) = A() 0 (x) + B()) = Pero como E (A() 0 (x) + B()) = A()E ( 0 (x)) + B() = B() = 0 Resulta que B() = 0: Pero es imediato que A() 0 (x) de e el mismo estimador que 0 (x): Luego b coicide co el estimador de máxima verosimilitud co probabilidad. 8