Estadística Estimadores Putuales: Propiedades de estimadores Sebastiá Court 1.Motivació Cosideremos ua variable aleatoria X co ciertas características, como por ejemplo, u parámetro θ, y ua muestra aleatoria de dicha variable (digamos X 1,..., X ). Dado que o coocemos el valor del parámetro θ, sería deseable estimarlo cosiderado ua fució T que depeda sólo de los elemetos coocidos, es decir, uestra muestra. Si embargo, deseamos que el estimador T de θ se comporte aproximadamete como θ. A primera vista parece razoable teer u estimador que tega el meor error posible. Luego si tego 2 estimadores T 1 y T 2 la elecció atural será escoger el estimador, por ejemplo, co la meor diferecia e promedio etre θ y el estimador, pero dado dicho promedio podría ser cero, luego os coviee escoger la diferecia al cuadrado y promediar. Lo aterior da paso a la siguiete defiició: Defiició 1 Sea T u estimador de u parámetro descoocido θ. Se defie el error cuadrático medio como el valor esperado del cuadrado de la diferecia etre T y θ. ECM(T ; θ) = E[(T θ) 2 ] Notemos que lo aterior, lo podemos escribir como: ECM(T, θ) = E[(T θ) 2 ] = E(T ) 2θE(T ) + θ 2 = Var(T ) + [E(T )] 2 2θE(T ) + θ 2 = Var(T ) + [θ E(T )] 2 El problema es ecotrar ua fució T = u(x 1,..., X ) que sólo depeda de la muestra y que etregue la mejor estimació de θ. Para buscar dicho estimador, se utilizará el llamado error cuadrático medio. Si embargo, dicho criterio preseta ua dificultad crucial, que es que el error cuadrático medio puede variar depediedo de los valores que tome θ. Para ilustrar lo aterior, cosideremos el siguiete ejemplo: Sea X 1,..., X ua muestra aleatoria de algua distribució tal que E(X i ) = µ y Var(X i ) = σ 2, i = 1,...,. Cosidere los siguietes dos estimadores de µ: T 1 = X y T 2 = 1 + 1 Aalizaremos los errores cuadráticos medios. Notemos que E(T 1 ) = µ, luego De maera aaloga para T 2 se obtiee que X i ECM(T 1 ) = Var(T 1 ) + (E(T 1 ) µ) 2 = σ2 ECM(T 2 ) = σ2 + µ 2 ( + 1) 2. 1
Si cosideramos el caso particular = 10 y σ 2 = 100, etoces y ECM(T 1 ) = 10 ECM(T 2 ) = 1000 + µ2, 121 luego si µ < 210 se tedrá que ECM(T 2 ) < ECM(T 1 ), pero si µ > 210 etoces ECM(T 2 ) > ECM(T 1 ). Cuál elegimos? E este caso podría ser útil examiar otros criterios para decidir cual de los dos estimadores es u mejor estimador para µ. 2.Sesgo de u Estimador Recordemos que el error cuadrático medio se puede escribir como: ECM(T, θ) = Var(T ) + [θ E(T )] 2 E la expresió aterior, la diferecia (θ E(T )) se deomia sesgo del estimador T. Dado que este valor aparece e la fórmula del error cuadrático medio, es deseable que sea lo más pequeño posible e valor absoluto. Lo aterior se traduce e que, e promedio, T sea lo más cercao a θ posible. Siguiedo la lógica aterior, teemos que: Defiició 2 U estimador T = u(x 1,..., X ) se dice isesgado si E(T ) = θ. Para ejemplificar la situació aterior, cosideremos ua muestra aleatoria X 1,..., X co E(X i ) = µ y Var(X i ) = σ 2, y T 1 = X y T 2 = 1 (X i X) 2 como estimadores de µ y σ 2 respectivamete. Notemos que Por lo tato, X es u estimador isesgado para µ. Si embargo, otemos que para T 2 teemos que: E(T 2 ) = E( 1 E(T 1 ) = E( 1 X i) (X i X) 2 ) = 1 E( X i) = 1 E(X i) = 1 µ = µ = 1 E ( [(X i µ) (X µ)] 2) = 1 E ( (X i µ) 2 (X µ) 2) = 1 E((X i µ) 2 ) E((X µ) 2 ) [ ] = 1 σ2 σ2 pues Var(X i ) = σ 2, Var(X) = σ2 = 1 σ2 2
Por lo tato T 2 es u estimador sesgado para σ 2, pero lo aterior se puede solucioar cosiderado como estimador de σ 2 a T 3 = 1 1 (X i X) 2, ya que e ese caso E(T 3 ) = σ 2. Es por esta razó que geeralmete se ve calcula la variaza muestral dividiedo por 1 e vez de por. 3.Estimadores Cosistetes Ituitivamete, otra característica deseable para u estimador de u parámetro θ es que, os proporcioe ua mejor estimació si os basamos e 30 observacioes que si lo hacemos e sólo 5. Formalmete, si teemos ua sucesió de estimadores T (dode es el tamaõ de la muestra), deseamos que se acerque, e algú setido, a θ a medida que crece. Bajo esta idea podemos defiir la oció de cosistecia. Defiició 3 Sea T ua estimador para θ y sea T 1, T 2,..., T,... ua secuecia de estimadores de θ que represeta a T e base a muestras de tamaño 1, 2,...,,... respectivamete. Se dice que T es cosistete para θ si ε > 0: lím P( T θ ε) = 1 Si embargo, verificar la codició de cosistecia es algo complicado, y por esta razó se verifica codicioes más fuertes como covergecia e media cuadrática, es decir que: Lo aterior da orige al siguiete resultado: lím E[(T θ) 2 ] = 0 Proposició 1 Si T es u estimador tal que: lím E(T ) = θ lím Var(T ) = 0 etoces T es u estimador cosistete para θ. U estimador que cumpla la primera igualdad euciada e la proposició (i.e. lím E(T ) = θ) es llamado asitoticamete isesgado. Notar que la proposició aterior sólo etrega ua codició suficiete, y por lo tato o os sirve para probar que u estimador NO es cosistete. Si embargo, la siguiete proposició os da u criterio para este caso. Proposició 2 Si T es u estimador cosistete de θ y E(T ) es fiito etoces T es asitóticamete isesgado. 4.Estimadores Eficietes E lo que sigue os restriguiremos al caso de estimadores isesgados. E este caso tedremos que ECM(T, θ) = Var(T ) y buscaremos u estimador que tega la meor variaza posible etre todos los estimadores. Para formalizar lo aterior, defiamos la oció de eficiecia. 3
Defiició 4 T 1 es u estimador más eficiete de θ que T 2 si Var(T 1 ) Var(T 2 ), cumpliedose co desigualdad estricta para algú valor de θ. Nota: Cuado los estimadores so sesgados, se emplea los errores cuadráticos medios para determiar eficiecias relativas. El problema de como ecotrar u estimador de miima variaza se facilita bastate utilizado la llamada cota de Cramer-Rao. Ates de euciar dicho teorema, es importate defiir alguas fucioes importates: Defiició 5 Se defie la catidad de iformació de Fischer dada por la variable aleatoria X sobre el parámetro θ como la fució: [ ( ) ] 2 l f(x; θ) I(θ) = E De la misma forma podemos defiir ua catidad similar para ua muestra X 1,..., X. Defiició 6 Se defie la catidad de iformació de Fischer dada la muestra aleatoria X 1,..., X sobre el parámetro θ como la fució: [ ( ) ] 2 l f (X; θ) I (θ) = E Es importate otar que las últimas dos defiicioes se puede relacioar mediate la fórmula I (θ) = I(θ) (cuado el domiio de X o depeda de θ) Nota: Cada vez que aparezca la hipótesis que el domiio de X o depeda de θ esta se puede reemplazar por la siguiete hipotesis: f(x, θ) f(x, θ)dx = dx. D D E otras palabras, la iformació de Fischer e ua muestra aleatoria de observacioes es simplemete veces la iformació de Fischer e ua sola observació. Otras propiedades de la iformació de Fischer so: Propiedad 1 Si el domiio de X o depede de θ se tiee que: ( ) l f (X; θ) I (θ) = Var ( 2 ) l f (X; θ) I (θ) = E 2 Ahora, estamos e codicioes de euciar el teorema que os ayudará a ecotrar estimadores eficietes para u parámetro. 4
Teorema 1 Sea X 1,..., X ua muestra aleatoria de ua distribució co desidad f(x; θ) tal que el domiio de X o depeda de θ. Si T es u estimador isesgado de θ, etoces la variaza de T debe satisfacer Var(T ) 1 I(θ) Notemos que el teorema aterior establece ua cota iferior para la variaza de u estimador de θ. Si embargo, el teorema aterior o dice que el estimador de míima variaza sea igual a la cota iferior de Cramer-Rao. E otras palabras, es posible ecotrar u estimador isesgado de θ que tega la variaza más pequeña posible de etre todos los estimadores isesgados de θ, pero cuya variaza es más grade que el límite iferior de Cramer- Rao. E el caso especial e que se tiee la igualdad co la cota de Cramer-Rao, se tiee la siguiete defiició: Defiició 7 Si T es u estimador isesgado del parámetro θ tal que etoces se dice que T es u estimador eficiete de θ. Var(T ) = 1 I(θ) Co lo aterior, teemos que u estimador isesgado será eficiete si es el de míima variaza y además es igual al límite iferior de Cramer-Rao. Dicho estimador de θ será el mejor estimador isesgado de θ. 5