6.3. Estimadores Insesgados de Varianza Uniformemente Mínima

Transcripción

1 6.3. Estimadores Insesgados de Varianza Uniformemente Mínima El objetivo en esta parte será encontrar al mejor estimador de τ(θ), bajo algún criterio. Primero que nada podríamos pensar en encontrar al estimador T(X) = T(X 1,X,...,X n ) que tenga el menor error cuadrático medio(ecm τ(θ) (T(X))) para estimar τ(θ), sin embargo aquí surgen dos problemas, el primero es que tenemos un espacio mu grande de estimadores para τ(θ) el segundo es que ECM τ(θ) (T(X)) = V ar(t(x)) + (E(T(X)) τ(θ)) (6.1) por lo tanto tendríamos que encontrar estimadores que controlen su sesgo su varianza, lo cual resulta mu difícil. Entonces lo que se decide hacer es limitar la búsqueda de estimadores para τ(θ), sólo a los que son insesgados para τ(θ) dentro de esta clase, de 6.1, podemos ver que lo que tenemos que hacer es encontrar al estimador que tenga la menor varianza, formalmente lo que buscamos es: Definición (UMVUE) Sea X 1,X,...,X n una m.a. de f X (x θ). Un estimador insesgado T(X) = T(X 1,X,...,X n ) de τ(θ) es un UMVUE para τ(θ) si sólo si 1. E(T(X)) = τ(θ) (T(X) es un estimador insesgado para τ(θ)). V ar(t(x)) V ar(w(x)) para cualquier otro estimador W(X) de τ(θ) que cumpla que E(W(X)) = τ(θ) A los estimadores que cumplan con la definición anterior les llamaremos estimadores insesgados de varianza uniformemente mínima, en inglés esto suele abreviarse como UMVUE (uniforml minimum-variance unbiased estimator) a lo largo de estas notas nos referiremos a ellos con esta abreviación. Es claro que si buscamos el mejor estimador insesgado para τ(θ), el UMVUE es lo que debemos encontrar. Entonces lo que haremos en esta sección será dirigir nuestros esfuerzos para encontrar UMVUE s. Observación: A lo largo de estas notas X = (X 1,X,...,X n ) será un vector de variables aleatorias x = (x 1,x,...,x n ) serán los valores observados para esas variables aleatorias. Es importante hacer énfasis en este punto pues es fácil perderse no saber con respecto a quien ha que calcular una probabilidad, una esperanza o varianza Cota Inferior de Crámer-Rao Encontrar UMVUE s no es fácil, sin embargo tendremos varias herramientas a nuestra disposición para tal empresa, la primera de ellas es el siguiente Teorema 1 (Cota Inferior de Crámer-Rao) Sea X 1,X,...,X n una m.a. de f X (x θ) sea T(X) = T(X 1,X,...,X n ) cualquier estimador insesgado de τ(θ), si se cumplen ciertas condiciones de regularidad (las veremos más adelante), entonces la igualdad se da si sólo si existe una función k(θ,n) tal que ) ( τ(θ) θ V ar(t(x)) ( ) (6.) ne θ log f X(X θ) 1

2 log L(θ x) = k(θ,n)(t(x) τ(θ)) (6.3) θ Observación: La notación en el Teorema 1 juega un papel importante, ha que poner atención en que X siempre ( representa ) una v.a. de esta forma no debe quedar ninguna duda sobre respecto a quien calcular E θ log f X(X θ). A la cantidad que esta del lado derecho de la desigualdad 6. se le conoce como cota inferior de Crámer-Rao (CICR). Este teorema nos será útil en dos sentidos. Primero, mediante 6. tenemos una cota inferior para la varianza de cualquier estimador insesgado de τ(θ), entonces si estamos buscando el UMVUE para τ(θ) encontramos un estimador insesgado de τ(θ) cua varianza coincida con la CICR, hemos encontrado lo que estábamos buscando. Segundo, mediante 6.3 también tenemos condiciones claras sobre las cuales la varianza del estimador T(X) alcanza la CICR, entonces si logramos obtener una factorización como la que muestra 6.3 para nuestro τ(θ) de interés, también habremos encontrado el UMVUE para τ(θ). Las condiciones de regularidad para poder aplicar el Teorema 1 son las siguientes: ( ) E(T(X)) T(X) = E θ θ V ar(t(x)) < ( ) [( ) ] θ E log L(θ X) = θ θ θ log f X(x θ) f X (x θ) dx Ω Es claro que verificar las condiciones anteriores puede resultar mu difícil, sin embargo, podemos decir que estas siempre se cumplirán para una familia mu amplía de distribuciones; la familia exponencial, que describiremos al final de la parte de estimación puntual, pero por el momento diremos que inclue a las distribuciones: binomial, exponencial, gamma, poisson, normal muchas otras. Otro comentario importante es cuando no se puede aplicar el Teorema 1, en general no será aplicable cuando el dominio de f X (x θ) dependa de θ, por ejemplo para las variables uniformes continuas la cota inferior de Cramer-Rao no se podrá aplicar. Ejemplo: Sea X 1,X,...,X n una m.a. de f X (x λ) = e λ λ x con x =,1,,... Supongamos que nos interesa x! encontrar el UMVUE para τ(λ) = λ. Primero encontraremos la CICR utilizando la ecuación 6. luego utilizaremos la ecuación 6.3 para tratar de encontrar el estimador insesgado cua varianza alcanza la CICR. Se puede ver fácilmente que τ(λ) λ = 1 que log f X (X λ) = λ + X log(λ) log(x!) λ log f X(X λ) = 1 + X λ λ log f X(X λ) = X ( ) λ E λ log f X(X λ) = 1 λ E(X) = λ λ = 1 λ Entonces para cualquier estimador insesgado T(X) de τ(λ) se tiene que ( τ(λ) ) λ V ar(t(x)) ( ) = n 1 ne λ log f X(X λ) λ = λ n

3 Ahora vamos a utilizar la ecuación 6.3 L(λ x) = e λ λ xi x i! e nλ λ n xi x i! log L(λ x) = nλ + Entonces para este problema la ecuación 6.3 queda como n log L(λ x) = n + x i λ λ x i log λ log x i! = n ( x λ) λ En donde k(λ,n) = n, T(x) = x τ(λ) = λ, por lo tanto el estimador insesgado que alcanza la varianza λ establecida por la CICR sería T(X) = X. Entonces T(X) = X es el UMVUE para τ(λ) = λ Estadísticas Suficientes Completas La cota inferior de Crámer-Rao es una herramienta poderosa para encontrar UMVUE s, sin embargo, ha muchos casos en los que el UMVUE de τ(θ) existe sin embargo su varianza es estrictamente maor que la cota inferior de Crámer-Rao. Además, existen varias funciones de distribución para las cuales no podemos aplicar la cota inferior de Crámer-Rao pues no cumplen las condiciones de regularidad, en particular tenemos la distribución uniforme continua. Entonces necesitamos desarrollar métodos más robustas generales para encontrar UMVUE s, la herramienta de más alcance para este fin será el teorema de Lehmann-Scheffe que enunciaremos en esta sección, sin embargo, antes de este teorema necesitamos la siguiente: Definición (estadística completa) Sea X 1,X,...,X n una m.a. de f X (x θ) sea T(X) = T(X 1,X,...,X n ) una estadística, entonces diremos que T(X) es completa si sólo si E(g(T(X)) = P(g(T(X)) = ) = 1 θ (6.4) en donde g(t(x)) es cualquier función de T(X). Esta definición puede parecer irrelevante fuera de lugar, pero más adelante explicaremos su importancia, primero vamos a entender lo que dice. La definición establece que una estadística T(X) es llamada completa si para cualquier función de T(X) denotada como g(t(x)) se tiene que su valor esperado es cero (E(g(T(X)) = ) entonces con probabilidad uno para cualquier valor del parámetro θ esa función tiene que ser cero, g(t(x)) =. Observación: Para saber que forma tiene E(g(T(X)) e igualar a cero, necesitamos conocer la distribución de T(X), pues recordemos que g()p Y (Y = ) si Y es una v.a. discreta E(g(Y )) = g()f Y ()d si Y es una v.a. continua 3

4 Para la definición de estadística completa se tiene que Y = T(X) g(y ) = g(t(x)). Ejemplo: Sea X 1,X,...,X n una m.a. de una Bernoulli(p) con < p < 1, entonces sabemos que T(X) = X i Bin(n,p) vamos a probar que T(X) = n X i es una estadística completa para hacer las cosas más sencillas, renombraremos a la variable aleatoria como en la observación anterior, entonces sea Y = T(X) = X i Y Bin(n,p) así ha que probar que si E(g(Y )) = entonces P(g(Y ) = ) = 1 para < p < 1 cualquier función g. E(g(Y )) = ( ) n g() p (1 p) n = = n ( ) ( ) n p (1 p) n g() = 1 p = ( ) n g() r = p 1 p = en la última igualdad r = para cualquier p en (,1) entonces < r <. Para ver esto piensen a r como función de p en (,1), entonces r(p) es una función continua en (,1), si p r si p 1 r. Entonces tenemos un polinomio de grado n con variable r > coeficientes g() ( ) n para =,1,...,n que siempre es igual a cero, sin importar el grado del polinomio ni el valor de r. Como claramente para cualquier tenemos que ( n ) 1 entonces se tiene que tener g() = para =,1,...,n, de donde P(g(Y ) = ) = 1 para cualquier p en (,1). Podría pensarse que puede haber una combinación de g() para =,1,...,n positivos negativos de forma que n = g()( n ) r = sin embargo esto podría ser posible para cierta r fija pero el hecho de que se cumpla para cualquier r con r > asegura la afirmación anterior acerca de g(y ) Teorema (Lehmann-Scheffe) Sea X 1,X,...,X n una m.a. de f X (x θ) si 1. S(X) es una estadística suficiente para θ completa.. Sea T (X) = T (S(X)) otra estadística que es función de S(X) tal que E(T (X)) = τ(θ) T (X) es un UMVUE para τ(θ) es único Ejemplo:(Importante) Sea X 1,X,...,X n una m.a. de f X (x θ) = 1 θ 1 (,θ)(x) con θ >. Vamos a encontrar un UMVUE para τ(θ) = θ. El dominio de f X (x θ) depende de θ por lo que no podemos aplicar la cota inferior de Cramer-Rao, entonces vamos a emplear el Teorema. Utilizando el teorema de factorización encontraremos una estadística suficiente. 4

5 L(θ x) = f Xi (x i θ) = = 1 θ n = 1 1 θ 1 (,θ)(x i ) (6.5) 1 (,θ) (x i ) (6.6) θ n1 (,θ)(x (n) ) } {{ } g(x (n) θ) 1 (,x(n) )(x (1) ) } {{ } h(x 1,x,...,x n) Entonces a tenemos g(x (n) θ) h(x 1,x,...,x n ) de donde, por el teorema de factorización, la estadística suficiente para θ es S(X) = X (n). Ahora la pregunta es cómo llegamos de 6.6 a 6.7? Estamos obteniendo una m.a. de una distribución uniforme continua (,θ) pensemos que n > 1 (6.7) x i (,θ) i = 1,,...,n < x (1) < x (n) < x (n) < θ En donde x (1) x (n) son la observación más chica más grande respectivamente de la muestra observada. Ahora necesitamos saber si S(X) = X (n) es una estadística completa. Para esto necesitamos conocer la fdp de X (n), que viene dada por ( x ) ( n 1 1 f X(n) (x) = nf X (x) n 1 f X (x) = n 1 (,θ)(x)) θ θ Entonces si E(g(X (n) )) = (6.8) θ g(x)nx n 1 ( 1 θ) n dx = (6.9) g(x)x n 1 dx = (6.1) g(x)x n 1 dx = θ = (6.11) g(θ)θ n 1 = θ > (6.1) En 6.9 simplemente ocupamos la fórmula para el cálculo de la esperanza de g(x (n) ) e igualamos a cero, pues queremos saber si X (n) es una estadística completa. Como tenemos una expresión igualada a cero la integral es respecto a x, entonces ( 1 n θ) n salen de la integral despejamos, esto es lo que sucede de 6.9 a 6.1. De 6.11 a 6.1 derivamos con respecto a θ de los dos lados de la igualdad, ocupamos el Teorema Fundamental del Cálculo. Todos los pasos han sido válidos llegamos a que g(θ)θ n 1 = θ >, pero esto sucede si sólo si g(θ) = θ >, de donde obtenemos que P(g(X (n) ) = ) = 1 θ >, por lo que X (n) es una estadística completa. Hemos encontrado que X (n) es una estadística suficiente para θ completa entonces estamos a un paso de encontrar el UMVUE de τ(θ) = θ, sólo tenemos que encontrar una función de X (n) que sea insesgada para τ(θ). Esta es la parte más sencilla, observemos que E(X (n) ) = ( ( ) n ) 1 x nx n 1 dx θ 5

6 = n θ n x n dx = n n + 1 θ De donde n+1 n X (n) es un estimador insesgado de τ(θ) = θ que es función de una estadística suficiente para θ completa, entonces por el teorema es un UMVUE para τ(θ) = θ El ejemplo anterior es clásico para mostrar como se aplica el teorema de Lehmann-Scheffe, un ejercicio extra que vale la pena realizar es calcular V ar( n+1 n X (n)) encontrar la cota inferior de Cramer-Rao (que por supuesto sabemos que no es aplicable en este caso) compararlas. Observación: Demostrar que se tiene una estadística completa para poder usar el teorema no es nada fácil, pero es un paso mu importante como se verá a continuación. Supongamos que tenemos una estadística T(X) insesgada para τ(θ) quisiéramos saber si es un UMVUE de τ(θ). Bajo ciertas condiciones, de forma mu sencilla, podemos construir un estimador φ a (X) insesgado de τ(θ) tal que V ar(φ a (X)) < V ar(t(x)) esto por supuesto acabaría con nuestras esperanzas de encontrar el UMVUE de τ(θ). Vamos a mostrar como a partir de T(X) podemos hallar φ a (X). Sea T(X) un estimador insesgado de τ(θ) sea W(X) un estimador tal que E(W(X)) =, entonces hagamos De la construcción anterior es inmediato que E(φ a (X)) = τ(θ) φ a (X) = T(X) aw(x) con a R (6.13) V ar(φ a (X)) = V ar(t(x)) + a V ar(w(x)) + acov(t(x),w(x)) (6.14) Para ciertos valores de τ(θ) la elección indicada de a, podemos hacer que entonces de 6.14 se tiene que a V ar(w(x)) + acov(t(x),w(x)) < V ar(φ a (X)) < V ar(t(x)) Esta posibilidad para cada estimador T(X) insesgado de τ(θ) acabaría con nuestras esperanzas de encontrar un UMVUE, la forma de evitar este problema es pedir que la estadística T(X) sea completa. Vamos a ver como funciona la completes, supongamos que T(X) es una estadística completa, entonces por definición, para cualquier función g tal que se cumpla E(g(T(X))) = va a implicar que con probabilidad uno g(t(x)) = para cualquier valor de θ. Si observamos detenidamente 6.13 nos daremos cuenta que el estadístico W(X) tal que E(W(X)) = necesariamente tiene que ser función de T(X), pero como T(X) es completa entonces W(X) = con probabilidad uno para cualquier valor de θ, de donde en 6.14, Cov(T(X),) =. En resumen si la estadística es completa, la posibilidad de que el problema anterior sucede es eliminada por lo tanto estaremos un paso más cerca de encontrar el UMVUE para τ(θ). 6