5.3. Información y cota de Cramér Rao

Transcripción

1 5.3. Información y cota de Cramér Rao Información y cota de Cramér Rao Es deseable disponer de estimadores con el menor error cuadrático medio posible, o alternativamente, de estimadores insesgados con la menor varianza posible. Como vamos a ver en esta sección, existe una cota, conocida como la cota de Cramér Rao teorema 5.11, que depende sólo de la forma de o mejor, de cuánto varía al moverse el parámetro de interés la forma de la función de masa/densidad, y que restringe cuán pequeño puede llegar ser ese error cuadrático medio, poniendo así un límite a la ambición en la búsqueda de estimadores insesgados de varianza pequeña. Antes de iniciar la discusión, vamos a analizar una situación especialmente sencilla, que justificará algunas de las nociones que vamos a introducir para tratar la situación general. Supongamos que la variable X es una variable aleatoria continua con función de densidad fx; θ, y que sólo hay o sólo nos interesan dos posibles valores distintos del parámetro: θ 0 y θ 1. Suponemos, también para simplificar, que en ambos casos las funciones de densidad tienen soporte en todo R. El objetivo, como se ha explicado en discusiones anteriores, es obtener información sobre el valor del parámetroapartirdemuestrasdelavariable,loqueeneste caso supone simplemente distinguir si las muestras se produjeron con el valor θ 0 o con el valor θ 1. Digamos que n = 1, es decir, que la muestra consta de un único dato, que denotamos por x, y consideremos la función 5.8 fx; θ 1 fx; θ 0, fx; θ 0 que mide la diferencia relativa entre las dos funciones de densidad en x. Tomamos como referencia el valor θ 0, y promediamos ahora sobre todas las posibles muestras. Es decir, consideramos que la muestra se genera con θ 0, y consideramos la expresión 5.8 como una variable aleatoria. Primero, comprobamos que su media vale 0: fx; θ1 fx; θ 0 fx; θ 1 fx; θ 0 E θ0 = fx; θ 0 dx fx; θ 0 R fx; θ = fx; θ 1 dx fx; θ 0 dx =1 1=0, R pues tanto fx; θ 0 comofx; θ 1 son funciones de densidad. Como la media es 0, para medir la magnitud promediada sobre muestras de esa diferencia relativa recurrimos a la varianza, que en este caso es fx; θ1 fx; θ 0 [ fx; θ1 fx; θ 0 2 ] V θ = E θ0 fx; θ 0 fx; θ 0 fx; θ1 fx; θ 0 2 fx; θ = fx; θ0 dx = fx; θ 0 fx; θ 0 1 fx; θ0 dx. R R R

2 40 Capítulo 5. Estimación puntual de parámetros Veamos. Supongamos que esta varianza fuera pequeña, prácticamente 0. Eso querría decir que el integrando sería muy pequeño en todo su soporte que es R, y por tanto fx; θ 0 habría de ser muy similar a fx; θ 1 en todo el soporte. La conclusión sería que las dos funciones de densidad serían prácticamente indistinguibles, y que lamuestraensínonosserá de gran utilidad para discernir entre θ 0 y θ 1. El caso de muestras de tamaño n es análogo. Si partimos de fx; θ 1 fx; θ , con x =x 1,...,x n, fx; θ 0 se comprueba de nuevo que la variable aleatoria correspondiente tiene media 0, suponiendo que son muestras aleatorias de X con θ 0, fx; θ1 fx; θ 0 fx; θ 1 fx; θ 0 E θ0 = fx; θ 0 dx fx; θ 0 R n fx; θ = fx; θ 1 dx fx; θ 0 dx =1 1=0, R n R n pues fx; θ 0 yfx; θ 1 son funciones de densidad, e interpretamos de nuevo como queenunvalorpequeño de la varianza 5.13 V θ fx; θ1 fx; θ 0 fx; θ 0 = R n fx; θ1 fx; θ fx; θ0 dx se corresponde con la situación en la que las dos funciones de densidad son casi indistinguibles, y será extremadamente complicado discernir si las muestras fueron generadas con θ 0 oconθ 1. Para extender el argumento a una situación más general, podríamos considerar, en lugar de la cantidad 5.11, la siguiente variación: fx; θ 1 fx; θ 0 1 θ 1 θ 0 fx; θ 0, que sugiere que, pasando al límite, la cantidad de interés será θfx; θ, que se puede escribir como fx; θ ln fx; θ. θ Por analogía con la situación descrita antes, una varianza pequeña de la variable θ ln fx; θ se corresponderá con la situación en que la función de densidad de muestras para un cierto θ será casi indistinguible de la función de densidad de muestras para valores del parámetro muy cercanos a ese θ. Es hora ya de formalizar. Variables rocosas Para poner en práctica el plan de análisis que hemos esbozado más arriba y poder comparar funciones de densidad para valores próximos de θ, usando derivadas respecto de θ, vamos a restringirnos a variables aleatorias que denominaremos rocosas, y que se definen como sigue:

3 5.3. Información y cota de Cramér Rao 41 Definición 5.3 Variables rocosas Decimos que una variable X es rocosa si su función de densidad/masa fx, θ cumple los siguientes requisitos: a el espacio de parámetros es un intervalo abierto Θ = a, b, a<b ; b el soporte sop es fijo y no depende de θ Θ; c para cada x sop, la función θ Θ fx, θ esc 2, es decir, tiene segundas derivadas continuas; d por último, para cada θ Θ, sop ln fx, θ 2 fx; θ dx < +. θ En lo sucesivo nombraremos como rocosas tanto a las variables, como a sus correspondientes funciones de masa/densidad, siempre que cumplan las exigencias anteriores. Las familias de funciones de masa/densidad habituales son todas rocosas, salvo la notable excepción de la uniforme: unif[0,a] con espacio de parámetros a Θ= 0, + yconsop a =[0,a]. La hipótesis a es natural, pues pretendemos derivar con respecto a θ. Y dada b, la hipótesis c también es natural. Para ciertos resultados, en c nos bastará conque fx; θ sea función continua de θ o que tenga primeras derivadas continuas, pero con dos derivadas continuas abarcamos todas las aplicaciones de interés. Sobre la hipótesis b. Imagine, lector: derivamos fx; θ con respecto a θ. Veamos: cocientes incrementales. Fijamos θ y x, que habrá deestarensop θ ;ahora variamos θ, pero, hum!, el soporte se mueve, a su vez, y ya no estamos seguro de si x... Lahipótesis b evita este círculo de dependencias. Más adelante discutiremos la relevancia de esta hipótesis de soporte fijo. La condición integral d dice que para cada θ Θ, la variable Y =lnfx, θ, que va a desempeñar un papel central en lo que sigue, satisface E θ Y 2 = sop ln fx, θ 2 fx; θ dx < + θ y, nos permitirá tomar esperanzas y varianzas de Y sin grave riesgo para la salud. Derivadas de la función de densidad/masa Usamos θ, en lugar de / θ, para denotar derivadas respecto de θ. Usaremos esa notación aunque haya un sólo parámetro θ Θ. No usaremos ni d θ ni d/dθ. Supongamos que fx, θ es rocosa. Para x sop n, con la regla de Leibniz se tiene que 5.14 θ fx; θ = θ n j=1 fx j ; θ = n fx; θ θ fx j ; θ fx j ; θ, j=1

4 42 Capítulo 5. Estimación puntual de parámetros es decir, θ fx; θ fx; θ = n j=1 θ fx j ; θ fx j ; θ expresión que se podía haber obtenido igualmente tomado logaritmos en fx; θ = n j=1 fx j; θ y luego derivando. Podemos reescribir la expresión anterior en la forma θ ln fx; θ = n θ lnfx j ; θ. j=1 Obsérvese que, para θ Θ, tanto θ lnfx; θ como θ ln fx; θ están bien definidas para x sop y x sop n, respectivamente. En los apartados que siguen introduciremos los conceptos de variable de información y cantidad de información de una variable X para luego plantear y estudiar uno de los resultados centrales del curso: la cota de Cramér Rao. El manejo de estos conceptos en situación general requiere prestar atención a ciertas cuestiones analíticas, fundamentalmente relacionadas con la derivación bajo el signo integral y con la derivación de series, que como el lector recuerda no se deben tratar a la ligera. Si le parece, lector, para estudiar estos conceptos y sus propiedades, argumentaremos primero en la situación de variables rocosas y finitas con sop común finito y en el que estas sutilezas analíticas no desempeñan papel alguno, para poder así presentar lo esencial de los argumentos. Luego, por supuesto, estudiaremos la situación general en realidad, una situación bastante general centrándonos en cómo incorporar cabalmente la gestión de estos detalles Información y cantidad de información de una variable Con el objetivo de promediar la cantidad anterior, θ ln fx; θ, sobre muestras x, consideramos primero la variable aleatoria Y dada por 5.15 Y = θfx; θ fx; θ = θ ln fx; θ a la que nos referiremos como la información de la variable X. Para cada θ Θ, la variable Y está definida por la expresión anterior si x sop; fuera de sop θ entendemos que Y 0. Obsérvese que Y es una función de X. La varianza de la variable de información Y es conocida como cantidad de información o información de Fisher de fx; θ, y se denota por I X θ: 5.16 I X θ =V θ Y =V θ θ lnfx; θ Obsérvese que I X θ es una función definida para θ Θ.

5 5.3. Información y cota de Cramér Rao 43 Para variables rocosas y finitas, como vamos a comprobar seguidamente, se tiene siempre que E θ Y = 0. Para variables rocosas pero no finitas, hacen falta hipótesis adicionales, que discutiremos más adelante en el apartado y que, le anticipamos, lector, son bastante generales, si es que queremos asegurar que E θ Y =0. Lema 5.4 de Diotivede 6, caso de soporte finito. Si X es variable aleatoria rocosa con soporte finito, entonces E θ Y =0, para cada θ Θ. Además, θ fx; θ 2 I X θ =V θ Y =E θ. fx; θ Demostración. Obsérvese primero que = fx; θ, para todo θ Θ. x sop Ésta es una suma finita, pues sop es, por hipótesis, finito. Así que derivando 5.17 respecto de θ en el intervalo Θ obtenemos que 0= x sop θ fx; θ = x sop θ fx; θ fx; θ =E θ Y. fx; θ Para la segunda parte, como E θ Y =0,setienequequeV θ Y =E θ Y 2. A. Ejemplos de cálculo de cantidad de información Veamos cómo se obtiene la variable de información y cómo se calcula la cantidad de información en los modelos más habituales. En todos los ejemplos que siguen, como iremos comprobando, se tiene E θ Y = 0, aunque sólo el caso de X berp es de una variable finita y se puede aplicar el lema 5.4 de Diotivede, caso de soporte finito. En todos ellos se tiene, por tanto, que I X θ =V θ Y =E θ Y 2. Ejemplo Cantidad de información para X berp. Aquí sop = {0, 1} yθ=0, 1. Tenemos que f1; p =p = lnf1; p = lnp = p lnf1; p = 1 p, f0; p =1 p = lnf0; p = ln1 p = p lnf0; p = 1 1 p 6 Diotivede, Teodoro Diotivede.

6 44 Capítulo 5. Estimación puntual de parámetros En otras palabras, cuando X = 1setieneY = 1/p y cuando X = 0setiene que Y = 1/1 p. Una alternativa para compactar esta relación entre X e Y es escribir Y = X p p1 p. Como E p X =p, setienequee p Y =0.Además, como V p X =p1 p, I X p =V p Y = 1 p 2 1 p 2 V px p = 1 p 2 1 p 2 V px = 1 p1 p. Ejemplo Cantidad de información para una poissonλ, conλ>0. Aquí, sop = {0, 1,...} yθ=0, +. Como ln fk; λ = λ + k lnλ lnk!, para k 0yλ>0, donde 0! = 1, como de costumbre, se tiene que λ ln fk; λ = 1+ k λ = 1 k λ, para k 0yλ>0, λ En otros términos, si X toma el valor k, entonces Y toma el valor 1 λ k λ. Podemos registrar compactamente esta relación entre X e Y mediante Y = 1 λ X λ. El soporte de la variable Y es el conjunto {k λ/λ; k =0, 1,...}. Obsérvese que E λ Y = 0, pues E λ X =λ, yque usando que V λ X =λ. Asíque V λ Y = 1 λ 2 V λx λ = 1 λ 2 V λx = 1 λ, I X λ = 1 λ, para cada λ 0, +. Ejemplo Cantidad de información para X expλ. Consideramos como parámetro de interés θ = 1/λ, la media de la distribución. Escribimos la función de densidad de la exponencial como Aquí, Θ = 0, + ysop =0, +. fx; θ = 1 θ e x/θ, para x>0.

7 5.3. Información y cota de Cramér Rao 45 Esto nos da que θ ln fx; θ x θ = θ 2, y por tanto, Y = X θ θ 2. Como E θ X =1/λ =θ yquev θ X =1/λ 2 =θ 2, se deduce que E θ Y =0y I X θ =V θ Y = 1 θ 4 V θx θ = 1 θ 4 V θx = 1 θ 2. Ejemplo dato conocido. Cantidad de información para X Nμ 0,σ 2.Aquí, μ 0 es un Observe, lector, que estamos suponiendo de partida que se sabe que la media de esta distribución normal es μ 0.Queremosestimarθ = σ 2 Θ=0, +. Aquí, sop = R. Tenemos 1 fx; θ = e 1 2 x μ 0 2 /θ para todo x R. 2π θ De manera que lnfx; θ = ln 1 1 2π 2 lnθ 1 x μ θ = θ lnfx; σ = x μ 0 2 θ 2θ 2, yportanto Y = X μ 0 2 θ 2θ 2. Obsérvese que X = μ 0 + θz, donde Z N0, 1. Así quee θ X μ 0 2 =θ, lo que nos dice que E θ Y =0. Finalmente, I X θ =V θ Y = 1 4θ 4 V θx μ 0 2 θ = 1 4θ 4 V θx μ 0 2 = 1 4θ 2 V θz 2 = 1 2θ 2, usando que V θ Z 2 =E θ Z 4 E θ Z 2 2 = 2, pues EZ 2 =1yEZ 4 =3siZ es normal estándar nota Ejemplo Cantidad de información para X Nμ, σ 2 0,conσ2 0 conocida. El parámetro de interés es μ R. Setiene 1 fx; μ = e 1 2 x μ2 /σ0 2, para todo x R. σ 0 2π Por tanto, μ lnfx; μ = x μ σ0 2 = Y = X μ σ0 2. De manera que E μ Y = 0, puesto que E μ X =μ, e I X μ = 1 σ0 4 E μ X μ 2 = V μx σ0 4 que, obsérvese, es una constante no depende de μ. = σ2 0 σ 4 0 = 1 σ0 2,

8 46 Capítulo 5. Estimación puntual de parámetros Ejemplo Cantidad de información para la distribución de Rayleigh. La función de densidad de X rayσ 2, viene dada por { x fx; σ 2 = σ e 2 x2 /2σ 2 si x 0, 0 si x<0. Como el parámetro de la distribución de Rayleigh es σ 2, para los cálculos con derivadas respecto de parámetros que siguen conviene poner θ = σ 2 : { x fx; θ = θ e x2 /2θ si x 0, 0 si x<0. Recuerde, lector, que E θ X 2 =2θ y V θ X 2 =4θ 2. Calculamos θ lnfθ; x = 1 θ + x2 2θ 2 = 1 2θ 2 x2 2θ, así que Y = 1 X 2 2θ 2 2θ. Obsérvese que E θ Y =0,yque I X θ =V θ Y = 1 4θ 4 V θx 2 2θ = 1 4θ 4 V θx 2 = 1 θ 2. Veamos a continuación un ejemplo adicional, más allá de los sospechosos habituales. Ejemplo Sea X una variable con función de densidad fx; α =αx α 1 para 0 <x<1, donde α es un parámetro positivo, α>0. Nos interesa estimar el parámetro θ = 1/α, así que escribimos: fx; θ = 1 θ x1/θ 1. Aquí sop =0, 1yΘ=0, +. Como θ lnfx; θ = 1 1 θ 2 ln θ, x se tiene que Y = 1 1 θ 2 ln θ. X

9 5.3. Información y cota de Cramér Rao 47 Obsérvese que, para cada entero k 0, k 1 k 1 E θ ln1/x = ln1/x 0 θ x1/θ 1 dx [x=e θy ] = θ k 0 = θ k Γk +1=θ k k!, apelando En particular, y k e y dy E θ ln1/x = θ y V θ ln1/x = E θ ln1/x 2 E θ ln1/x 2 =2θ 2 θ 2 = θ 2. Esto nos da, por un lado, que E θ Y = 0, como ya es habitual, y por otro que I X θ =V θ Y = 1 θ 4 V 1 θ ln1/x θ = θ 4 V 1 θ ln1/x = θ 2. B. Significado de la cantidad de información Antes de estudiar cómo interviene la cantidad de información I X θ enlacota de Cramér Rao, que es el objeto de la próxima sección 5.3.2, nos detenemos un momento en el análisis de los resultados de tres de los ejemplos anteriores, para percibir mejor el significado de la cantidad de información. Para X Nμ, 1, hemos visto ejemplo que I X μ = 1, una constante que no depende de μ. Lo que, siguiendo el razonamiento con el que abríamos esta sección 5.3, nos dice que distinguir, a partir de muestras, digamos, un valor μ =0 de un valor μ = 0.1serátanfácil/difícil como discernir entre, por ejemplo, μ = 7de un valor μ = 7.1. Lo que es bien natural si observamos que trasladar el parámetro μ en una normal no cambia la forma de la distribución. Cuando X berp, tenemos ejemplo que I X p =1/p1 p. Esta función tiene mínimo en p =1/2, y tiende a cuando p 0óp 1. Así que será mucho más difícil distinguir, a partir de muestras, entre por ejemplo p =50%y p =51%,queentrep y p +1% si p es muy pequeño. Para ilustrarlo con un ejemplo extremo muy extremo!, supongamos que pretendemos discernir entre p = 0% y p = 1 % a partir de una muestra de tamaño 100. Obsérvese que, en cuanto en esa muestra aparezca un 1, nos decantaremos por p = 1 %. Por el contrario, observemos cuán difícil y aventurado sería decantarnos por p =50%oporp = 51 % si en esa muestra tuviéramos, por ejemplo, 50 ceros y 50 unos. Veamos, por último,elcasoenelquex expλ, pero donde el parámetro de interés es la esperanza θ =1/λ. Ahora tenemos I X θ =1/θ 2 ejemplo 5.3.3, que es pequeño cuando θ es grande. La función de densidad es fx; θ = 1 θ e x/θ.siθ es muy grande, entonces las funciones de densidad del caso θ y, por ejemplo, θ +1, son prácticamente indistinguibles. Pero si θ es por ejemplo próximo a 0, entonces θ + 1 es casi un 1, lo que es un mundo de diferencia. Véanse las figuras, que corresponden a θ =0.1yθ = 10, respectivamente.

10 48 Capítulo 5. Estimación puntual de parámetros En el primer caso será relativamente sencillo distinguir los dos parámetros a partir de las muestras, mientras que en el segundo será extremadamente complicado. C. Información y cantidad de información de una muestra aleatoria Para una muestra aleatoria X 1,...,X n dex, consideramos las variables de información de cada X j, es decir, Y j = θfx j ; θ, para 1 j n. fx j ; θ Las variables de información son clones de Y y son independientes entre sí. La suma Z n de estas Y j, 5.18 Z n = n Y j, j=1 es función de la muestra X 1,...,X n y, por tanto, un estadístico. A Z n se le conoce como variable de información total de la muestra, AlavarianzaV θ Z n delainformación total Z n se le conoce como cantidad de información total de la muestra. Lema 5.5 Para variables rocosas y finitas se tiene, para cada θ Θ, que E θ Z n =0 y V θ Z n =ni X θ. Demostración. Recuérdese que, para cada j =1,...,n, E θ Y j =0yV θ Y j = I X θ. Esto nos da directamente que E θ Z n = y por la independencia de las Y j,que n E θ Y j =0; j=1 n V θ Z n = V θ Y j =ni X θ. j=1

11 5.3. Información y cota de Cramér Rao La cota de Cramér Rao La cota de Cramér Rao, que nos ocupa ahora, es una cota inferior para la varianza de los estimadores insesgados del parámetro θ, quesólo depende de la cantidad de información de X. De nuevo presentamos el argumento que nos conduce a esa cota primero para variables finitas rocosas, por supuesto. En el apartado veremos condiciones bastante generales sobre la familia fx; θ y sobre el estimador bajo las que se tiene la cota de Cramér Rao en el caso no finito. Supongamos que la variable X es rocosa y tiene soporte sop finito. Su función de masa se denota por fx; θ. El espacio de parámetros es Θ. Sea T un estadístico insesgado del parámetro θ para muestras de tamaño n. Esto es, T = hx 1,...,X n para una cierta función h, yademás θ = E θ T, para todo θ Θ. Reescribimos que T es insesgado en la forma 5.19 θ = E θ hx1,...,x n = hx fx; θ. x sop n Derivando 5.19 respecto de θ, y usando 5.14, tenemos, pues se trata de una suma finita, que 1= n θ fx j ; θ fx; θ fx j ; θ x sop n hx j=1 que volvemos a escribir, inasequibles al desaliento, como esperanza en la forma 1=E θ T Z n, utilizando la variable Z n de información de la muestra, definida en Ahora, como E θ Z n = 0 lema 5.5, 1=E θ T Z n E θ T E θ Z n =cov θ T,Z n. De la desigualdad de Cauchy Schwarz, teorema 2.2, que dice que cov θ T,Z n V θ T V θ Z n, se deduce que 1 V θ T V θ Z n =V θ T ni X θ, usando de nuevo el lema 5.5 en la última identidad. En otros términos, hemos probado: Teorema 5.6 Cota de Cramér Rao, caso de soporte finito Si X es una variable aleatoria rocosa y con soporte finito, entonces para todo estadístico insesgado T de θ para muestras de tamaño n se cumple que V θ T 1 ni X θ, para todo θ Θ

12 50 Capítulo 5. Estimación puntual de parámetros La relevancia de este resultado es que esta cota inferior para la varianza de T como estimador depende de la distribución de X directamente y de θ, ynodel estimador. La cota es válida para todos los estimadores insesgados: siempre hay una cierta dispersión varianza, al menos la que viene dada por la cota de Cramér Rao. Parafraseando, todo estimador insesgado de θ tiene una varianza no inferior a 1/nI X θ. A un estimador insesgado T del parámetro θ cuya varianza es justamente la cota de Cramér Rao, es decir, tal que V θ X I X θ = 1, para todo θ Θ, n se le dice estimador eficiente o insesgado de mínima varianza. Talestimador es más eficiente que cualquier otro estimador de θ. A. Ejemplos de cotas de Cramér Rao y estimadores eficientes. Sigue ahora una lista de ejemplos, las familias habituales, donde calculamos la cota de Cramér Rao que en realidad ya está calculada, pues conocemos la cantidad de información y donde investigamos posibles estimadores eficientes. Sólo el primero de los ejemplos, berp es finito. Los demás ejemplos cumplen las condiciones del apartado y, por tanto, para ellos se cumple también la cota de Cramér Rao. Ejemplo Cota de Cramér Rao para X berp. Como ya sabemos del ejemplo 5.3.1, I X p = y, por tanto, la cota de Cramér Rao es p1 p n 1 p1 p, Como X es insesgado y V p X =V p X/n = p1 p/n, tenemos que X es estimador insesgado de mínima varianza. Ejemplo Cota de Cramér Rao para X poissonλ. Como ya sabemos del ejemplo 5.3.2, las cantidad de información es I X λ =1/λ. Así que la cota de Cramér Rao es, en este caso, λ/n. La media muestral X es un estimador insesgado de λ.comov λ X =V λ X/n = λ/n, tenemos que X es un estimador eficiente, con la mínima varianza posible..

13 5.3. Información y cota de Cramér Rao 51 Ejemplo Cota de Cramér Rao para X expλ. Queremos estimar el parámetro θ = 1/λ, la media de la distribución. Como ya sabemos del ejemplo 5.3.3, I X θ = 1 θ 2. Así que la cota de Cramér Rao es θ 2 /n. YcomoV θ X =V θ X/n = θ 2 /n, de nuevo, X es estimador insesgado de mínima varianza estimador eficiente. Ejemplo Cota de Cramér Rao para X Nμ 0,σ 2. Queremos estimar θ = σ 2. El valor μ 0 es conocido. Como ya sabemos del ejemplo 5.3.4, I X θ = 1 2θ 2. Así que la cota de Cramér Rao es 2θ 2 /n. Como ya vimos en el ejemplo , para la cuasivarianza muestral S 2,quees un estimador insesgado de θ, setieneque V θ S 2 = 2θ2 n 1, que no alcanza por poco la cota de Cramér Rao. Recuérdese que X = μ 0 + θz,conz N0, 1. Así quee θ X μ 0 2 =θ y E θ X μ 0 4 =θ 2 E θ Z 4 =3θ 2. Consideremos, por otro lado, el estadístico T = 1 n n X j μ 0 2, j=1 que es insesgado, pues E θ T =E θ X μ 0 2 =θ, y además, es, sí, de mínima varianza, porque E θ T 2 = 1 n n 2 E θ X j μ y, por tanto j=1 1 i j n = θ2 3n + nn 1 = 1+ 2 n 2 θ 2 n V θ T =E θ T 2 E θ T 2 = que es justo la cota de Cramér Rao. EX i μ 0 2 EX j μ θ 2 θ 2 = 2θ2 n n,

14 52 Capítulo 5. Estimación puntual de parámetros Ejemplo Cota de Cramér Rao para X Nμ, σ0 2,conσ2 0 conocida. Queremos estimar θ = μ. Como ya sabemos del ejemplo 5.3.5, I X μ = 1 σ0 2, de donde la cota de Cramér Rao es σ0 2/n. La media muestral X es estimador insesgado de μ, yvx =VX/n = σ0 2/n. Así que la cota se alcanza y X es estimador insesgado de mínima varianza. Ejemplo Sea X una variable con función de densidad fx; α =αx α 1 para 0 <x<1, donde α es un parámetro, α>0. Nos interesa estimar el parámetro θ = 1/α. Como ya sabemos del ejemplo 5.3.7, I X θ = 1 θ 2, y, por tanto, que la cota de Cramér Rao es θ 2 /n. El estadístico T X 1,...,X 1 = 1 n ln1/x j. n es un estimador insesgado de θ, yademás V θ T =V θ ln1/x/n = θ 2 /n. Asíque el estadístico T es estimador insesgado de mínima varianza de θ. Ejemplo j=1 Cota de Cramér Rao para la distribución de Rayleigh. Para X rayσ 2, nombramos el parámetro a estimar θ = σ 2. Como ya sabemos del ejemplo 5.3.6, la cantidad de información viene dada por I X θ = 1 θ 2, de manera que la cota de Cramér Rao es θ 2 /n. Recuerde, lector, que E θ X 2 =2θ yquee θ X 4 =8θ 2. El estimador T de máxima verosimilitud de θ y también uno de los estimadores por momentos, véase el ejemplo 5.2.9, viene dado por T =1/2X 2.ComoE θ X 2 = 2θ, el estimador T es insesgado. Además, E θ T 2 = 1 1 n 4 n 2 E θ Xj 4 + j=1 1 i j n EX 2 i EX2 j = θ2 8n +4nn 1 = n 2 θ 2, n

15 5.3. Información y cota de Cramér Rao 53 de manera que V θ T = 1+ 1 θ 2 θ 2 = θ2 n n, y, por tanto, T es estimador eficiente. B. Complementos sobre la cota de Cramér Rao Recogemos, en este apartado, tres observaciones al respecto de la cota de Cramér Rao, a saber, la unicidad del estimador eficiente cuando éste exista; la versión del teorema 5.6 de Cramér Rao para el caso de estimadores sesgados; y una expresión general para el estimador eficiente. Lema 5.7 Unicidad del estimador insesgado de mínima varianza Sean T 1 y T 2 estimadores insesgados de θ, ambos de mínima varianza. Entonces T 1 T 2. Aquí, T 1 T 2 significa que las variables son iguales con probabilidad 1. En realidad, este resultado no depende de la cota de Cramér Rao en sí; simplemente dice que, con mínima varianza sea cual sea ésta, sólo puede haber un estimador insesgado. Demostración. Sea S el estimador S = 1 2 T T 2. El estimador S es insesgado. Es decir, E θ S =θ, paratodoθ. Además, V θ S = 1 4 V θt V θt cov θt 1,T V θt V θt Vθ T 1 V θ T 2 =V θ T 1 =V θ T 2. Como T 1 ó T 2 sondemínima varianza, se ha de cumplir que V θ S =V θ T 1 = V θ T 2, para cada θ. Es decir, en la cadena anterior ha de haber igualdades, y por tanto cov θ T 1,T 2 = V θ T 1 V θ T 2. Así que estamos en el caso de igualdad en Cauchy Schwarz, en el que se tiene que, para ciertas funciones aθ ybθ, se cumple que T 2 = aθt 1 + bθ. Como T 1 y T 2 son insesgados y de igual varianza, deducimos 7 que a 1yb 0. 7 En realidad, de la condición de iguales varianzas se deduce que a 2 θ = 1, y por tanto aθ =±1. Tomando aθ = 1 se deduce que bθ = 0. La otra solución, aθ = 1, llevaría a bθ = 2θ; pero esto contradiría la definición de estadístico, que no puede contener referencias al parámetro θ.

16 54 Capítulo 5. Estimación puntual de parámetros El siguiente resultado exhibe una suerte de cota de Cramér Rao para estimadores sesgados o no. Siguiendo los pasos de la demostración del teorema 5.6, se puede obtener: Teorema 5.8 Sea T un estimador no necesariamente insesgado de θ. Llamemos m T θ = E θ T si el estimador es insesgado, entonces m T θ = θ. Paratodo θ Θ, setieneque V θ T m 1 T θ2 ni X θ. En la expresión anterior, a la izquierda hemos escrito todo lo que depende del estimador T. Ahora la cota para la varianza de T es algo menos interesante que en el caso insesgado, pues no depende únicamente de la función de densidad fx; θ. El siguiente resultado nos da una expresión para el estimador eficiente, en caso de que exista. Proposición 5.9 Sea X una variable rocosa con función de densidad fx; θ. SiT es estimador eficiente de θ, entonces T Z n ni X θ + θ. Observe, lector, que implícita en el enunciado subyace la hipótesis de que existe un tal estimador eficiente. Recuerde, lector, que un estimador es una expresión T = hx 1,...,X n que depende tan sólo de la muestra y en la que, por supuesto, no puede aparecer el parámetro.enlaexpresión de la proposición 5.9 aparece el parámetro θ en Z n, en I X θ, y también en el sumando θ. Así que esta expresión de T sólo será útil si, como por ensalmo, todas estas apariciones de θ se cancelan y T no depende de θ. Si ése fuera el caso, si T = Z n ni X θ + θ fuera realmente un estadístico estimador, entonces sería insesgado, pues E θ Z n =0, ydemínima varianza, pues V θ Z n =ni X θ, y por tanto, V θ T =1/nI X θ. Demostración. Si T es de mínima varianza, entonces 1=cov θ T,Z n VT VZ n = VT ni X θ =1, y, por tanto, cov θ T,Z n = VT VZ n. El caso de igualdad en la desigualdad de Cauchy-Schwarz nos dice que T αz n + β, para ciertos α, β R. ComoE θ T =θ y E θ Z n = 0, ha de ser β = θ, ycomo V θ T =1/nI X θ y V θ Z n =ni X θ, ha de ser α =1/nI X θ.

17 5.3. Información y cota de Cramér Rao 55 En el ejemplo sobre la cota de Cramér Rao y estimadores eficientes para N μ 0,σ 2, con μ 0 conocido, vimos que el estimador natural S 2 no era estimador eficiente de σ 2. Inopinadamente se propuso allí X μ 0 2 como estimador. Veamos. Pongamos, por simplificar notación, que μ 0 = 0. De los ejemplos y obtenemos que para N 0,σ 2, poniendo θ = σ 2, tenemos que Y = X2 θ 2θ 2 y Z n = n X2 θ 2θ 2. Además, I X θ =1/2θ 2. Por tanto, siguiendo la proposición 5.9, el estimador eficiente, de existir, ha de escribirse como T = Z n ni X θ + θ = 2θ2 n n X2 θ 2θ 2 θ = X 2, tras sustituir las expresiones de Z n ydei X θ y asistir, asombrados, a la fulminante cancelación de todas las apariciones del parámetro. C. Condiciones para el lema de Diotivede y el teorema de Cramér Rao En el argumento que nos condujo al lema 5.4 de Diotivede en el caso en que la variable X tiene soporte finito, se ha derivado la ecuación 5.17 y hemos usado que la derivada de la suma es la suma de las derivadas. Cuando la variable X es continua, las esperanzas son integrales. Queremos derivar bajo el signo integral la expresión 1= fx; θdx sop para obtener que 0= sop θ fx; θdx = sop θ fx; θ fx; θdx, fx; θ queyaeslaconclusión del lema de Diotivede: E θ Y =0. La siguiente condición: para cada intervalo cerrado I Θ se tiene que [dio] sup θθ fx, θ dx < + θ I x sop permite el intercambio de derivación e integración que hemos señalado más arriba. Denotemos A I x sup θθ fx, θ, para x sop. θ I

18 56 Capítulo 5. Estimación puntual de parámetros Fijemos θ Θ. Sea I Θ un intervalo cerrado que contiene a θ en su interior. Sea δ>0, tal que θ + δ I. Por 1, tenemos, para x sop, que y, por tanto, fx; θ + δ fx; θ δ θ fx; θ = δ θ+η 0 θ θθ fx; φdφdη, fx; θ + δ fx; θ δfθ x; θ 1 2 δ2 A I x. Como fx; θ + δ yfx; θ son funciones de densidad, fx; θ + δ dx =1= fx; θ dx. sop Por y y una división por δ mediante se tiene que f θ x; θ dx 1 2 δ A I x dx. x sop sop x sop Como el lado izquierdo no depende de δ y, por la hipótesis 2, la integral x sop A Ix dx es finita, se deduce haciendo δ 0que f θ x; θ dx =0, y, por tanto, E θ Y = Hemos probado: sop sop θ ln fx; θf θ x; θ dx = sop f θ x; θ dx =0. Lema 5.10 de Diotivede Si X es una variable aleatoria continua, rocosa y que cumple [dio], entonces E θ Y =0, para cada θ Θ, Además, θ fx; θ 2 I X θ =V θ Y =E θ. fx; θ Para el caso en que X es variable aleatoria discreta infinita, rocosa, el resultado es el mismo sustituyendo la condición [dio] del enunciado por para cada intervalo cerrado I Θ se tiene [dio] sup θθ fx, θ dx < + θ I x sop

19 5.3. Información y cota de Cramér Rao 57 La demostración es análoga: basta reemplazar x sop por x sop en cada ocurrencia. Estas condiciones [dio] o[dio], se cumplen para toda la batería de modelos para X queseusanenlapráctica. Ejemplo Condiciones del lema 5.10 para la familia expλ. Para la familia exponencial tenemos que sop =0, + yqueθ=0, +. Para x sop y λ>0setienefx; λ =λe λx. Tenemos λλ fx; λ = 2x + λx 2 e λx, para λ>0yx>0, y fx; λ es rocosa. Si I =[α, β] 0, + =Θ,asíqueα>0yβ<+ setiene A I x 2x + βx 2 e αx, para x>0, De manera que 0 A I x dx 0 2x + βx 2 e αx dx = 2 α 2 + 2β α 3 < +. En la demostración del teorema 5.6 de Cramér Rao en el caso de soporte finito, además de derivar la función de densidad como en el lema de Diotivede, se deriva la identidad θ = E θ T =E θ hx1,...,x n = hx fx; θ, x sop n respecto de θ Θ, donde T es el estimador insesgado dado por T = hx 1,...,X n. En el caso continuo habremos de derivar θ = E θ T =E θ hx1,...,x n = hx fx; θ,dx x sop n. La condición para cada intervalo cerrado I Θ se tiene que [cr] hxsup θθ fx,θ dx 1 dx n < +. x sop θ I involucra a la variable X yalestadístico T. Teorema 5.11 Cota de Cramér Rao Sea X es una variable aleatoria continua, rocosa y que cumple [dio], yseat un estadístico insesgado que se cumple [cr]. Entonces, 1 V θ T, para todo θ Θ. ni X θ

20 58 Capítulo 5. Estimación puntual de parámetros La condición [dio] nos da que E θ Y =0yqueE θ Z n = 0, mientras que la condición [cr] nos permite derivar bajo el signo integral de manera análoga a como se hizo en la demostración del lema 5.10 de Diotivede. Para variables discretas de soporte infinito la condición [cr] se traslada en para cada intervalo cerrado I Θ se tiene que [cr] hxsup θθ fx,θ < +. θ I x sop ybajo[dio] y [cr] la conclusión de la cota de Cramér Rao sigue siendo válida. D. Soporte dependiente del parámetro Hemos derivado el lema de Diotivede y la cota de Cramér Rao para variables rocosas con alguna hipótesis adicional en el caso de soporte no finito. Una de las condiciones para que una variable sea rocosa es que su soporte sea independiente del parámetro θ Θ. Esta hipótesis no es únicamente conveniente para los cálculos, sino de hecho, indispensable. En el ejemplo siguiente, la uniforme unif[0,a], vamos a ver que no se cumplen las conclusiones ni del lema de Diotivede ni de la cota de Cramér Rao, tal y como se han formulado. Ejemplo X unif[0,a]. Cota?deCramér Rao. Si procedemos directamente, fx; a = 1 a = lnfx; a = lna = a lnfx; a = 1/a. Así quey 1/a. Obsérvesequeyanosecumpliría que E a Y =0,comodebería. Además E a Y 2 =1/a 2.Así que la cota de Cramér Rao debería ser a 2 /n. Sin embargo, en el ejemplo hemos comprobado que el estimador insesgado T = n+1 n máxx 1,...,X n tienevarianza V a T = 1 nn +2 a2. Por último, nótese, en cualquier caso, que V a Y =0.

21 5.4. Comportamiento asintótico de estimadores Comportamiento asintótico de estimadores Hasta ahora hemos tratado con una muestra aleatoria X 1,...,X n detamaño n genérico de una variable X con función de masa/densidad fx; θ, con las que construíamos estimadores del parámetro θ. Ahora queremos analizar justamente el papel de n, eltamaño de la muestra, en la confianza que se puede tener en esas estimaciones. Porque esperamos que, cuanto mayor sea el tamaño de la muestra, dispondremos de más información sobre la fuente aleatoria X, y en particular, que si los estimadores están bien diseñados, serán capaces de ir afinando cada vez más la estimación del parámetro de interés. Para ello, en lo que sigue precisaremos un poco, tanto el modelo como la notación, y consideraremos una sucesión T n de estimadores, uno para cada n: T n = h n X 1,...,X n, actuando sobre muestras aleatorias X 1,...,X n detamaño n. Obsérvese que ahora hacemos explícita la dependencia en n del estimador. Aunque no es imprescindible, sí es habitual que la sucesión de estimadores T n se obtenga con funciones h n que tienen la misma forma promedio, máximo, etc.: h n x 1,x 2,...,x n = 1 n n x j, h n x 1,...,x n =máxx 1,...,x n, etc. j=1 Interesa, pues, analizar el comportamiento de la sucesión de variables aleatorias T n como estimadores sucesivos de θ, con el objetivo de establecer si efectivamente la estimación es cada vez mejor según aumente el tamaño de la muestra. Detallamos ahora el sentido en el que interpretaremos esa mejor aproximación. Definición 5.12 Sea X una variable aleatoria con función de densidad/masa fx; θ, donde θ Θ. Decimos que una sucesión T n de estimadores del parámetro θ donde cada T n es una función de X 1,...,X n es consistente cuando, para todo θ Θ, lím P θ T n θ ε =0, para todo ε>0. n Es decir, cuando para n grande, la probabilidad de que T n yerre siquiera ε del verdadero valor θ sea casi nula. Para una tal sucesión de estimadores tendremos mucha confianza para n grande en que la estimación de θ con T n será buena. La condición anterior es natural, y casi exigible a una sucesión de buenos estimadores. Pero nos interesará, no sólo establecer si el límite anterior tiende a 0, sino también determinar con qué velocidad sevaa0enfunción de n: si como 1/n, como 1/n 2,oquizás a velocidad exponencial, con objeto de cuantificar lo probable que es que T n se aparte de θ en una cierta cantidad. Para establecer la consistencia de una sucesión de estimadores, y para determinar de paso esa velocidad de convergencia, caben varias alternativas. Por un lado,

22 60 Capítulo 5. Estimación puntual de parámetros podemos apelar a desigualdades generales tipo Chebyshev si es que disponemos de buenas estimaciones para las sucesivas varianzas o errores cuadráticos medios de los T n. Veremos algunos ejemplos en el apartado A que sigue. En otras contadas ocasiones, dispondremos de fórmulas explícitas para determinar la probabilidad P θ T n θ ε, como veremos en el apartado B. Pero sin duda el procedimiento más poderoso, y más habitual, consistirá en apoyarse en resultados asintóticos generales, como por ejemplo el teorema del límite central, para a partir de ellos deducir buenas estimaciones de la probabilidad anterior. Explicaremos brevemente este proceder en el apartado C, y luego dedicaremos las secciones y a ilustrar su uso en el análisis de estimadores obtenidos por momentos y por máxima verosimilitud. R Nota La convergencia de Tn a θ exhibida en la definición 5.12 se conoce como convergencia en probabilidad. A. Varianzas, errores cuadráticos y Chebyshev/Markov Digamos que los estimadores T n son todos ellos estimadores insesgados del parámetro θ. Es decir, que E θ T n =θ para todo θ Θ y para todo n. Entonces, apelando a la desigualdad de Chebyshev tenemos, para ε>0 dado, que 5.20 P θ T n θ ε V θt n ε 2. De manera que si la varianza de los T n tiendea0,lasucesión de los T n será consistente. En el caso general de estimadores no necesariamente insesgados, necesitamos que el error cuadrático medio tienda a cero es decir, que tanto la varianza como el sesgo tiendan a 0, pues apelando a la desigualdad de Markov tenemos que, para ε>0, 5.21 P θ T n θ ε E θ T n θ ε Eθ T n θ 2 ε = ecmθ T n ε n 0, donde la segunda desigualdad es consecuencia de la de Cauchy Schwarz. Reunimos estas observaciones en el siguiente lema, que recoge criterios directos para comprobar la consistencia de una sucesión de estimadores. Lema 5.13 a Sea T n n 1 una sucesión de estimadores de θ tales que lím ecm θt n =0. n Entonces la sucesión T n n 1 es consistente.

23 5.4. Comportamiento asintótico de estimadores 61 b En particular, si T n n 1 es una sucesión de estimadores insesgados de θ tales que lím n V θt n =0, entonces la sucesión T n n 1 es consistente. Repare, lector, en que si además de saber que V θ T n 0obienecm θ T n 0 cuando n que nos daría la consistencia, supiéramos estimar cuán rápidamente tiende esa varianza/ecm a 0, entonces 5.20, o quizás 5.21, nos darían una estimación de la velocidad de convergencia a 0 de P θ T n θ ε. Ilustramos este enfoque en un par de ejemplos. Ejemplo La media y la cuasivarianza muestrales, como estimadores consistentes de la media y la varianza de X. Llamemos EX =μ alamediadex, yvx =σ 2 a su varianza. Para indicar la dependencia en el tamaño de la muestra escribimos X n y Sn 2 para la media y la cuasivarianza muestrales, respectivamente. Sabemos que X n = 1 n X i n es un estimador insesgado de μ, para cualquier n, y además que i=1 VX n =σ 2 /n. Así que, por el lema 5.13, X n es una sucesión consistente de estimadores de EX. Esto requiere, por supuesto, que EX 2 < +. La velocidad de convergencia sería del orden de 1/n. Como ilustración numérica, pongamos que X es una variable con media μ y varianza 1. La desigualdad de Chebyshev nos daría entonces P μ X n μ ε V μx n ε 2 = 1 nε 2. Tomando, por ejemplo, ε =1/10 y n = 900, obtenemos que la probabilidad anterior es menor o igual que 1/9 = %. Análogamente obtendríamos que la sucesión Sn 2 de estimadores de σ2,dada por Sn 2 = 1 n X i X 2, n 1 i=1 es consistente, siempre que tuviéramos EX 4 < + y usando por ejemplo el corolario 4.6, que nos decía que VS 2 n 1 n E X EX 4. De nuevo, la velocidad de convergencia sería 1/n.

24 62 Capítulo 5. Estimación puntual de parámetros Ejemplo Estimadores del parámetro a para muestras de una unif[0,a]. Si tomamos T n = n+1 n máxx 1,...,X n, como ya sabemos del ejemplo 5.1.9, E a T n =a y V a T n = 1 nn+2 a2.así que, por el lema 5.13, tendríamos que T n es una sucesión consistente de estimadores de a; aunque ahora la velocidad de convergencia sería del orden de 1/n 2. Si hubiéramos tomado como estimador a T n =máxx 1,...,X n, entonces tendríamos que =sesgo E a T n = n {}}{ n +1 a = a a n y V a T n = n +1 n +1 2 n +2 a2. Ahora T n no sería un estimador insesgado, pero tanto el sesgo como la varianza tienden a 0 cuando n.asíquet n es una sucesión consistente, con velocidad de convergencia del orden de 1/n 2. B. A partir de la distribución exacta del estimador En ocasiones, podemos determinar la distribución exacta de T n y obtener cotas mucho mejores de P θ T n θ ε que la dada por Chebyshev/Markov, precisando así mucho más la confianza en las estimaciones que ofrecen las sucesiones de estimadores consistentes. Para los siguientes ejemplos usaremos resultados ya obtenidos anteriormente. De la discusión de las variables media y cuasivarianza muestral en el caso normal del capítulo 4 obtenemos directamente las dos siguientes ilustraciones. Ejemplo La media muestral como estimador de μ en una X Nμ, σ 2 0, con σ 2 0 conocida. Si X Nμ, σ0 2 entonces X n Nμ, σ0 2 /n, así que Xn μ 5.22 P μ X n μ ε =P μ σ 0 / n ε σ 0 / nε =2 1 Φ, n σ 0 que es una fórmula explícita que únicamente requiere calcular numéricamente valores de la función de distribución Φ. Si, como en el ejemplo 5.4.1, tomamos σ 0 =1, n = 900 y ε =1/10, la probabilidad anterior es 21 Φ %. Compárese con el % que se obtenía con la estimación general vía Chebyshev, que no sacaba partido de que X n es una variable normal. R Nota Podemos reescribir la velocidad de convergencia que supone la expresión 5.22 en términos de funciones elementales usando la estimación 1 Φx φx/x, parax>0, de la cola de la normal estándar nota 2.3.3, de la siguiente manera: ε n P μ X n μ ε =2 1 Φ 2σ0 σ 0 ε 1 e nε2 /2σ0 2. n 2π

25 5.4. Comportamiento asintótico de estimadores 63 Recuérdese que la desigualdad de Chebyshev daba P μ X n μ ε VμX n = σ2 0 ε 2 nε. 2 Como comparación, pongamos que σ 0 = 1 y tomemos ε = n 1/4 aunque, para esta comparación, en lugar de 1/4 valdría cualquier exponente menor que 1/2. Tendríamos entonces una estimación 2 P μ X n μ n 1/4 π vía el teorema del límite central, frente a la estimación que daría Chebyshev. No hay color! P μ X n μ n 1/4 1 n 1 n/2 e n1/4 Ejemplo La cuasivarianza muestral como estimador de σ 2 para una variable X Nμ 0,σ 2,conμ 0 conocida. Como n 1Sn 2 /σ2 χ 2 n 1, tenemos que P σ 2 Sn 2 n 1S 2 σ2 n εn 1 ε =P σ 2 σ 2 n 1 σ 2 n 1S 2 n = P σ 2 σ 2 n 1 1+ ε n 1S 2 n σ 2 + P σ 2 σ 2 n 1 1 ε σ 2 = [ 1 F χ 2 n 1 n 11 + ε/σ 2 ] + F χ 2 n 1 n 11 ε/σ 2 ; una expresión exacta, en términos de percentiles de la χ 2 n 1,válida para todo n. Adelántandonos a los argumentos que detallaremos en el apartado C, observemos que una χ 2 n 1 es una suma de n 1 variables independientes, todas con la misma distribución de hecho, normales estándar al cuadrado, y su esperanza es n 1ysu varianza 2n 1. Por el teorema del límite central tenemos que, si n es grande, n 1S 2 n σ 2 n 1 2n 1 N0, 1 en el sentido de que las funciones de distribución son próximas, lo que nos da, tras unas ligeras manipulaciones, que ε n 1 P σ 2 Sn 2 σ2 ε 2 1 Φ 2 σ 2 cuando n es grande, que es justamente el caso de interés. Ejemplo Estimador M n =máxx 1,...,X n del parámetro a de unif[0,a]. El estimador M n es sesgado, pero asintóticamente es insesgado, pues su media, como ya sabemos, es E a M n = n n+1 a.

26 64 Capítulo 5. Estimación puntual de parámetros De M n =máxx 1,...,X n conocemos la distribución exacta ejemplo 5.1.7, que nos permite escribir P a M n a ε =P a M n a ε =1 ε/a n. Así quem n no sólo es consistente, sino que además la probabilidad de error de estimación converge exponencialmente a 0. Pero, más interesante: cambiemos la escala del error y consideremos Esto nos dice que P a M n a aε/n = 1 ε/n n e ε n n a a M n converge en distribución a exp1. Es decir, con esa normalización tenemos una distribución exacta en el límite, que precisa el error que se puede llegar a cometer cuando se estima a con M n. Ejemplo X expλ. La media muestral como estimador del parámetro θ =1/λ para Recuérdese sección que X gamma1/θ, 1. Usando la proposición 2.13 y las propiedades de rescalado de las variables Gamma, obtenemos: n i=1 1 X i gamma θ,n = 2 θ n i=1 De manera que podemos calcular explícitamente: 1 1 X i gamma 2,n = gamma 2, 2n 2 P θ Xn 1 2 n ε = P θ X i 2n 2n ε θ θ θ i=1 = P χ 2 2n > 2n 1+ ε + P χ 2 2n < 2n 1 ε θ θ = χ 2 2n. la N 0, 1, de la χ 2 n ydelaexp1. De nuevo una expresión exacta, en términos de percentiles de χ 2 2n R. Nota En los ejemplos anteriores la velocidad de consistencia se ha expresado en términos de C. Mediante aproximaciones asintóticas generales Supongamos que T n es una sucesión consistente de estimadores de un parámetro θ. Esto nos dice que, para todo a>0, P θ T n θ a n 1,

27 5.4. Comportamiento asintótico de estimadores 65 esto es, que para n grande, es muy probable T n se parezca mucho al valor de θ. Vamos ahora a reescalar esas tan pequeñas diferencias entre T n y θ, considerando una sucesión k n y la probabilidad 5.23 P θ k n T n θ a, donde a>0estáfijo.silasucesión k n es constante, por muy grande que ésta sea, la probabilidad 5.23 seguirá tendiendo a 1 cuando n. Por otro lado, si k n muy rápidamente, esa probabilidad tenderá a 0 cuando n.cabe imaginar entonces que pudiera existir una sucesión k n para la que la probabilidad anterior tienda a un número estrictamente entre 0 y 1, para ese a>0 prefijado. En la mayor parte de los estimadores que se manejan, ocurrirá que el argumento anterior se puede extender a todos los valores de a, y que existirá una sucesión k n, que tiende a + cuando n,paralaque 5.24 P θ k n T n θ a F a cuando n, donde F a es una cierta función de distribución continua. Siéste es el caso, y somos capaces de calcular los valores de la función F, entonces podremos usar la convergencia dada en 5.24 para obtener estimaciones asintóticas, cuando n de probabilidades del tipo P θ T n θ asinmás que deshacer los cambios de escala. El ejemplo paradigmático de esta manera de proceder es, claro, el teorema del límite central, en el que por ejemplo tomamos T n = X n, y calculamos probabilidades del tipo P μ X n μ <ε aprovechando que n Xn μ P μ <t Φt σ cuando n, donde Φ es la función de distribución de la normal estándar, como ya se ha ilustrado en varias ocasiones. Nótese que la sucesión k n viene dada aquí por n/σ. En las dos siguientes secciones usaremos esta idea en el análisis asintótico de los dos tipos de estimadores más habituales, los que se obtienen por el método de los momentos, y los de máxima verosimilitud Comportamiento asintótico de los estimadores por momentos Para una variable general con EX 2 < +, elteoremadellímite central nos permite precisar, con la normalización adecuada, cuán buena es la estimación de EX con la media muestral X n. Si X tiene EX =μ y VX =σ 2, entonces Xn μ σ/ n converge en distribución a una variable N 0, 1.

28 66 Capítulo 5. Estimación puntual de parámetros Resulta más conveniente escribir esta convergencia como sigue: n Xn μ converge en distribución a una variable N 0,σ 2. Así que,paran grande, P X n μ ε =P n X n μ /σ nε/σ 2 1 Φ nε/σ. En el caso en que X sea normal, el es un =. Veamos un ejemplo. Ejemplo La media muestral como estimador de p en una X berp. Recuérdese que E p X =p yquev p X =p1 p. La variable media muestral para muestras de tamaño n X n = 1 n n i=1 X i tiene media E p X n =p yvarianzav p X n =p1 p/n. De manera que, para n grande, n X n p P p X n p ε =P ε nε n 2 1 Φ. p1 p p1 p p1 p Por cierto, en este caso, como la función x x1 x en el intervalo [0, 1] alcanza su máximo en x =1/2, resulta que 0 p1 p 1/4 parap [0, 1], y por tanto podemos estimar la probabilidad anterior como sigue: nε 2 1 Φ 2 1 Φ2 nε, p1 p que es una estimación uniforme en p. Si el estimador en cuestión fuera, en lugar de la habitual media muestral, un promedio de, digamos, cuadrados, de la forma X 2 n = 1 n n Xi 2, aplicaríamos el mismo procedimiento salvo que ahora, claro, los parámetros de la tipificación son distintos. En concreto, como E X n 2 = EX 2 y V X 2 VX 2 n =, n tendríamos que n X 2 n EX 2 converge en distribución a una variable N 0, VX 2. i=1

29 5.4. Comportamiento asintótico de estimadores 67 Con frecuencia, el estadístico de interés para estimar un cierto parámetro es una cierta función g de la variable media muestral X n, o de la media muestral de los cuadrados X 2 n, como por ejemplo 1 X n oquizás 1 X 2 n = n n 1/2. Xi 2 Revise el lector los ejemplos vistos hasta ahora, y en particular los estimadores que se obtienen por el método de momentos del apartado 5.2. En esos casos, el siguiente teorema resulta extremadamente útil. Teorema 5.14 Método delta Sea Z n una sucesión de variables aleatorias en un espacio de probabilidad Ω, P, F tal que n Zn μ converge en distribución a N 0,σ 2. i=1 Sea g una función continua en R, queesc 2 en un intervalo que contiene a μ, ytal que g μ 0.Entonces n gzn gμ converge en distribución a una variable N 0, g μ 2 σ 2. En el uso que haremos aquí de este resultado, como sucesión Z n tomaremos la sucesión de medias muestrales X n oquizás las de las medias muestrales de cuadrados, o..., cuya normalidad, tras la pertinente normalización, viene garantizada por el teorema del límite central. La conclusión será que funciones razonables de esa media muestral también exhiben normalidad asintótica. Lector, exhibimos primero la idea de la demostración, para luego dar una demostración completa con todos sus detalles. Idea de la demostración. Se tiene que n Zn μ σy, donde Y es una normal estándar. Obviemos. Asíque Z n = μ + σ n Y. Obsérvese que Z n será proximoaμ para n grande. Ahora gx gμ+g μx μ, si x próximo a μ. Obviemos. Combinando, tenemos que gz n =gμ+g μz n μ =gμ+ g μ σ n Y. Es decir, como la normal estándar es simétrica, n gz n gμ es una normal de media 0 y varianza g μ 2 σ 2.

30 68 Capítulo 5. Estimación puntual de parámetros Demostración. Fijemos t R. Queremos comprobar que lím P ngz n gμ t =Φ n t σg μ Llamemos I a un intervalo abierto que contenga a μ, y donde 1 2 g x M, para un cierto M>0. Por la simetría de la normal centrada en 0 podemos suponer que g μ > 0, pues si no es el caso bastaría considerar g. Fijemos x I. Como x s x g u du ds = g s g μ ds = gx gμ g μx μ, μ μ se tiene que μ gx gμ =g μx μ+ x s μ μ. g u du ds esto no es más que el polinomio de Taylor de grado 1, con término de error, de donde gx gμ g μx μ 2M x s μ μ du ds =2M x μ2 2 = Mx μ 2. Fijemos α 0, 1 y ε>0, ambos pequeños, que luego haremos tender a 0. Por hipótesis tenemos que, para todo h>0, lím P n Z n μ h =Φh/σ Φ h/σ =2Φh/σ 1. n Recuérdese que Φz es una función que crece hacia 1 cuando z.fijemos entonces h grande, tan grande como para que 2Φh/σ 1 1 α/2. Y tomemos N suficientemente grande como para que, si n N, setengaque Consideremos, para n N, el suceso P n Z n μ h 1 α. Ω n = { n Z n μ h}, para el que PΩ n 1 α. En Ω n se tiene que Z n μ h/ n,así que aumentando N si fuera necesario, tenemos que para n N se tiene en Ω n que Z n I. Lo relevante de Ω n es que PΩ n 1 α, yademás que Z n I en Ω n. Por tanto, usando y la definición de Ω n,paran N se cumple en Ω n que gz n gμ g μz n μ M Z n μ 2 Mh2 n,