ESTIMACIÓN PUNTUAL Julián de la Horra Departamento de Matemáticas U.A.M.

Transcripción

1 1 Introducción ESTIMACIÓN PUNTUAL Julián de la Horra Departamento de Matemáticas U.A.M. En este capítulo, vamos a abordar la Estimación Puntual, que es uno de los tres grandes conjuntos de técnicas que utilizaremos en la Inferencia Estadística. La situación general que vamos a considerar es la siguiente: Disponemos de una muestra aleatoria (X 1,..., X n ) de una característica X de una población. Pensamos que esta característica puede ser adecuadamente modelizada mediante un modelo de probabilidad con función de masa P θ (x) (en el caso discreto) o con función de densidad f θ (x) (en el caso continuo). En cualquiera de los casos, lo único que nos falta por conocer es el valor del parámetro θ Θ que es desconocido. Lo que tratamos de hacer en este capítulo es encontrar estimaciones puntuales de este parámetro desconocido. En primer lugar, se plantearán dos ejemplos sencillos que servirán como motivación. Ejemplo 1.- En los ejercicios de cálculo de probabilidades, siempre se suele hablar de monedas equilibradas pero, naturalmente, no todas lo son. Nos gustaría conocer aproximadamente (estimar) la probabilidad de cara de una determinada moneda, y llamamos p = P (Cara). Necesitamos datos, para lo cual lanzamos la moneda, por ejemplo, 100 veces, y anotamos los resultados. Supongamos que obtenemos 55 caras y 45 cruces. Desde un punto de vista formal, las caras y las cruces pueden ser codificadas mediante unos y ceros, de modo que tenemos una muestra aleatoria (X 1,..., X 100 ) de X = { 1 (si sale cara) con probabilidad p 0 (si sale cruz) con probabilidad 1 p y, por tanto, X puede ser modelizada mediante un modelo de Bernoulli con parámetro p desoconocido. En este caso sencillo, parece razonable estimar la probabilidad de cara de la siguiente forma: ˆp = Frecuencia relativa de caras = Número de caras obtenidas Número de lanzamientos = = 0, 55 1

2 Ejemplo 2.- En una fábrica, se está ensayando una nueva fibra sintética, y se quiere conocer aproximadamente (estimar) cuál es la resistencia media a la rotura de las cuerdas fabricadas con esta nueva fibra. Llamaremos µ al valor de esta resistencia media que se quiere estimar. Necesitamos datos, para lo cual medimos la resistencia de, por ejemplo, 100 cuerdas, y anotamos los resultados. Supongamos que obtenemos una resistencia media muestral de 31 unidades. Desde un punto de vista formal, lo que tenemos es una muestra aleatoria (X 1,..., X 100 ) de la característica X = Resistencia a la rotura, que puede ser modelizada mediante una distribución N(µ; σ), con parámetros µ y σ desconocidos. En este caso sencillo, parece razonable estimar la resistencia media de la siguiente forma: ˆµ = Resistencia media muestral = x = 31 Obsérvese que µ es la resistencia media (desconocida) de toda la producción, mientras que x es la resistencia media (conocida) de una muestra. Si todas las situaciones a las que nos tuviéramos que enfrentar fueran tan sencillas e intuitivas como las de los ejemplos anteriores, seguramente no necesitaríamos desarrollar una metodología general de la estimación puntual. Pero, por un lado, los problemas no siempre son tan sencillos y, por otro lado, la intuición, a veces no nos dice nada, y otras veces nos resulta engañosa. Por este motivo, vamos a dar una metodología general que nos permita enfrentarnos a este tipo de problemas de un modo sistemático y lo más objetivo posible. 2 Estimadores puntuales En primer lugar, vamos a definir lo que entenderemos por un estimador puntual del parámetro θ: Definición.- Sea (X 1,..., X n ) una muestra aleatoria de una característica X de una población con función de masa P θ (x) (caso discreto), o con función de densidad f θ (x) (caso continuo), donde θ Θ es desconocido. Un estimador puntual de θ es una función T que a cada posible muestra (x 1,..., x n ) le hace corresponder una estimación T (x 1,..., x n ) de θ. 2

3 Observaciones: 1. Lo que vamos a estimar habitualmente es θ pero, en algunos casos, podría interesarnos estimar alguna función de θ. Por ejemplo, cuando X N(µ; σ), nos puede interesar estimar la desviación típica σ, pero también podemos estar interesados en estimar la varianza σ 2. En lo que sigue, sólo nos referiremos a la estimación de θ, pero teniendo claro que no habría ningún problema en extender las ideas a la estimación de alguna función de θ. 2. Evidentemente, T = T (X 1,..., X n ) es una variable aleatoria. En realidad, un estimador puntual no es más que un estadístico con una misión especial: acercarse lo más posible al verdadero y desconocido valor del parámetro. 3. La definición que hemos dado de estimador puntual es enormemente general y engloba, tanto estimadores muy razonables, como estimadores completamente absurdos. Por este motivo, lo siguiente que vamos a hacer es indicar alguna propiedad deseable para un estimador razonable. 3 Error cuadrático medio. Estimadores insesgados Definición.- El error cuadrático medio de un estimador T, para estimar θ, se define como: ECM(T ) = E[(T θ) 2 ] = E[(T (X 1,..., X n ) θ) 2 ] El objetivo de la definición está bastante claro: (a) T (X 1,..., X n ) θ mide el error que se comete al estimar θ mediante T (X 1,..., X n ). (b) Consideramos el cuadrado de ese error para evitar que las diferencias positivas se compensen con las negativas. (c)finalmente, calculamos cuanto vale, en promedio, este error cuadrático. Esta idea del error cuadrático medio ya fue utilizada para definir la recta de regresión. Por supuesto, lo que nos interesa es utilizar estimadores con 3

4 un error cuadrático pequeño. Para ver como puede conseguirse un error cuadrático pequeño, veamos una forma alternativa de expresarlo: E[(T θ) 2 ] = E[((T E[T ]) + (E[T ] θ)) 2 ] = E[(T E[T ]) 2 ] + (E[T ] θ) 2 = V (T ) + (Sesgo de T ) 2 donde: Sesgo de T = E[T ] θ De este modo, el error cuadrático medio se puede reducir, bien reduciendo la varianza del estimador, o bien reduciendo su sesgo. Una manera de eliminar completamente el sesgo es trabajar con estimadores insesgados: Definición.- Un estimador T es insesgado (o centrado) para estimar θ, cuando verifica: E[T ] = θ Los estimadores insesgados, no sólo son interesantes porque contribuyan a reducir el error cuadrático medio; son interesantes por sí mismos ya que, en promedio, sus estimaciones aciertan con el objetivo de estimar θ. Es sencillo encontrar ejemplos de estimadores insesgados: Ejemplo 1 (continuado).- Consideramos una muestra aleatoria (X 1,..., X n ) de X Bernoulli(p) (recordemos que este modelo será utilizado siempre que se quiera estimar una proporción p). Se había considerado que un estimador razonable para p podía ser: ˆp = Frecuencia relativa de éxitos = 1 n Xi = X Es muy sencillo comprobar que este estimador es insesgado para p: [ 1 ] E[ˆp] = E Xi = 1 E[Xi ] = 1 n n n (np) = p También es muy sencillo hallar su error cuadrático medio: ECM(ˆp) = ECM( X) = V ( X) + (Sesgo) 2 = V (X) n = p(1 p) n 4

5 Ejemplo 2 (continuado).- Consideramos una muestra aleatoria (X 1,..., X n ) de una característica X N(µ; σ). Se había considerado que un estimador razonable para µ podía ser: ˆµ = 1 n Xi = X Es muy sencillo comprobar que este estimador es insesgado para µ: [ 1 ] E[ˆµ] = E Xi = 1 E[Xi ] = 1 n n n (nµ) = µ También es muy sencillo hallar su error cuadrático medio: ECM(ˆµ) = ECM( X) = V ( X) + (Sesgo) 2 = V (X) n = σ2 n En cualquier caso, la cuestión fundamental sobre los estimadores puntuales es la que se planteaba en la introducción y sigue todavía sin respuesta: Es posible dar una metodología general que nos permita construir estimadores puntuales de un modo sistemático y lo más objetivo posible? Vamos a dar respuesta a esta cuestión en las dos siguientes secciones. 4 Método de los momentos En el Ejemplo 2 de la Introducción, se quería estimar la resistencia media a la rotura de las cuerdas fabricadas con una nueva fibra, y se proponía estimar esa resistencia media de todas las cuerdas fabricadas, mediante la resistencia media de las cuerdas utilizadas en una muestra. La idea intuitiva que hay detrás de este modo de proceder es que, seguramente, la media muestral (conocida) será bastante parecida a la media de toda la producción (desconocida). Esta idea intuitiva es la que se utiliza para formalizar el método de los momentos: Definición.- Sea (X 1,..., X n ) una muestra aleatoria de una característica X con función de masa P θ (x) (o función de densidad f θ (x)), donde θ = (θ 1,..., θ k ). El estimador de θ por el método de los momentos es el formado por los valores θ 1,..., θ k que se obtienen al resolver en θ 1,..., θ k el siguiente sistema de k ecuaciones: E[X] = 1 ni=1 X n i E[X 2 ] = 1 ni=1 X 2 n i E[X k ] = 1 ni=1 X k n i 5

6 Observaciones: 1. La justificación del método de los momentos es sencilla: se basa en la intuición de que los momentos de la población (E[X], E[X 2 ],... ) se parecerán a los respectivos momentos de la muestra ( 1 Xi, 1 n n X 2 i,... ). En consecuencia, consideramos k ecuaciones derivadas de esta intuición (tantas como componentes tiene el parámetro que necesitamos estimar). El nombre del método procede de que utilizamos los momentos (poblacionales y muestrales). 2. Hay que señalar, no obstante, que el método de los momentos presenta a veces graves inconvenientes. Por ejemplo, es perfectamente posible que la estimación obtenida corresponda a valores que están fuera del espacio paramétrico. Obviamente, esto último no es muy aconsejable. 5 Método de máxima verosimilitud El método más ampliamente utilizado para construir estimadores puntuales es el método de máxima verosimilitud. Está basado también en una idea intuitiva muy sencilla y no presenta inconvenientes serios como le ocurre a veces al método de los momentos. En el ejemplo siguiente vemos las ideas básicas que nos llevarán a la definición general. Ejemplo 3.- Consideramos una urna con 4 bolas, que pueden ser blancas o negras, pero no sabemos en qué proporción. Llamaremos θ a la proporción (desconocida) de bolas blancas en la urna, que puede tomar los valores θ Θ = { 0, } 1 4, 1 2, 3 4, 1 Para obtener información sobre este parámetro, extraemos de la urna 2 bolas con reemplazamiento (de esta forma, las observaciones son independientes). Supongamos que la primera bola observada es blanca y la segunda negra, de modo que la muestra obtenida es (B, N). La probabilidad que los diferentes valores de θ le dan a la muestra obtenida recibe el nombre de función de verosimilitud y es de la siguiente forma: L(θ) = P θ (B, N) = 6 0 si θ = 0 3/16 si θ = 1/4 4/16 si θ = 1/2 3/16 si θ = 3/4 0 si θ = 1

7 La idea del método de máxima verosimilitud es muy sencilla y muy razonable: tomar como estimación de θ, aquel valor que hace más probable (más verosímil) la muestra obtenida. Por tanto, en este caso, si la muestra obtenida era (B, N), la estimación de máxima verosimilitud sería: ˆθ = 1/2 Esta idea intuitiva del Ejemplo 3 es la que se utiliza para formalizar el método de máxima verosimilitud: Definición.- Sea (X 1,..., X n ) una muestra aleatoria de una característica X con función de masa P θ (x) (o función de densidad f θ (x)), donde θ = (θ 1,..., θ k ). La función de verosimilitud de θ es: L(θ) = P θ (x 1,..., x n ) = P θ (x 1 )... P θ (x n ) (caso discreto) L(θ) = f θ (x 1,..., x n ) = f θ (x 1 )... f θ (x n ) (caso continuo) El estimador de máxima verosimilitud de θ es el formado por los valores (ˆθ 1,..., ˆθ k ) que maximizan la función de verosimilitud L(θ). Observaciones: 1. La función de verosimilitud expresa la probabilidad (o la densidad) que los diferentes valores de θ le dan a la muestra obtenida. Lo que hacemos, por tanto, es maximizar esa probabilidad (o densidad), es decir, elegir el valor de θ que hace más verosímil la muestra obtenida. 2. Por la propia definición, la estimación de máxima verosimilitud siempre es un valor del espacio paramétrico (algo que no siempre ocurre con el método de los momentos). 3. El procedimiento más habitual para obtener el estimador de máxima verosimilitud es el siguiente: Obtenemos la función de verosimilitud: L(θ) = P θ (x 1,..., x n ) = P θ (x 1 )... P θ (x n ) Por supuesto, si estamos en un caso continuo, utilizaríamos la función de densidad del modelo utilizado. Obtenemos ln L(θ) en vez de L(θ), ya que es más fácil de manejar y presenta los mismos máximos y mínimos. 7

8 Despejamos θ 1,..., θ k del siguiente sistema de ecuaciones: ln L(θ) θ 1 = ln L(θ) θ k = 0 Por supuesto, hay que tener precaución con este procedimiento, ya que el punto crítico obtenido no tiene por qué corresponder a un máximo. También puede ocurrir que la función de verosimilitud se maximice en un extremo y no obtengamos nada con este procedimiento. 8