8. Estimación puntual

Transcripción

1 8. Estimación puntual Estadística Ingeniería Informática Curso Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

2 Contenidos 1 Introducción 2 Construcción de estimadores Método de los momentos Método de máxima verosimilitud 3 Propiedades de los estimadores Estimadores insesgados o centrados Estimadores eficientes Propiedades de los EMV Consistencia y eficiencia asintóticas Invarianza Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

3 Introducción { puntual estimación por intervalos Inferencia estadística { de confianza sobre parámetros constrastes de hipótesis de Bondad de Ajuste estimación de los parámetros de una distribución: elegir el valor (desconocido) de un parámetro de la población constrastes de hipótesis: decidir entre rechazar o no una hipótesis sobre parámetros - para determinar si un parámetro de una distribución toma o no un determinado valor de Bondad de Ajuste - para definir si un conjunto de datos se puede modelar mediante una determinada distribución o no Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

4 Introducción Estimación puntual Estimación mediante un solo valor de los parámetros de una distribución. La estimación puntual consiste en utilizar el valor de un estadístico para inferir el parámetro de una población. usamos la media muestral X para estimar la media de una población µ usamos la proporción de una muestra ˆp para estimar la proporción poblacional p Un estimador de un parámetro θ es un estadístico T = T (X 1,..., X n ) usado para estimar el valor del parámetro θ de una población. El valor observado del estadístico t = T (x 1,..., x n ) es la estimación de θ, y la representamos por ˆθ. θ puede ser un solo parámetro o un conjunto de parámetros desconocidos θ = (θ 1,..., θ k ) Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

5 Introducción Los estimadores son variables aleatorias tienen una distribución de probabilidad, correspondiente a las distribuciones muestrales su distribución (media, varianza, etc.) le confiere una serie de propiedades estadísticas (sesgo, mínima varianza, consistencia, eficiencia, suficiencia): se puede definir la calidad del estimador se puede comparar con otros estimadores no hay ningún estimador perfecto: siempre habrá algún error en el proceso de estimación deben estudiarse las distintas propiedades de los estimadores para decidir cual es el más apropiado... Cómo construir un estimador? Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

6 Construcción de estimadores Método de los momentos Construcción de estimadores Objetivo: construir un estimador del parámetro poblacional θ = (θ 1,..., θ k ) 1. Método de los momentos los momentos caracterizan una distribución de probabilidad si dos variables aleatorias tienen los mismos momentos, entonces dichas variables tienen o siguen la misma función de densidad Podemos emplear los momentos muestrales para estimar los parámetros, basándonos en la intuición de que los momentos de la población, α r, se parecerán a los respectivos momentos de la muestra, a r Igualamos los k primeros momentos ordinarios de una población a los correspondientes momentos de una muestra Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

7 Construcción de estimadores Método de los momentos 1. Método de los momentos (cont.) r-ésimo momento ordinario a r de una muestra aleatoria (X 1,..., X n ) a r = Entonces si una distribución tiene k parámetros desconocidos, para su estimación se tendrá lo siguiente: n i=1 n a 1 = α 1 a 2 = α 2... a k = α k X r i Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

8 Construcción de estimadores Método de los momentos Ejemplo 1. X Exp(λ): Sea una variable aleatoria con distribución exponencial de parámetro λ; queremos encontrar el estimador del parámetro usando el método de los momentos. Como sólo existe un parámetro, será : α 1 = a 1 El primer momento es la media, y en la exponencial es 1, por lo que: λ 1 λ = n i=1 n X i ˆλ = n n = X i i=1 1 X, es decir, el estadístico usado para estimar el parámetro λ es el inverso de la media muestral Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

9 Construcción de estimadores Método de los momentos Ejemplo 2. X N(µ, σ): Estimar por el método de los momentos los parámetros µ y σ 2 de una distribución normal. Necesitamos estimar dos parámetros usaremos los dos primeros momentos ordinarios de la distribución normal: α 1 = µ; α 2 = σ 2 + µ 2. Igualando los dos primeros momentos poblacionales con sus respectivos momentos muestrales y despejando tenemos que: ˆµ = n i=1 n X i = X ; σ 2 = n i=1 n X 2 i X 2 Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

10 Construcción de estimadores Método de los momentos Ejemplo 3. X BN(r, p): Queremos estimar por el método de los momentos los parámetros r y p de una distribución binomial negativa. Sabemos que E[X ] = r 1 p p y V (X ) = r 1 p E[X 2 ] = V (X ) + E[X ] 2 = r(1 p)(1+r(1 p)). Igualando p 2 los momentos poblacionales y muestrales resulta: Xi = r 1 p X 2 i = n p n Resolviendo el sistema: ˆp = 1 n X ˆr = X 2 i X 2 p 2 r(1 p)(1 + r(1 p)) p 2 X 2 1 n X 2 i X 2 X Para una muestra de tamaño 3, con los valores (20, 19, 22), se obtiene la estimación ˆp = 13,1 y ˆr = El método de los momentos puede presentar inconvenientes, como que la estimación obtenida esté fuera del espacio paramétrico. Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

11 Construcción de estimadores Método de máxima verosimilitud 2. Método de máxima verosimilitud Se utiliza la función de masa p o densidad f (conjunta) de la muestra como una función de θ = (θ 1,..., θ k ) (función de verosimilitud) { p(x1 )... p(x L(θ) = L(θ x 1,..., x n ) = n ), en el caso discreto f (x 1 )... f (x n ), en el caso continuo Se maximiza la función de verosimilitud. El EMV de θ es el formado por los valores ( ˆθ 1,..., ˆθ k ) que maximizan la función de verosimilitud de la muestra (x 1,..., x n ) obtenida. Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

12 Construcción de estimadores Método de máxima verosimilitud L(θ) expresa la probabilidad (o densidad) que los diferentes valores de θ dan a la muestra obtenida (maximizamos dicha probabilidad o densidad). El método permite construir buenos estimadores, de utilización universal, denominados estimadores de máxima verosimilitud (EMV). El estimador de máxima verosimilitud es siempre un valor del espacio paramétrico. En la práctica, es frecuente considerar la función logl(θ) a la hora de maximizar, ya que presenta los mismos máximos y mínimos y suele ser más fácil de manejar. Propiedad de invarianza: Si ˆθ es el EMV de θ, y g es una función biyectiva y diferenciable, entonces g(ˆθ) es el EMV de g(θ). Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

13 Construcción de estimadores Método de máxima verosimilitud Ejemplo 1. X P(λ): Vamos a calcular el EMV del parámetro λ de una distribución de Poisson P(λ), para una muestra de tamaño n. Construimos la función de verosimilitud de la muestra: ) L (ˆλ = n p(x i ) = i=1 n e λ λ x i i=1 Tomando logaritmos resulta: ) log L (ˆλ = nλ + log λ x i! n x i i=1 = e nλ λ n i=1 x i n i=1 x i! n log x i! Derivando respecto al parámetro e igualando a 0, se obtiene: n n ) x i log L (ˆλ i=1 = n + = 0 ˆλ = i=1 λ λ n Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30 i=1 x i

14 Construcción de estimadores Método de máxima verosimilitud Ejemplo 1. X P(λ) (cont.): Debemos comprobar que efectivamente es un máximo; para ello, calculamos la derivada segunda, que resulta ) 2 log L (ˆλ λ 2 = n i=1 x i λ 2 < 0, por lo que el EMV de λ viene dado por la media muestral. Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

15 Construcción de estimadores Método de máxima verosimilitud Ejemplo 2. X Unif (θ, θ + 1): Calculemos ahora el EMV del parámetro θ que define una distribución uniforme en el intervalo (θ, θ + 1). Función de densidad para la uniforme en (θ, θ + 1) : f (x) = 1, x (θ, θ + 1) Función de verosimilitud (utilizando funciones indicadoras): L(θ) = n I {θ<xi <θ+1)} = I {θ<míni x i }I {θ>máxi x i 1} = I {máxi x i 1<θ<mín i x i } i=1 que toma el valor constante 1 en el intervalo (máx x i 1, mín x i ), cualquier punto de este intervalo maximiza la función de verosimilitud y puede ser escogido como EMV. i i Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

16 Construcción de estimadores Método de máxima verosimilitud Ejemplo 3. X N(µ, σ): Vamos a calcular el EMV del parámetro θ = (µ, σ 2 ) de una N(µ, σ). La verosimilitud de la muestra (x 1,..., x n ) es: n ( ) n L(θ) = L(µ, σ ) =... = e 1 2σ 2 (xi µ) 2 2πσ 2 2πσ 2 Su logaritmo es: i=1 log(l(θ)) = n 2 log(σ2 ) n 2 log(2π) 1 2σ 2 (xi µ) 2 Las derivadas parciales con respecto a los parámetros µ y σ 2 son: que se anulan en: log(l(x 1,..., x n, λ)) µ log(l(x 1,..., x n, λ)) σ 2 µ = xi n = 1 σ 2 (xi µ) = n 2σ (σ 2 ) 2 (xi µ) 2 (xi µ) 2 y σ2 = n Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

17 Construcción de estimadores Método de máxima verosimilitud Ejemplo 3. X N(µ, σ): (cont.) Las derivadas parciales segundas son: 2 log(l(x 1,..., x n, λ)) µ 2 = n σ 2 2 log(l(x 1,..., x n, λ)) µ σ 2 = 1 (xi (σ 2 ) 2 µ) 2 log(l(x 1,..., x n, λ)) (σ 2 ) 2 = n 2(σ 2 ) 2 1 (xi (σ 2 ) 3 µ) 2 ( ) n Hˆθ = 0 σ 2 0 n 2 σ 22 (Matriz hessiana en ˆθ) Determinante positivo y autovalores negativos el punto ( µ, σ 2 ) es un máximo Si (X 1,..., X n ) N(µ, σ), los EMV de µ y σ 2 son respectivamente la media y la varianza empíricas de la muestra (como era de esperar) Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

18 Propiedades de los estimadores Estimadores insesgados o centrados Estimadores insesgados Un estimador ˆθ es insesgado para θ si [ˆθ] E = θ propiedad muy deseable: establece que, en media, esperamos que el valor de ˆθ sea θ no evita otras propiedades indeseables : es importante tener presente que la calidad global del estimador no reside en una única propiedad, sino en un conjunto de ellas Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

19 Propiedades de los estimadores Estimadores insesgados o centrados Ejemplo 1. Sabemos que, en cualquier población: E [ ] [ ] X = µ, E s 2 n 1 n = n σ2, E [ sn 1 2 ] = σ 2, la media muestral es un estimador insesgado para el parámetro µ la varianza muestral es sesgada para σ 2 la cuasivarianza muestral es insesgada para la σ 2 Sabemos que cuando estudiamos la proporción p de una población que presenta cierta característica: E[ˆp] = p la proporción muestral es insesgada para la proporción poblacional p Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

20 Propiedades de los estimadores Estimadores insesgados o centrados Ejemplo 2. X Unif (0, θ): Consideremos el estimador T (X 1,..., X n ) = máx{x 1,..., X n } = X (n) para estimar el extremo superior del intervalo. Queremos determinar si es un estimador insesgado. Necesitamos conocer su distribución para calcular su esperanza... La densidad de una uniforme en (0, θ) es f (x) = 1 θ, para 0 < x < θ, y su función de distribución es F (x) = P(X x) = x 1 0 θ dt = x θ, para 0 < x < θ. La distribución de X (n) es, para 0 < x < θ: F X(n) = P(X (n) x) = P(X 1 x,..., X n x) y por tanto, la función de densidad de la v.a. X (n) es f X(n) = n x n 1, para 0 < x < θ θ n Finalmente, calculamos su esperanza: E[X (n) ] = θ 0 x nx n 1 θ n ind. = P(X 1 x)... P(X n x) = x n θ n n dx = θ < θ es sesgado n + 1 Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

21 Propiedades de los estimadores Estimadores eficientes Estimadores eficientes (I) Una medida de la calidad de un estimador para θ no debe ser sólo que su media sea el parámetro, sino que haya una alta probabilidad de que los valores observados de ˆθ sean próximos a θ (varianza lo más pequeña posible) Dado ˆθ insesgado para θ, se dice que ˆθ es insesgado de mínima varianza para θ si para cualquier otro estimador insesgado ˆθ de θ se verifica (ˆθ) V V (ˆθ ) dados dos estimadores insesgados, es preferible el que tiene menor varianza (los valores observados del estimador serán más próximos a la media = θ). no existen estimadores insesgados con varianza tan pequeña como quisiéramos (cota inferior para la varianza) Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

22 Propiedades de los estimadores Estimadores eficientes Estimadores eficientes (II) Teorema de Cramer-Rao: Sean (X 1,..., X n ) una muestra aleatoria simple de una población X con función de masa o densidad f (x; θ), siendo θ el parámetro que queremos estimar, y ˆθ un estimador insesgado de θ. Entonces, la varianza de ˆθ satisface la desigualdad (ˆθ) V 1 [ ( ) ] log f (X ; θ) 2 cota de Cramer-Rao ne θ Expresión equivalente, más cómoda computacionalmente: (ˆθ) 1 V [ 2 ] log f (X ; θ) ne θ 2 Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

23 Propiedades de los estimadores Estimadores eficientes Estimadores eficientes (III) Dado un estimador ˆθ insesgado para ˆθ, el cociente entre la cota de Cramer-Rao y su varianza se denomina eficiencia de ˆθ la eficiencia de un estimador insesgado es siempre menor o igual que 1 Un estimador insesgado con eficiencia igual a 1 se denomina eficiente los estimadores eficientes existen sólo bajo determinadas condiciones Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

24 Propiedades de los estimadores Estimadores eficientes Ejemplo: Consideremos una población Bernouilli de parámetro θ desconocido. Supongamos que tenemos dos estimadores ˆθ 1 y ˆθ 2 dados por ˆθ 1 = X, ˆθ 2 = n X + 1 n + 2. Por una parte: ] ] E [ˆθ1 = θ y E [ˆθ2 = nθ + 1 n + 2 ˆθ 1 es insesgado y ˆθ 2 es sesgado Por otra parte: ) V (ˆθ 1 = θ(1 θ) n y ) V (ˆθ 2 = ) ) V (ˆθ 1 > V (ˆθ 2 nθ(1 θ) (n + 2) 2 Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

25 Propiedades de los estimadores Estimadores eficientes Ejemplo (cont.): Calculemos la cota de Cramer-Rao (CCR): como f (X ; θ) = θ x (1 θ) 1 x : log f (X ; θ) = x log θ + (1 x) log(1 θ) Derivando dos veces: 2 f (X ; θ) θ 2 = x θ 2 1 x (1 θ) 2, y tomando esperanzas: [ 2 ] f (X ; θ) E θ 2 1 CCR = [ 2 ] = f (X ; θ) ne θ 2 = 1 θ 1 1 θ = 1 θ(1 θ), θ(1 θ) n = V (ˆθ 1 ) ˆθ 1 es eficiente pero ˆθ 2 tiene menor varianza Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

26 Propiedades de los estimadores Estimadores eficientes Se llama error cuadrático medio del estimador ˆθ a ECM(ˆθ) = E[(ˆθ θ) 2 ] Si llamamos sesgo del estimador ˆθ a B(ˆθ) = E[θ] θ se tiene que ( ) 2 ECM(ˆθ) = V (ˆθ) + B(ˆθ) Exigir un estimador con ECM pequeño implica minimizar simultáneamente su sesgo y su varianza. Para los estimadores insesgados, el criterio coincide con minimizar la varianza (acotada por CCR), es decir, se busca el estimador eficiente. Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

27 Propiedades de los estimadores Propiedades de los EMV Propiedades de los EMV El uso extendido del método de máxima verosimilitud para la construcción de estimadores de θ se debe a las óptimas propiedades que éstos poseen cuando el n es suficientemente grande. Sea ˆθ el EMV de θ, para la verosimilitud f (x; θ). Entonces, ] ĺım [ˆθ E = θ, y ĺım V (θ) = 1 1 [ n n n ( ) ] 2 E log f (X ;θ) θ Cuando n crece, la distribución del EMV θ es aproximadamente normal. Puesto que la varianza del estimador tiende a la cota de Cramer-Rao, cuando n crece, el EMV es asintóticamente eficiente. Propiedad de Invarianza: Si ˆθ es el EMV de θ, y g es una función biyectiva y diferenciable, entonces g(ˆθ) es el estimador de máxima verosimilitud de g(θ). Por ejemplo, si ˆθ es el EMV de σ, entonces ˆθ 2 es el EMV de σ 2 Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

28 Propiedades de los estimadores Propiedades de los EMV Ejemplo: Vamos a calcular el EMV de θ para la distribución uniforme en (0, θ), utilizando una muestra aleatoria de tamaño n. L(X 1,..., X n ; θ) = ( ) 1 n I θ {0 Xi θ, i} = ( ) 1 n I θ {θ X(n)} I {X(1)>0}, ( ) 1 n que toma el valor en el intervalo [ X θ (n), + ) y toma el valor 0 fuera de dicho intervalo. ( ) 1 n decreciente con θ el máximo se alcanza en ˆθ = X θ (n) Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

29 Propiedades de los estimadores Propiedades de los EMV Ejemplo (cont.): Como vimos anteriormente, la función de distribución del estimador X (n) es: F X(n) (x) = P(X (n) < x) = P(X 1 < x,..., X n < x) = ( 0, x < 0 = P(X 1 < x) P(X n < x) = [P(X 1 < x)] n x ) n =, 0 x θ θ 1, x > θ y su densidad es: f X(n) (x) = n x n 1 θ n, 0 x θ 0, en el resto Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30

30 Propiedades de los estimadores Propiedades de los EMV Ejemplo (cont.): También sabemos que: E [ X (n) ] = θ 0 xn x n 1 nθ dx = θn n + 1 Calculemos la varianza de X (n) V ( X (n) ) = θ 0 x 2 n x n 1 ( ) nθ 2 θ n dx = n + 1 nθ 2 (n + 1) 2 (n + 2) 0 El EMV para θ no es insesgado, pero sí asintóticamente eficiente. Estadística (Aurora Torrente) 8. Estimación puntual Curso / 30