Tema 4 - Introducción

Transcripción

1 Tema 4 - Introducción 1 Tema 3. Estimación puntual Criterios de comparación de estimadores: Insesgadez. Estimadores de mínima varianza. Error cuadrático medio. Consistencia. Cómo obtener estimadores? Tema 4. Estimadores de máxima verosimilitud Métodos de cálculo. Propiedades.

2 Distribución temporal del temario Tema 1 T T T P Tema 2 T T T P T T T P P Tema 3 T T T P T T T P P Tema 4 T T T P T T T P P Tema 5 T T T P T T T P P Tema 6 T T T P T T T P P Tema 7 T T T P T T T P P T denota una hora de clase de teoría P denota una hora de clase práctica

3 3 Tema 4. Estimadores de máxima verosimilitud Los contenidos a desarrollar en este tema son los siguientes: Definición y propiedades. Técnicas de cálculo. Propiedades de los estimadores de máxima verosimilitud en muestras grandes. Lecturas recomendadas: Sección 7.6 del libro de Peña (2005).

4 Ejemplo 1. En una urna hay 4 bolas que pueden ser blancas o negras. La proporción, θ, de bolas blancas en la urna es desconocida y puede tomar valores en Θ = {0, 1/4, 1/2, 3/4, 1}. Para obtener más información extraemos de la urna 2 bolas con reemplazamiento. Supongamos que la primera bola observada es blanca (B) y la segunda es negra (N). Si calculamos la probabilidad de obtener ese resultado para cada valor posible de θ obtenemos: 0 si θ = 0 3/16 si θ = 1/4 Pr {B, N θ} = 1/4 si θ = 1/2 3/16 si θ = 3/4 0 si θ = 1 4 Qué valor de θ te resulta más verosímil? Verosímil: 1. adj. Que tiene apariencia de verdadero. 2. adj. Creíble por no ofrecer carácter alguno de falsedad. Real Academia Española c

5 Definiciones 5 Definición 1. Sea (X 1, X 2,..., X n ) una muestra aleatoria de una población X con función de probabilidad P θ (o con función de densidad f θ ) donde θ = (θ 1, θ 2,..., θ k ) es un vector de parámetros. La función de verosimilitud, L(x 1, x 2,..., x n ; θ), de la muestra (x 1, x 2,..., x n ) es la función de probabilidad (o de densidad) de (X 1, X 2,..., X n ) evaluada en (x 1, x 2,..., x n ). Definición 2. Sea (X 1, X 2,..., X n ) una muestra aleatoria simple de una población X con función de probabilidad P θ (o con función de densidad f θ ) donde θ = (θ 1, θ 2,..., θ k ) es un vector de parámetros. La función de verosimilitud de la muestra (x 1, x 2,..., x n ) es: L(x 1, x 2,..., x n ; θ) = P θ (x 1 )P θ (x 2 )... P θ (x n ), o L(x 1, x 2,..., x n ; θ) = f θ (x 1 )f θ (x 2 )... f θ (x n ).

6 6 Ejemplo 1. Por simplicidad supondremos que θ toma valores en Θ = {1/4, 1/2, 3/4}. Definimos la variable X que toma valor 1 si sale blanca y 0 si sale negra. (a) Escriba la función de verosimilitud en el caso de que las bolas se obtengan con reemplazamiento (m.a.s.). Definición 2. L(x 1, x 2 ; θ) = ( θ x 1 (1 θ) 1 x 1 ) ( θ x 2 (1 θ) 1 x 2 ). (b) Escriba la función de verosimilitud en el caso de que las bolas se obtengan sin reemplazamiento (No es m.a.s.). Definición 1. L(x 1, x 2 ; θ) = ( θ x 1 (1 θ) 1 x ) ( ( ) x2 ( 1 4θ x1 1 3 ( )) ) 1 x2 4θ x1 3

7 Definiciones 7 Definición 3. Sea (X 1, X 2,..., X n ) una muestra aleatoria de una población X con función de verosimilitud L(x 1, x 2,..., x n ; θ) donde θ = (θ 1, θ 2,..., θ k ) es un vector de parámetros. Un estimador, θ = θ 1, θ 2,..., θ k ) es el estimador de máxima verosimilitud de θ si L(x 1, x 2,..., x n ; θ) = máx θ Θ L(x 1, x 2,..., x n ; θ), para cada (x 1, x 2,..., x n ) X. Ejemplo 1. (c) Obtenga el estimador máximo verosímil (E.M.V.) de θ en el caso de muestras con reemplazamiento. L(x 1, x 2 ; θ) = θ (x 1+x 2 ) (1 θ) (2 x 1 x 2 ). Tenemos que Θ = {1/4, 1/2, 3/4}, así que bastará con evaluar la función de verosimilitud en estos valores. x1 + x2 θ

8 Definiciones 8 A menudo resulta más cómodo trabajar con ln f θ en lugar de con f θ, y buscamos el EMV mediante: ln L(x 1, x 2,..., x n ; θ) = máx θ Θ ln L(x 1, x 2,..., x n ; θ). La función l(x 1, x 2,..., x n ; θ) = ln L(x 1, x 2,..., x n ; θ) recibe el nombre de función soporte. Si la función de verosimilitud es derivable respecto de θ entonces el sistema de ecuaciones de verosimilitud: θ j l(x 1, x 2,..., x n ; θ) = 0, para j = 1, 2,..., k, proporcionan los máximos relativos de l(x, θ). Candidatos a EMV

9 9 Ejemplo 1. (d) Suponiendo que Θ = [0, 1], obtenga el estimador máximo verosímil (E.M.V.) de θ en el caso de muestras con reemplazamiento. l(x 1, x 2 ; θ) = (x 1 + x 2 ) ln(θ) + (2 x 1 x 2 ) ln(1 θ). l(x 1,x 2 ;θ) θ = (x 1 + x 2 ) 1 θ (2 x 1 x 2 ) 1 1 θ. Igualando a cero, obtenemos: θ = x 1+x 2 2. Es el EMV? (e) Obtenga la estimación máximo verosímil para la muestra x 1 = 1 y x 2 = 0. Bastará evaluar el estimador obtenido: θ = x 1+x 2 2 = 1 2. Ejercicio: Apartados (c) y (e) con muestras sin reemplazamiento.

10 10 Ejemplo 2. Obtenga los E.M.V. de los parámetros de las siguientes distribuciones suponiendo que dispone de una muestra aleatoria simple de tamaño n: X Bernoulli(p). X N (µ, σ 2 ) con σ conocida. X Poisson(λ). X Exponencial(λ). X N (µ, σ 2 ) con µ conocida. X N (µ, σ 2 ). Ejemplo 3. U(0, θ). Obtenga el E.M.V. para el parámetro θ de una distribución

11 Propiedades de los EMV 11 Principio de máxima verosimilitud: Si θ es el estimador máximo verosímil de θ, entonces µ = h( θ) es el E.M.V. de µ = h(θ). Consistencia y distribución asintótica: Bajo ciertas condiciones, se tiene que: θ es un estimadores consistente de θ. θ es asintóticamente normal: n( θ θ) A N (0, i(θ) 1 ), donde i(θ) = E [ ( θ ln f(x; θ)) 2 ] es la cantidad de información de Fisher correspondiente a una observación.

12 12 Ejemplo 4. (a) Obtenga el EMV del parámetro θ = e λ = Pr(X = 0) de una distribución P oisson(λ) si dispone de una m.a.s. de tamaño n. En el Ejemplo 2 obtuvimos que el EMV de λ es λ = x, entonces, por el principio de verosimilitud, el EMV de θ es: θ = e λ = e x. (b) Obtenga la distribución asintótica de λ. Tenemos que n( λ λ) A N (0, i(λ) 1 ), donde [ ( i(λ) = E λ ln λx e λ ) 2 ] [ ( ) ] 2 = E (X ln λ λ ln X!) X! λ [ (X ) ] 2 [ X 2 = E λ 1 = E λ 2 2 X ] λ + 1 = λ + λ2 λ 2 2 λ λ + 1 = 1 λ. Finalmente, n( λ λ) A N (0, λ).

13 13 (c) Obtenga la distribución asintótica de θ. Tenemos que n( θ θ) A N (0, i(θ) 1 ), donde i(θ) = E = E [ ( θ ln λx e λ X! ) 2 ] = E [ ( θ ln ( ) 2 ] ln(θ))x θ X! [ ( ) ] 2 (X ln( ln(θ)) + ln(θ) ln X!) θ = E [ ( X 1 θ ln θ + 1 ) ] 2 θ = λ + λ2 θ 2 ln 2 θ + 2 λ θ 2 ln θ + 1 θ 2 = ln θ + ln2 θ θ 2 ln 2 θ 2 ln θ θ 2 ln θ + 1 θ 2 = 1 θ 2 ln θ. Finalmente, n( θ θ) A N (0, θ 2 ln θ). La información de Fisher también [ puede calcularse ] mediante: 2 i(θ) = E ln f(x; θ). θ2

14 Propiedades de los EMV 14 Insesgadez asintótica: E[ θ] θ. Eficiencia asintótica: Var[ θ] A = 1/E [ ( θ ) ] 2 ln f(x; θ) = I(θ) 1 = (n i(θ)) 1. Cota de Frechet Cramer Rao. Var( ϑ) I(θ) 1, donde ϑ es un estimador centrado cualesquiera e I(θ) es la información de Fisher de una muestra de tamaño n.

15 15 Ejemplo 5. Supongamos que los rendimientos de las acciones de la empresa SEGURA.SL siguen una distribución normal de media µ euros y varianza σ 2. Se toma una m.a.s. de 20 rendimientos y se tiene: 5,29 3,66 5,71 6,62 4,30 5,85 6,25 3,40 3,55 5,57 4,60 5,69 5,81 5,71 6,29 5,66 6,19 3,79 4,98 4,84 (a) Calcular los valores de los estimadores máximo verosímiles de µ y σ en esa muestra. En el Ejemplo 2 obtuvimos que el EMV de (µ, σ 2 ) es ( x, s 2 ), entonces, por el principio de verosimilitud, tenemos que ( µ, σ) = ( x, s). x = 1 20 (5,29 + 3, ,84) = 5,188, s = 1 20 ((5,29 5,188)2 + (3,66 5,188) (4,84 5,188) 2 ) 0,9712.

16 16 Ejemplo 5. (b) El VaR (value at risk) es una medida de la máxima pérdida esperada en una cartera, durante período de tiempo específico con una probabilidad dada, α. Una manera de calcular el VaR es suponiendo que los beneficios diarios de un valor se distribuyen de acuerdo a la distribución normal. Esta simplificación permitió un importante avance de la teoría de carteras, y es frecuentemente empleada en cálculos estadísticos financieros. La empresa SEGURA.SL considera como pérdidas todos los rendimientos inferiores a 5 euros por acción. Es decir, los beneficios siguen una distribución N (µ 5, σ 2 ). En ese caso, las pérdidas máximas esperadas para un nivel α son: V ar = µ 5 z α σ. Obtenga la distribución asintótica del estimador V ar = µ 5 z α σ.

17 17 En primer lugar, obtenemos la distribución de ( µ, σ). Tenemos, f(x) = ( 1 exp 1 2πσ 2 (x µ) 2 ) σ 2 ln f(x) = ln 2π ln σ 1 (x µ) 2 2 σ 2. Obtenemos la derivadas parciales respecto de µ y σ: (x µ) ln f(x) = µ σ 2 σ ln f(x) = 1 σ (x µ)2 σ 3 y la matriz de segundas derivadas (Jacobiano): [ 2 µ µ ln f(x) ] [ 2 µ σ ln f(x) 2 σ µ ln f(x) 2 = σ σ ln f(x) 1 σ 2 2 (x µ) σ 3 2 (x µ) 1 3 (x µ)2 σ 3 σ 2 σ 4 ].

18 18 Obtenemos la matriz de información: [ i(θ) = i(µ, σ) = E 1 σ 2 2 (X µ) σ 3 2 (X µ) σ 3 1 σ (X µ)2 σ 4 ] = [ 1 σ σ σ2 σ 4 ] y la distribución de ( µ, σ) es:, ([ ] [ ]) µ A n N (0, i(θ) µ σ 1 ) = N σ ([ 0 0 ], [ σ σ 2 2 ]). [ Finalmente, como V ar = µ 5 z α σ = [1, z α ] µ σ ] 5, obtenemos: ) ( A n ( V ar V ar N 0, σ 2 + zα 2 σ 2 2 ).

19 Recapitulación 19 Tema 4. Estimadores de máxima verosimilitud Definición del estimador MV. Técnicas de cálculo. Cómo obtener estimadores? Propiedades de los estimadores de MV en muestras grandes. Insesgadez asintótica. Asintóticamente de mínima varianza. Consistentes. Distribución asintótica normal. Por qué elegir un EMV?

20 20 Tema 3. Estimación puntual Tema 4. Estimadores de máxima verosimilitud Generalización Tema 5. Intervalos de confianza Definición. Intervalos de confianza para medias y varianzas en poblaciones normales. Intervalos de confianza en muestras grandes. Determinación del tamaño muestral.