MAXIMUM LIKELIHOOD. Jesús A. González y Eduardo Morales

Transcripción

1 MAXIMUM LIKELIHOOD Jesús A. González y Eduardo Morales

2 Maximum Likelihood Estimation (MLE) 2 Método preferido para estimación de parámetros en estadística Indispensable para muchas técnicas de modelado estadístico Modelado no-lineal con datos que no siguen una distribución normal La meta del modelado es deducir la forma de un proceso al probar la viabilidad de el modelo

3 Maximum Likelihood Estimation (MLE) 3 Al especificar un modelo y sus parámetros para un conjunto de datos Evaluar qué tan bien se ajusta el modelo a los datos observados El buen ajuste se evalúa al encontrar los parámetros del modelo que mejor se ajustan a los datos Este proceso se conoce como n Estimación de parámetros

4 Estimación de Parámetros 4 Dos métodos generales para estimación de parámetros: 1. Least-squares estimation (LSE) n Estimación por mínimos cuadrados n Utilizado en varios conceptos n Regresión lineal n Suma de errores cuadrados n Desviación de la raíz del cuadrado de la media n No requiere (o mínima) asunción de la distribución n Útil para obtener medida descriptiva para sumarizar los datos observados n No tiene base para pruebas de hipótesis o construir intervalos de confianza

5 Estimación de Parámetros 5 Dos métodos generales para estimación de parámetros: 1. Maximum likelihood estimation (MLE) n Estimación por máxima verosimilitud n Estándar para estimación de parámetros e inferencia en estadística n MLE tiene muchas propiedades óptimas en la estimación n Información completa del parámetro de interés contenido en su estimador MLE n Consistencia: sobre el valor del parámetro verdadero que generó los datos, que se recupera asintóticamente (con suficientes datos) n Eficiencia: se obtiene la menor-posible varianza de los estimados del parámetro, recuperado asintóticamente n Invarianza a la parametrización (obtiene la misma solución MLE independientemente de la parametrización utilizada)

6 Estimación de Parámetros 6 Muchos métodos estadísticos de inferencia están basados en MLE Prerequisito para n Prueba chi-square n Prueba G-square n Métodos bayesianos n Inferencia con valores faltantes n Modelado de efectos aleatorios n Modelos de criterios de selección: criterio de información de Akaike y criterio de información Bayesiana

7 Especificación del Modelo 7 Función de densidad de probabilidad Muestra aleatoria de una población desconocida n y = (y 1,, y m ) La meta del análisis de datos n Identificar cuál es la población más probable de haber generado la muestra En estadística, cada población se identifica por su correspondiente distribución de probabilidad A cada distribución se asocia un valor único del parámetro del modelo

8 Especificación del Modelo 8 Función de densidad de probabilidad (continuación ) Cambiar el valor del parámetro, genera diferentes distribuciones de probabilidad Un modelo se define como una familia de distribuciones de probabilidad indexada por los parámetros del modelo f(y w) à función de densidad de probabilidad Nos dice la probabilidad de observar el vector de datos y dado el parámetro w

9 Especificación del Modelo 9 Función de densidad de probabilidad (continuación ) w = (w 1,, w k ) n Vector definido en el espacio de parámetros multi-dimensional n Si y i s son estadísticamente independientes una de otra n De acuerdo a teoría de probabilidad n La PDF de los datos y=(y 1,, y m ) dado el vector de parámetros w se puede expresar como una multiplicación de PDFs de observaciones individuales f (y = (y 1, y 2,..., y n ) w) = f 1 (y 1 w) f 2 (y 2 w)... f n (y m w).

10 Ejemplo 10 Caso más simple: una observación y un parámetro m = k = 1 Los datos, y representan una secuencia de sucesos de 10 tiradas Bernoulli (tirar una moneda 10 veces) n Probabilidad de éxito en cada tirada, w = 0.2

11 Ejemplo 11 Distribución binomial para el experimento con n = 10, y variando w: 0.2, 0.7 f (y n =10, w = 0.2) = (y = 0,1,...,10) 10! y!(10 y)! (0.2)y (0.8) 10 y f (y n =10, w = 0.7) = (y = 0,1,...,10) 10! y!(10 y)! (0.7)y (0.3) 10 y f (y n, w) = n! y!(n y)! (w)y (1 w) n y (0 w 1; y = 0,1,..., n)

12 Ejemplo 12 ð ¼ Þ Fig. 1. Binomial probability distributions of sample size n ¼ 10 and probability parameter w ¼ 0:2 (top) and w ¼ 0:7 (bottom).

13 Ejemplo 13 En la distribución binomial del ejemplo: El número de intentos (tiradas), n, se considera un parámetro La función de y especifica la probabilidad de los datos y para valores dados de n y w A la colección de todas las PDFs generadas al variar los parámetros en el rango (0-1en este caso para w, n>=1) define un modelo.

14 Función de Verosimilitud (likelihood) 14 Dado un conjunto de valores de parámetros La PDF correspondiente muestra que algunos datos son más probables que otros En el ejemplo, con w = 2, y = 2 es más probable de ocurrir que y = 5 (0.302 vs )

15 Función de Verosimilitud (likelihood) 15 Sin embargo, tenemos el problema inverso Ya observamos los datos Dados los datos observados y un modelo de interés n Encontrar la PDF, entre todas las densidades de probabilidad que provee el modelo, que tiene la mayor probabilidad de haber producido los datos Para resolver el problema se define la función de verosimilitud invirtiendo los roles del vector de datos y y el vector de parámetros w en f(y w) LL(w y) = f(y w).

16 Función de Verosimilitud (likelihood) 16 L(w y) representa la verosimilitud del parámetro w dados los datos observados y. Por ejemplo, con y = 7 y n = 10: L(w n =10, y = 7) = f (y = 7 n =10, w) = 10! 7!3! w7 (1 w) 3 (0 w 1).

17 Función de Verosimilitud (likelihood) 17 Fig. 2. The likelihood function given observed data y ¼ 7 and sample size n ¼ 10 for the one-parameter model described in the text.

18 Función de Verosimilitud (likelihood) 18 Diferencia importante entre las funciones PDF f(y w) y de verosimilitud L(w y) (ver figuras). Se definen sobre ejes diferentes No son directamente comparables f(y w) se define en la escala de datos n Función de los datos dado un conjunto de valores de parámetros L(w y) se define en la escala de parámetros n Función del parámetro, dado un conjunto particular de datos observados

19 Función de Verosimilitud (likelihood) 19 Fig. 1 nos dice la probabilidad de un valor de datos en particular para un parámetro fijo. Fig. 2 nos dice la verosimilitud ( probabilidad no normalizada ) de un parámetro particular para un conjunto de datos fijo. 92 which is known as the binomial distribution with parameters n ¼ 10; w ¼ 0:2: Note that the number of trials ðnþ is considered as a parameter. The shape of this PDF is shown in the top panel of Fig. 1. If the parameter value is changed to say w ¼ 0:7; a new PDF is obtained as 10! f ðy j n ¼ 10; w ¼ 0:7Þ ¼ y!ð10 yþ! ð0:7þy ð0:3þ 10 y ðy ¼ 0; 1; y; 10Þ whose shape is shown in the bottom panel of Fig. 1. The following is the general expression of the PDF of the binomial distribution for arbitrary values of w and n: n! f ðyjn; wþ ¼ y!ðn yþ! wy ð1 wþ n y ð0pwp1; y ¼ 0; 1; y; nþ ð3þ ð4þ which as a function of y specifies the probability of data y for a given value of n and w: The collection of all such PDFs generated by varying the parameter across its range (0 1 in this case for w; nx1) defines a model Likelihood function ð ¼ Þ interest, find the one PDF, among all the probability densities that the model prescribes, that is most likely to have produced the data. To solve this inverse problem, we define the likelihood function by reversing the roles of the data vector y and the parameter vector w in f ðyjwþ; i.e. data. Accordingly, we are faced with an inverse problem: Given the observed data and a model of I.J. Myung / Journal of Mathematical Psychology 47 (2003) LðwjyÞ ¼f ðyjwþ: ð5þ Thus LðwjyÞ represents the likelihood of the parameter w given the observed data y; and as such is a function of w: For the one-parameter binomial example in Eq. (4), the likelihood function for y ¼ 7 and n ¼ 10 is given by Lðw j n ¼ 10; y ¼ 7Þ ¼f ðy ¼ 7 j n ¼ 10; wþ ¼ 10! 7!3! w7 ð1 wþ 3 ð0pwp1þ: ð6þ The shape of this likelihood function is shown in Fig. 2. There exist an important difference between the PDF f ðyjwþ and the likelihood function LðwjyÞ: As illustrated in Figs. 1 and 2, the two functions are defined on different axes, and therefore are not directly comparable to each other. Specifically, the PDF in Fig. 1 is a function of the data given a particular set of parameter values, defined on the data scale. On the other hand, the likelihood function is a function of the parameter given a particular set of observed data, defined on the parameter scale. In short, Fig. 1 tells us the probability of a particular data value for a fixed parameter, whereas Given a set of parameter values, the corresponding PDF will show that some data are more probable than other data. In the previous example, the PDF with w ¼ 0:2; y ¼ 2 is more likely to occur than y ¼ 5 (0.302 vs ). In reality, however, we have already observed the Fig. 2 tells us the likelihood ( unnormalized probabil- Fig. 1. Binomial probability distributions of sample size n ¼ 10 and probability parameter w ¼ 0:2 (top) and w ¼ 0:7 (bottom). ity ) of a particular parameter value for a fixed data set. Note that the likelihood function in this figure is a curve Fig. 2. The likelihood function given observed data y ¼ 7 and sample size n ¼ 10 for the one-parameter model described in the text.

20 Ecuación de Verosimilitud 20 Las estimaciones MLE pueden no existir o pueden no ser únicas. Veremos sólo cuando existen y son únicas. Por conveniencia, MLE se obtiene maximizando la función log-likelihood: lnl(w y) lnl(w y) y L(w y) están monotónicamente relacionadas una a la otra n Se obtiene el mismo estimado MLE maximizando cualquiera de ellas

21 Ecuación de Verosimilitud 21 Asumiendo que lnl(w y) es diferenciable, si w MLE existe, debe satisfacer la siguiente ecuación diferencial parcial conocida como likelihood equation ln L(w y) w i = 0 con w i = w i,mle para todo i = 1,, k.

22 Ecuación de Verosimilitud 22 La ecuación representa una condición necesaria para la existencia de un estimado MLE Condición adicional a satisfacer para asegurar que lnl(w y) sea un máximo y no un mínimo La primera derivada no revela esta condición n Para ser un máximo, la forma de la función log-likelihood debe ser convexa (representar un pico y no un valle) en la vecindad de w MLE Se puede verificar con la segunda derivada de log-likelihoods y mostrando si son todos negativos en w i = w i,mle para i = 1,, k 2 ln L(w y) w 2 i < 0

23 Ejemplo 23 Con L(w n = 10, y = 7), obtenemos el log-likelihood como: ln L(w n =10, y = 7) = ln 10! + 7ln w + 3ln(1 w)(9) 7!3! La primera derivada del log-likelihood: d ln L(w n =10, y = 7) dw = 7 w 3 1 w = 7 10w w(1 w). Se requiere que esta ecuación sea cero y el estimado MLE deseado se obtiene como: w MLE = 0.7

24 Ejemplo 24 Para asegurar que la solución representa un máximo y no un mínimo, se obtiene la segunda derivada del log-likelihood en w = w MLE d 2 ln L(w n =10, y = 7) = 7 dw 2 w 3 = < (1 w) es negativo, como se desea.

25 Ecuación de Verosimilitud 25 En la práctica, (usualmente) no es posile obtener una solución en forma analítica para el estimado MLE Aún más cuando el modelo tiene muchos parámetros y su PDF es altamente no-lineal. En esas situaciones, el estimado MLE se debe ser buscado numéricamente usando algoritmos de optimización nolineales n Buscar subconjuntos mucho más pequeños del espacio de parámetros multi-dimensional, en lugar de búsqueda exhaustiva de todo el espacio de parámetros n Intratable conforme aumenta el número de parámetros

26 Ecuación de Verosimilitud I.J. Myung / Journal of Mathematical Psychology 47 (2003) Fig. 3. A schematic plot of the log-likelihood function for a fictitious one-parameter model. Point B is the global maximum whereas points A and C are two local maxima. The series of arrows depicts an iterative optimization process.

27 Referencia 27 In Jae Myung, Tutorial on maximum likelihood estimation. Journal of Mathematical Psychology 47, pp , 2003.