Maxima Verosimilitud [Escribir el subtítulo del documento] Valores que hacen mas verosímil la información

Transcripción

1 Maxima Verosimilitud [Escribir el subtítulo del documento] Valores que hacen mas verosímil la información Theodoro Perez Brito 24/05/2009

2 1. Principio de la máxima Verosimilitud: Supongamos que la distribución de X depende un parámetro desconocido representamos la función de densidad de X en x por f(x ) [en general, tanto X como son vectores] la función de máxima verosimilitud L( x) toma X como la fuente de información y como la variable a estimar: el objetivo es encontrar un valor del parámetro que maximice L( x),valor del parámetro que más probablemente ha dado lugar a los datos observados, L( x)=f(x ) Función de verosimilitud La probabilidad de dadas las observaciones realizadas se denomina función de verosimilitud y se representa por L. L( x1,.xn)=f(x1, xn Si las variables X son independientes e idénticamente distribuidas la función de verosimilitud L deviene: L( x1,.xn)=f(x1 f(xn Es decir, si los elementos de X son independientes, la función conjunta puede escribirse como el producto de las distribuciones marginales individuales Esto permite igualar la función de verosimilitud al producto de las funciones marginales individuales Si la probabilidad de un evento X depende de los parámetros del modelo p el cual es dado. P (x p) Entonces podríamos hablar acerca de la verosimilitud. L (p x) Esta es, la verosimilitud de los parámetros dados de la data. Para modelos más sensibles, encontraremos que cierto tipo de datos son más probables que otros. El objetivo de la estimación de la máxima verosimilitud es encontrar el valor(es) de parámetro que hacen de la información observada más verosímiles. Esto es porque la verosimilitud de los parámetros de datos dados definida a ser igual a la probabilidad de los parámetros de datos dados. Técnicamente, una es proporcional a la otra, pero esto no afecta el principio. Si nosotros estuviésemos involucrados en el negocio de hacer mercado, o hacer predicciones de mercado basadas en un grupo de asunciones, entonces podríamos estar interesados en probabilidadesla probabilidad de que cierto evento ocurra o no ocurra. Sin embargo en el caso del análisis de datos, ya hemos observado toda la data: Una vez que ha sido observada ella es corregida. Estamos macho más interesado en la verosimilitud del modelo de parámetros que subyacen a la data corregida.

3 Probabilidad Conociendo parámetros -> Predicción de salida. Verosimilitud Observación de la data -> Estimación de parámetros. Ahora intentaremos dar una explicación mediante uno que otro ejemplo siendo la forma mas fácil de poder entender. Reiteramos, el principio simple de la máxima verosimilitud de la estimación de parámetros es este: encontrar los valores de parámetros que hacen da la información observada más verosímil. Como podríamos ilustrar esto en un simple experimento con una moneda? Esto es mucho más que asumir que p es un cierto valor (0.5) nosotros podríamos desear encontrar el valor estimado de la máxima verosimilitud (MLE-máximum likehood estímate) de p, dado un especifico grupo de datos. Más allá de la estimación de parámetro, el marco de la verosimilitud nos permite hacer un test de los valores de parámetro. Por ejemplo, nosotros podríamos haber querido preguntar o no si el estimado p difiere significativamente del 0.5 o no. Este test es esencialmente preguntar: hay evidencias de que la moneda esta amañada? Veremos como tal test puede ser ejecutado cuando hemos introducido el concepto de un test de relación de verosimilitud. Digamos que lanzamos la moneda 100 veces y observamos 56 caras y 44 cruces. En vez de asumir que p es 0.5 nosotros podemos encontrar la MLE para p. Entonces podríamos querer preguntar de todos modos o no si este valor difiere significativamente del 0.5. Como hacer esto? Encontramos el valor de p que hace la data observada más verosímil. Como hemos previamente mencionado, la información observada ahora es corregida. Ellas serán constantes que son introducidas en nuestro modelo de probabilidad binomial. n = 100 (total de lanzamientos). H = 56(total de caras obtenidas). Imagine que p fue 0.5. Metiendo este valor en nuestro modelo de probabilidad como sigue: Distribución de probabilidad binomial:

4 n = total de lanzamientos de la moneda h = numero de caras obtenidas P=probabilidad de obtener una cara en cualquier tirada. Pero que si p fuera 0.52? Así podemos concluir que p es más verosímil para 0.52 que para 0.5. Podemos tabular la verosimilitud para diferentes valores de parámetro y encontrar la máxima verosimilita estimada de p: Si nosotros graficamos esta información en un amplio rango de posibles valores de p, veremos la siguiente superficie de verosimilitud.

5 Podremos ver que el máximo valor de verosimilitud estimado para p para rondar el valor 0.56.En efecto es exactamente 0.56 y es fácil de ver porque hace sentido en este trivial ejemplo. El mejor estimado para p desde cualquier valor del ejemplo será la proporción de caras observada en ese Ejemplo. (en una forma similar, el mejor estimado para la población de media siempre será la muestra media). Esperamos que este simple ejemplo nos haya podido entregar el concepto de máxima verosimilitud, este quizás es uno de los más simples. En ejemplo mucho más complejo que este se puede apreciar también este principio. 2. MLE en la práctica: 2.1 MLE Analítico. Algunas veces podemos escribir una simple ecuación que describa la superficie de verosimilitud (ejemplo la superficie que ya hemos explicado).en este caso podemos escribir la máxima de esta curva igualando la primera derivada a cero. Esto es, esto representa el valor pico de la curva, donde el gradiente de la curva pasa de positivo a negativo (yendo de izquierda a derecho).en teoría esto representa la máxima verosimilitud estimada de el parámetro. 2.2 MLE numérico.

6 Pero usualmente no podemos, o no seleccionados una ecuación que puede ser diferenciada para encontrar el MLE estimado. Esto es especialmente preferido si el modelo es complejo y envuelve muchos parámetros y/o funciones complejas de probabilidad.(ejemplo la distribución de probabilidad normal). En este escenario, es también no fiable evaluar la verosimilitud en todos los puntos, o en un número razonable de puntos, en el espacio de parámetro del problema así como hicimos en el ejemplo de la moneda. En ese ejemplo el espacio de parámetros fue solamente de una dimensión (un solo parámetro) y rango entre 0 y 1.p puede teóricamente tomarse de cualquier valor entre 0 y 1.la MLE siempre será una aproximación, si deseamos evaluar la verosimilitud para un numero finito de valores de parámetro. Por ejemplo seleccionas evaluar la similitud en pasos de 0.02.Pero pudimos haber seleccionado en pasos de o de etc. En teoría y práctica, se tiene un margen de tolerancia en el cual tu serás feliz de estimar cual debe ser tu salida. Aquí vemos porque las computadoras son esenciales para este tipo de problemas. Ellas pueden tabular muchos y tanto muchos de valores rápidamente y mejorar mucho más la resolución. Si el modelo tiene más de un parámetro, el espacio de parámetro crecerá muy rápidamente. Evaluando la verosimilitud de forma exhaustiva se hace práctica imposible aun para las computadoras. Esto es el porqué es llamada (optimización o minimización), los algoritmos se han hecho indispensables para estadística y cuantificación científica en las últimas décadas. Simplemente poner, el trabajo de un algoritmo de optimización es encontrar de forma rápida el grupo de valores de parámetro que hacen de la data observada más verosímil. Note que es precisamente este tipo de cambio de velocidad información que el método MLC analítico usa-la diferencia tiene que ver con el cambio o la velocidad de cambio de una cantidad (ejemplo verosimilitud) con respecto a algunos otros factores (ejemplo parámetros). 2.3 Otras consideraciones Prácticas. Nosotros miraremos en un serie de indicadores y una serie de problemas que cultivan una estimación de máxima verosimilitud usando un método numérico. Removiendo la constante: La función de verosimilitud para una distribución binomial: En el contexto de MLE, notemos que los valores que están representando la información serán fijados. Hay n y h. En este caso el coeficiente binomial depende solamente de estas constantes.

7 Porque no depende del valor de parámetro p podemos esencialmente ignorar este primer término. Esto porque cualquier valor para p el cual maximice la cantidad de salida también será maximizada. Esto significa que la verosimilitud no tendrá una escala completa de media. Esto no es usualmente importante, sin embargo, como veremos, generalmente no estamos interesados en el valor absoluto de la similitud pero si en la relación entre dos verosimilitudes. En el contexto de un test de relación de verosimilitud. Podemos usualmente querer ignorar las partes de la verosimilitud que no dependen de los parámetros en orden a reducir la intensidad computacional de algunos problemas. Aun en un simple caso de una distribución binomial, si el número de intentos se hace muy grande, la calculación de las factoriales puede hacer irrealizable. 3. Loga-verosimilitud: Otra técnica para hacer la vida un poco más fácil es trabajar con el logaritmo natural de verosimilitud. La principal razón para esto es, otra vez reducir la carta computacional. Si multiplicamos muchos de los muy pequeños números juntos (dígase menos de ) entonces será muy rápido computarlos, con un número a ser representado muy pequeño por cualquier calculador o computadora como diferente de cero. Esta situación ocurre generalmente en el cálculo de verosimilitud, cuando usualmente multiplicamos las probabilidades de muchos de los raros pero independientes eventos juntos para calcular las probabilidades conjuntas. Con Loga-verosimilitud, simplemente se suman aquellos términos en vez de multiplicarlos (Logaverosimilitud siempre será negativa. Note que si a=bc Entonces Log(a)=log(b)+log(c) Así, logo-verosimilitud conceptualmente no son diferentes a verosimilitudes normales. Cuando optimizamos la loga-verosimilitud con respecto al modelo de parámetro, también optimizamos la verosimilitud con respecto al mismo parámetro.

8 Dado que el logaritmo natural ln es una función estrictamente creciente, el valor máximo de L( x) si existe, estará en el mismo punto que el máximo de la función logaritmo de verosimilitud ( x)=ln[l( x)] Debido a que la función de densidad f(x ) tiene usualmente una estructura de producto, ( x)=ln[l( x)] resulta más manejable. Si es continuo entonces ( x)=0 mostrará el máximo para L( x) lnl( x1,... xn) ln f( x i ) n i 1 lnl( x1,... xn) lnp( Xi x ) n i 1 Para el ejemplo visto más arriba, podemos también graficar la loga-verosimilitud. Podemos ver que la grafica que da es similar a MLE para p.