Modelos de suavizado, aditivos y mixtos

Transcripción

1 Carmen Armero 1 de junio de 2011

2 Introducción

3 Introducción Modelos lineales, LM Modelos aditivos, AM Modelos lineales generalizados, GLM

4 GAM I Un modelo lineal generalizado (GAM) es un modelo lineal generalizado con un predictor lineal definido a través de una suma de funciones suaves de las covariables (Y X, U, V, W, Z, ) Distribucion la familia exponencial µ = E(Y X, U, V, W, Z, ) g(µ) = Xβ + f 1 (U) + f 2 (V ) + f 3 (W, Z) + siendo: Y : variable respuesta X: matriz de diseño correspondiente a las covariables que definen las componentes paramétricas del modelo β: vector de los coeficientes de regresión U, V, W, Z, : covariables f j (): funciones suaves de las covariables

5 GAM II Distribuciones de probabilidad que pertenecen a la familia exponencial de distribuciones: Discretas: Bernoulli, binomial, binomial negativa, geométrica, multinomial, Poisson Absolutamente contínuas: beta, chi-cuadrado, Dirichlet, exponencial, gamma, normal, Weibull (siempre que el parámetro de forma sea conocido)

6 GAM III: Ejemplos (Y X, U, V, W ) Distribucion perteneciente a la familia exponencial, µ = E(Y X, U, V, W ) Modelo semiparamétrico con un vector de covariables X modelizado linealmente, α j es el efecto del nivel j de una variable cualitativa U y f 1 (V ) (f 2 (W )) es el efecto de V (W ) modelizado de forma no paramétrica g(µ) = Xβ + α j + f 1 (Z) + f 2 (W ) Modelo semiparamétrico en el que el efecto de W se modeliza linealmente, el efecto de X se modeliza de forma no paramétrica, el efecto interacción de la variable cualitativa U y de la covariable V se modeliza a través de una función no paramétrica f (U, V ) = f j (V ) g(µ) = β 0 + β 1 W + f (X) + f j (V ) Modelo no paramétrico en el que el efecto de X y el efecto interacción de la variable cualitativa U con las covariables V y W se modelizan de forma no paramétrica g(µ) = f (X) + f j (V, W )

7 GAM IV: Métodos de estimación Modelos lineales, LM: Mínimos cuadrados Modelos aditivos, AM: mínimos cuadrados penalizados Modelos lineales generalizados, GLM: Máxima verosimilitud : Maxima verosimilitud penalizada

8 , I Introduciremos los conceptos básicos del análisis estadístico de los modelos GAM trabajando sólo con dos variables predictoras para evitar que la notación sea excesivamente críptica y abstracta (Y i X 1i, X 1i ) Distribucion perteneciente a la familia exponencial µ i = E(Y i X 1i, X 1i ) g(µ i ) = f 1 (x 1i ) + f 2 (x 1i ), i = 1,, n Expresamos cada una de las dos funciones f 1 y f 2 a través de una base de funciones: f 1 (x 1i ) = q 1 j=1 β 1j b 1j (x 1i ); f 2 (x 2i ) = q 2 j=1 β 2j b 2j (x 2i )

9 , II Podemos expresar la función link del modelo GAM en términos matriciales como: siendo: g(µ) = }{{} n 1 X }{{} n (q 1 +q 2 ) g(µ 1 ) g(µ 2 ) g(µ n) = g(µ) = X β, β }{{} (q 1 +q 2 ) 1 = β 11 β 1q1 β 21 β 2q2, b 11 (x 11 ) b 1q1 (x 11 ) b 21 (x 21 ) b 2q2 (x 21 ) b 11 (x 12 ) b 1q1 (x 12 ) b 21 (x 22 ) b 2q2 (x 22 ) b 11 (x 1n ) b 1q1 (x 1n ) b 21 (x 2n ) b 2q2 (x 2n ),

10 , III Con todo lo que hemos visto y ya sabemos podemos considerar que un modelo GAM no es más que un modelo GLM en el que la matriz de diseño está formada por los elementos de una base de funciones que utilizamos para definir las funciones suaves del modelo, f 1 y f 2 Pero nos encontramos con dos problemas que no teníamos cuando trabajábamos con los GLM: 1 Falta de identificabilidad del modelo 2 Sobreajuste del modelo

11 , IV Cómo resolvemos la falta de identificabilidad del modelo? Imponiendo restricciones sobre los parámetros del modelo Restricción habitual: La suma o la media de cada vector: (f 1 (x 11 ),, f 1 (x 1n ) T (f 1 (x 21 ),, f 1 (x 2n ) T es cero, es decir: n q1 β i=1 j=1 1j b 1j (x1i) = 0 n q2 β i=1 j=1 2j b 2j (x2i) = 0 Esta restricción genera una reparametrización del modelo en términos de una nueva matriz de diseño y un nuevo vector de parámetros que nosotros representaremos como X y β de forma que g(µ) = Xβ será el modelo reparametrizado una vez que se han subsanado los posibles problemas de identificabilidad Cómo resolvemos el excesivo ajuste del modelo? Con penalizaciones

12 , V Cómo resolvemos el excesivo ajuste del modelo? Con penalizaciones La forma más conveniente es a través de una penalización del tipo de la que hemos trabajado en el tema anterior: β T S 1 β para f 1 y β T S 2 β para f 2 Estimador máximo verosímil de β es el vector que maximiza la función de verosimilitud penalizada: l penal (β) = l(β) 1 2 (λ 1β T S 1 β + λ 2 β T S 2 β) o, en términos de la deviance D(), el vector que minimiza: D(β) + (λ 1 β T S 1 β + λ 2 β T S 2 β) Procedimientos numéricos para maximizar l penal (β) y obtener, por lo tanto, ˆβ penal X ˆβ penal estimador de g(µ) g 1 (X ˆβ penal ) estimador de µ Cómo estimar el parámetro de escala de la distribución considerada? Pues igual que en los GLM Estimador de escala de Pearson

13 , IV Cuantos grados de libertad tiene un modelo GAM ajustado? Si los parámetros de suavización fueran todos cero los grados de libertad del modelo coincidirían con la dimensión del vector de parámetros β menos el número de restricciones necesarias para que el modelo sea identificable Pero si los parámetros de suavización tomaran valores grandes el modelo sería muy poco flexible y tendría pocos grados de libertad Cómo puedo evaluar el grado de flexibilidad del modelo? A través de los grados de libertad efectivos, que se definen como trazah, siendo H la matriz de proyección del modelo expresado como un GLM penalizado Puedo evaluar la contribución de cada una de las variables al grado de flexibilidad del modelo? Si, ˆβ penal = Fˆβ, por lo que el elemento F jj de F medirá el cambio en ˆβ j,penal como consecuencia de un aumento de una unidad en el coeficiente no penalizado ˆβ j De esa forma, F jj mediría los grados de libertad efectivos del parámetro β j ya que cada parámetro β j no penalizado sólo tiene un grado de libertad No escribimos la expresión de F, sólo trabajamos la idea

14 El método más utilizado para estimar los parámetros de suavización es el criterio de validación cruzada generalizado (GCV ) V g = n D(ˆβ) traza(i H) 2 = n D(ˆβ) (n DF efec ) 2 que selecciona como estimadores del parámetro de suavización el valor que minimiza dicho estadístico El criterio UBRE (Unbiased risk estimator) basado en el estadístico: UBRE = D( ˆβ) n 2 D( ˆβ) + 2 σ σ 2, n que selecciona como estimadores del parámetro de suavización el valor que minimiza dicho estadístico, suele utilizarse cuando la varianza σ 2 es conocido (casi nunca) Es una transformación lineal del criterio AIC

15 Cuantificación de la incertidumbre asociada a los estimadores: Intervalos de confianza Contrastes de hipótesis Distribución en el muestreo de los estimadores de los parámetros del modelo: puffff Aproximadamente, ˆβ N(E(ˆβ), V ˆβ ) Y con mucho esfuerzo podrán calcularse intervalos de confianza aproximados H 0 : β J = 0, H 1 : β J 0, siendo β J un subconjunto de β Si H 0 fuera cierta, ˆβ J ˆV ( ) ˆβ J /r ˆφ/(n DF efec ) F(r, n DF efec) siendo ˆV ( ) la pseudoinversa de la matriz de varianzas-covarianzas estimada de V βj y r su rango agggg!

16 El nombre Generalized Additive Model ha sido acuñado por Hastie y Tibshirani, quienes fueron los primeros que propusieron este tipo de modelos así como diversos procedimientos para su estimación y contraste La técnica específica de estimación que propusieron se llama backfitting Tiene la ventaja de poder integrar una gran variedad de procedimientos de suavización habituales (como los árboles de regresión) pero su punto débil está en la estimación del grado de suavización del modelo Los Generalized smoothing spline methods propuestos por Wahba, Gu y coautores para analizar modelos GAM integran perfectamente el problema de la estimación del grado de suavización del modelo Necesitan un fuerte bagaje matemático y son computacionalmente muy costosos, aunque últimamente han mejorado mucho en este terreno Hablaremos de los splines de suavizado (que no es lo mismo que los splines de regresión penalizados) en el tema 4 Los métodos bayesianos son la alternativa para trabajar este tipo de modelos de una forma natural Éste será el tema que trataremos el último dia de clase