Mathias Bourel. 2 de octubre de 2016

Transcripción

1 Regresión Logística Mathias Bourel IMERL - Facultad de Ingeniería, Universidad de la República, Uruguay 2 de octubre de 2016 M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

2 Introducción Supongamos que queremos modelar una variable Y categórica, binaria, (Y B(1, p)) por ejemplo: Presencia/ausencia de una determinada especie Especie1/especie2 Enfermo/ no enfermo Spam/no spam Quiebra/no-quiebra M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

3 Introducción Si quisieramos usar la regresión lineal Y = β 0 +β 1 X +ǫ E(Y X = x i ) = β 0 +β 1 x i E(Y X = x i ) =P(Y = 1 X = x i ) 1+P(Y = 0 X = x i ) 0 = p i }{{} p i y por lo tanto p i = β 0 +β 1 x i O sea la predicción hecha por el modelo estima la probabilidad de que el individuo x i pertenezca a la población 1. Inconveniente: p i [0,1]...No parece apropiado... M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

4 Introducción Los Modelos Lineales Generalizados (GLM) son una extensión de los Modelos Lineales a una familia más general. Propuestos por Nelder y Wedderburn en Se utilizan para modelar variables con una distribución proveniente de la familia exponencial las que podrán ser tanto continuas como categóricas. Son más flexibles en el sentido de que no se deben de cumplir los supuestos de normalidad y homocedasticidad en los errores o residuos. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

5 Introducción Mismos objetivos que la regresión lineal: Explicar/Describir: cuantificar la relación entre la variable de respuesta Y y las variables explicativas X 1,X 2,...,X d para conocerla y explicarla. Predecir: conocer los valores de Y dados los valores de las variables X 1,X 2,...,X d. Buscaremos construir un modelo matemático que nos ayude a comprender el fenómeno bajo estudio donde puede tener interés contemplar ambos objetivos. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

6 Introducción Supongamos que queremos modelar la presencia/ausencia de determinada especie a partir de variables ambientales o el desarrollo o no de determinada patología en función de determinados factores de riesgo. Nos puede interesar también conocer el comportamiento de una variables con más de dos categorías por ejemplo, niveles de contaminación en función de variables ambientales. Otra clase de variable que nos puede interesar modelar es del tipo: número de accidentes de tránsito en cierto lugar en un año dado o el número de llamadas que recibe una central telefónica en una hora en relación a ciertas variables X. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

7 Distribuciones de la familia exponencial Todos los ejemplos anteriores correspondan a ejemplos de variables Y con distribuciones provenientes de la familia exponencial. Variable dicotómica (presencia/ausencia especies, desarrollo/no desarrollo de cierta enfermedad): DISTRIBUCIÓN BINOMIAL Variable con varias categorías (niveles de contaminación): DISTRIBUCIÓN MULTINOMIAL Variable de conteo de eventos raros (muertes por accidente de tránsito en un período de tiempo dado): DISTRIBUCIÓN DE POISSON Hay muchas otras distribuciones pertenecientes a la familia exponencial como la Normal, la Binomial negativa, la Gamma, la Beta, etc. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

8 Distribuciones de la familia exponencial Se dice que una variable aleatoria Y tiene una distribución proveniente de una familia exponencial si su función de probabilidad puntual (variable discreta) o su densidad (variable continua) es de la forma: f(y,θ) = exp ( a(y)b(θ)+c(θ) +d(y) ) Por ejemplo: Distr. Poisson P(λ): P(Y = y) = λy e λ y! ( = exp ln Distr. Binomial B(n, p): ( n P(Y = y) = p ( λ y e λ y! )) = exp(y lnλ λ lny!) ) p y (1 p) n y =...(ejercicio) M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

9 Definición de los Modelos Lineales Generalizados Volviendo al caso general, si llamamos µ =E(Y), y consideramos una función g monótona y diferenciable entonces Un modelo lineal generalizado está dado por donde ν es un predictor lineal. Todo GLM tiene: g(µ) = β 0 +β 1 X 1 +β 2 X 2 + +β px p = ν g(µ) = X β = ν una componente aleatoria: variable de respuesta Y, representada por µ. una componente sistemática: combinación lineal de las variables explicativas (independientes, predictoras). Función link o de enlace: relaciona las dos componentes anteriores. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

10 Definición de los Modelos Lineales Generalizados De esta manera, los Modelos Lineales Generalizados permiten extender el modelo lineal de forma tal que la componente aleatoria no necesariamente tenga función de distribución normal si no que puede ser cualquier distribución proveniente de una familia exponencial y la función de enlace o link, puede ser cualquier función monótona y diferenciable. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

11 Funciones links Algunas funciones link o de enlace: 1 Distribución normal. Si Y tiene distribución normal entonces g = id (regresión lineal) 2 Distribución de Poisson. Si Y tiene distribución de Poisson entonces usamos g(µ) = ln(µ) (regresión de Poisson) ) 3 Distribución binomial. Si Y tiene distribución binomial entonces usamos g(µ) = ln( µ 1 µ (regresión logística) Nosotros nos concentraremos en este último caso cuando Y es binaria. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

12 Estimación de los parámetros A partir de n observaciones y suponiendo que g(µ i ) = β 0 +β 1 X i1 +β 2 X i2 + +β px ip i = 1,...,n se buscan los paramétros θ = (β 0,β 1,...,β d ) que maximicen el logaritmo de la función de verosimilitud L: ( n ) n ln(l(y,θ)) = ln f(y i,θ i ) = lnf(y i,θ i ) i=1 i=1 En el caso de la regresión lógistica binaria, y suponiendo que el modelo es g(p) = β 0 +β 1 X, al ser E(Y) = p(= µ), la función de verosimilitud se calcula como: n L(y,θ) = L(y,β 0,β 1 ) = p y i i (1 p i ) 1 y i i=1 y n ln(l(y,β 0,β 1 )) = (y i ln(p i )+(1 y i )ln(1 p i )) i=1 M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

13 Estimación de los parámetros Se prueba que se encuentra un único vector β que anula a todas las derivadas parciales de L(y,θ) simultaneamente. Ese β resulta ser un óptimo del problema de maximización. ( β 0, β 1 ) = Argmax β 0,β 1 ln(l(y,β 0,β 1 )) En la práctica este estimador se calcula usando métodos iterativos (método de Newton-Raphson o Fisher scoring). M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

14 Bondad del ajuste Consideramos la log-verosimilitud en el modelo completo (con todos los parametros): ln(l comp) = ln(l(y, β 0, β n 1 )) = (y j ln p i +(1 y j )ln(1 p i )) El modelo saturado es aquel que se ajusta perfectamente a los datos (todas las predicciones coinciden con las observaciones) y tiene tantos parámetros desconocidos como observaciones diferentes. Se pueden comparar las dos log-verosimilitudes anteriores para medir la bondad del ajuste del modelo a los datos observados mediante la desvianza D (estadístico de Wilks): ( ) Lcomp D = 2ln L sat i=1 M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

15 Bondad del ajuste Se considera el test { (H0 ) : el modelo se ajusta bien a los datos (H 1 ) : noh 0 Bajo H 0, el estadístico D tiene distribución χ 2 n (p+1). Rechazaremos H 0 si D > χ 2 n (p+1). (ojo que esto no siempre es bueno). La desvianza se lee en el cuadro del anova del modelo. Si la desvianza es grande tenemos un mal ajuste, mientras que si es pequeña esto indica un buen ajuste a los datos. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

16 Modelos anidados Al trabajar con la máxima verosimilitud usamos modelos anidados. Por ejemplo si tenemos 6 variables explicativas, el modelo completo es ν = β β i X i y un modelo reducido es i=1 ν = β 0 +β 1 X 1 +β 3 X 3. Decimos que los modelos están anidados si M 1 M 2 M comp La prueba de verosimilitud consiste en considerar el cociente Λ red = L red. L comp Si consideramos el test: { (H0 ) : β = (β 0,β 1,...,β p) modelo completo (H 1 ) : β = (β 0,β 1,...,β q) con q < p < n (p= máxima cantidad de variables; modelo completo). La idea es que si la hipótesis nula es cierta entonces Λ red debe ser muy cercano a 1, o sea L red y L comp muy cercanos en valor. Bajo (H 0 ), entonces 2ln(Λ red ) χ 2 p q M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

17 Comparación de modelos anidados Esto se puede extender a { (H0 ) : β = (β 0,β 1,...,β p) (H 1 ) : β = (β 0,β 1,...,β q) con q < p < n. La idea es que si la hipótesis nula es cierta entonces las verosimilitudes deben ser muy cercanos en valor y por lo tanto la diferencia entre los logaritmos chica. Usamos las diferencias entre las desvianzas ( ) D 0 D 1 = 2 ln(l( β p,y)) ln(l( β q,y)) Si los dos modelos describen bien los datos entonces D 0 χ 2 n (q+1) y D 1 χ 2 por lo n (p+1) tanto D 0 D 1 χ 2 p q y rechazamos la hipotesis nula si D 0 D 1 > χ 2 p q. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

18 Criterio Akaike Al igual que vimos para los modelos lineales (ML), podemos usar el criterio de Akaike (AIC) para comparar modelos con distinto número de parámetros. AIC = 2ln(L(y, β p))+2(p +1) Recordemos que cuanto menor el valor del AIC, mejor es el ajuste. El número AIC por sí solo no nos dice nada, lo que nos interesa es la diferencia de AIC entre diferentes modelos. Criterio posible: diferencias de 0 a 2: modelos similares diferencias de 4 a 7: es mejor el modelo con menor AIC diferencias > 10: es mucho mejor el modelo con menor AIC Si tenemos muchas variables podemos usar selección de variables con los métodos stepwise (paso a paso), forward (hacia adelante) o backward (hacia atrás) tomando como criterio de selección en cada paso el valor del AIC. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

19 Vovlemos al modelo de regresión logística binaria. Vamos a querer que p(x i ) = p i = F(β 0 +β 1 x i ) donde F es una función que toma valores entre 0 y 1 (más aún que sea una función de distribución) para que el modelo proporcione directamente la probabilidad de pertenecer a cada uno de los grupos. Por lo que una función link adecuada para modelar este tipo de variables es la función logit quedando el modelo de regresión logística con la siguiente forma: si p =P(Y = 1 X) entonces el modelo logístico múltiple es: ( ) p logit(p) = ln = β 0 +β 1 X 1 + +β px p 1 p Entonces p = 1 1+e (β 0+β 1 X 1 + +β px p) y en este caso F(t) = 1 1+e t y se llama función de distribución logística. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

20 Ejemplo >library(islr) >attach(default) >data=default >data >head(data,n=4) default student balance income 1 No No No Yes No No No No Figura: Ejemplo: Probabilidad de default en la tarjeta de crédito en función del balance mensual en la tarjeta (Cap. 4 de [2]) M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

21 Estimación e interpretación de los coeficientes La estimación de los coeficientes de la regresión se hace por el método de máxima verosimilitud. ( ) Supongamos que ln p = β 1 p 0 +β 1 X Odds = p Indica cuantas veces es más probable que ocurra un evento respecto a 1 p que no ocurra. Odds-ratio: OR= Odds X+1 (como cambia la respuesta de interés al aumentar una Odds X unidad). En este caso una cuenta inmediata muestra que β 1 = ln(or) y por lo tanto e β 1 = OR Entonces si X augmenta de k unidades se tiene que OR = e kβ 1. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

22 Tabla comparativa LM y GLM LM GLM Parámetros β 0,β 1,...,β d β 0,β 1,...,β d Estimación Mínimos Cuadrados Máxima Verosimilitud Ajuste R 2 Desvianza Comparación modelos AIC, F AIC, Desvianza Supuestos Residuos normales +Gauss Y familia exponencial M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

23 Seguimos con el ejemplo > modelo=glm(default~balance,family=binomial,data) > summary(modelo) Call: glm(formula = default ~ balance, family = binomial, data = data) Deviance Residuals: Min 1Q Median 3Q Max Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e e <2e-16 *** balance 5.499e e <2e-16 *** M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

24 β 1 = 0,0055 incremento en balance implica incremento en default. El estadistico z = β 1 /s.e( β 1 ) juega el mismo papel que el estadístico t de la regresión lineal por lo que un valor importante de z implica rechazar la hipotesis nula (H 0 ) : β 1 = 0. Esta hipótesis nula implica que p(x) = eβ 0 y no depende del valor de X (en este caso balance). 1+e β 0 Claramente hay una relación entre balance y default. Predicción: predict(modelo, data.frame(balance=c(1000,2000)), type= response ) Esto es que p(1000) = e 10,63+0, e 10,63+0, = 0,00575, p(2000) = 0,586 Ajuste: >1-pchisq(modelo$deviance,9998) Obtenemos 1 entonces el modelo se ajusta bien a los datos. Si queremos calcular el riesgo de default al aumentar el balance en 100 dólares se tiene que e 100 0,0055 = 1,73 y el riesgo aumenta aprox. 2 veces. M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

25 Usando la variable categorica student >modelo2=glm(default~student,family=binomial,data) >summary(modelo2) Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) < 2e-16 *** studentyes *** >predict(modelo2, data.frame(student=c("yes","no")), type= response ) P(default=Yes student=yes) = e 3,5041+0, e 3,5041+0, = 0,0431 P(default=Yes student=no) = e 3,5041+0, e 3,5041+0, = 0,0292 M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

26 Usando todas las variables: > modelo3=glm(default~.,family=binomial,data) > summary(modelo3) Coefficients: Estimate Std. Error z value Pr(> z ) (Intercept) e e < 2e-16 *** studentyes e e ** balance 5.737e e < 2e-16 *** income 3.033e e >predict(modelo3, data.frame( student="yes",balance=1500,income=40000), type= response ) p(x) = e 10,869+0, , , e 10,869+0, , , = 0,058 Si Student=No: p(x) = e 10,869+0, , , e 10,869+0, , , = 0,105 M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

27 Qué tan performante es el modelo? Cuánto se equivoca? >pred=predict(modelo3,data.frame=data,type="response") >contrasts(default) >prediccion=rep("no",10000) >prediccion[pred>.5]="yes" >table(prediccion,default) > table(prediccion,default) default prediccion No Yes No Yes > mean(prediccion==default) [1] Es satisfactorio??... M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28

28 Referencias 1 Mathias Bourel, Carolina Crisci. Notas del curso Estadística Avanzada y Aplicaciones, MAREN, CURE Rocha, Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani, An Introduction to Statistical Learning with Applications in R, Springer, M.Bourel (IMERL, UdelaR) Regresión Logística 2 de octubre de / 28