Modelos Lineales Generalizados (GLM)

Transcripción

1 1 1 Departmento de Estadística y Departamento de Administración ITAM Seminario ITAM-CONAC Métodos Estadísticos en Actuaría I Auditorio Raúl Baillères, ITAM 3 de Noviembre de 2011

2 1. Conceptos Preliminares Tipos de Variables Modelo de Regresión Lineal 2. Definición Análisis de Devianza Validación Casos Particulares Modelo Binomial (Regresión Logística) Modelo Poisson Sobredispersión: Modelo Poisson y Modelo Binomial Negativo Modelo Poisson-Gamma Modelo Tweedie 3. Aplicación en Tarificación

3 1. Conceptos Preliminares Tipos de Variables: 1 Cualitativas: Indican la presencia de una cualidad o atributo de las unidades experimentales. 1 Nominales: Ejemplo: Variable Género (Hombre, Mujer). 2 Ordinales: Ejemplo: Nivel Socioeconómico, NSE (Alto, Medio, Bajo). 2 Cuantitativas: Surgen de un proceso de medición o conteo en las unidades experimentales. 1 Discretas: Ejemplos: Edad en años cumplidos, número de visitas al doctor en un mes. 2 Continuas: Ejemplos: Estatura, peso.

4 Modelos de Regresión Lineal Preguntas: 1 Cuál es la relación entre la variable Y (variable dependiente, variable de respuesta) con el conjunto de variables {X 1, X 2,...,X k } (variables independientes, variables explicativas) en cierta población objeto de estudio? 2 Podemos describir el comportamiento de la variable Y en términos de las variables X? 3 Es posible construir un modelo estadístico que relacione Y con las X s de tal forma que dados los valores de las X s podamos encontrar un intervalo de predicción para la variable Y?

5 Objetivos del Análisis de Regresión: 1 Estimación y descripción: Resumir la información contenida en los datos. 2 Predecir (pronosticar) Y en términos de las X s. 3 Control: controlar (mantener) Y en un nivel deseado a través de la manipulación de las variables (de control) X.

6 Base de Datos para un Análisis de Regresión i-ésimo renglón: datos del i-ésimo individuo j-ésima columna: valores de la j-ésima variable.

7 Características del Modelo de Regresión Lineal: 1 Y es una variable univariada, del tipo cuantitativa discreta o continua medida en escala de razón. 2 Las variabes X pueden ser de cualquier tipo y estar medidas en cualquier escala de medición. 3 Los modelos son lineales en sus parámetros. Varios modelos no lineales se pueden transformar en modelos lineales. 4 La linealidad se refiere a los parámetros no a las variables.

8 Ejemplos: 1 Modelo 1: Y = β 0 +β 1 X + e 2 Modelo 2: ln(y) = β 0 +β 1 e X +β 2 X 2 + e 3 Modelo 3: e Y = β 0 +β 1 cos(x)+β 3 e X 3 + e 4 Modelo 4: Y = e β 0+cos(β 2 X) + e e: término de error β 0, β 1, β 2 y β 3 : parámetros. Modelos 1, 2 y 3: modelos válidos. Modelo 4: modelo no válido.

9 Modelo de Regresión Lineal Simple Y i = β 0 +β 1 X i + e i i = 1,...,n h(y i ) = β 0 +β 1 g(x i )+e i i = 1,...,n

10 Supuestos del Modelo 1 VE1) Es tal que cuando n, su varianza muestral 1 n n i=1 (X i X) 2 Q donde Q es una constante fija finita. 2 VE2) El cuarto momento de X es finito. 1 E1) Tienen media cero (condicional en X), E(e i X i ) = 0 Cov(e i, X i ) = 0. La variable explicativa X y el error e no están correlacionados. 2 E2) Son homoscedásticos (Tienen varianza constante), Var(e i X i ) = σ 2. Por lo tanto, el error tiene varianza constante que no es función de la variable explicativa. 3 E3) No están correlacionados, Cov(e i, e j X i, X j ) = 0 para toda i = j. 4 E4) Tienen una distribución normal, por tanto, e i N(0,σ 2 ) Equivalentemente, e N(0,σ 2 I n n )

11 Nótese que dados estos supuestos, E(Y i X i ) = β 0 +β 1 X i Var(Y i X i ) = σ 2 Y i X i N(β 0 +β 1 X i,σ 2 ) independientes.

12 Estimación por Mínimos Cuadrados Minimizar: SC(β 0,β 1 ) = n (Y i β 0 β 1 X i ) 2 i=1 Bajo normalidad de los errores es equivalente a Máxima Verosimilitud.

13 hcuartos hocupantes Figure: Criterio de Mínimos Cuadrados.

14 1 El valor ajustado de la E[Y X i ] dado por el modelo (Y gorro) Ŷi: Ŷ i = ˆβ 0 + ˆβ 1 X i 2 Suma de Cuadrados Total SCT : n SCT = (Y i Ȳ)2 Es la variación de Y sin tomar en cuenta la información dada por X. 3 Suma de Cuadrados del Modelo SCM: n SCM = (Ŷi Ȳ)2 Es la variación de los valores predichos por el modelo alrededor de su media Ȳ. 4 Suma de Cuadrados del Error SCE: n SCE = (Y i Ŷi) 2 i=1 i=1 i=1

15 A partir de la descomposición en suma de cuadrados SCT = SCM + SCE se define el coeficiente de determinación como R 2 = SCM ( SCT = 1 SCE ) 100 SCT

16 Es significativa (importante) la variable explicativa X? ˆβ 1 β 1 s 1 SC XX I.C: al (1 α)100% para β 1 : t (n 2) t-student con n 2 g.l. ˆβ 1 ± t (n 2),1 α 2 s 1 SC XX donde t (n 2),1 α es el percentil ( 1 α ) % de una distribución t-student con n 2 grados de libertad (g.l.). Prueba de Hipótesis: H 0 : β 1 = 0 vs. H a : β 1 = 1 ˆβ 1 s 1 t (n 2) es una cantidad pivotal bajo H 0. SC XX

17 Recuérdese que E(Y X), para X dada, es un parámetro (cantidad fija desconocida). Ê[Y X = x] = Ŷx Ŷ x β 0 β 1 x t (n 2) s 1 n + (x X) 2 SC XX I.C. al (1 α)100% para E[Y X = x] Ŷ x ± t (n 2),1 α 2 s 1 (x X) 2 + n SC XX

18 hcuartos hocupantes Figure: Intervalos de Confianza al 95% para E(Y X).

19 Predicción de Valores Futuros: I.P. al (1 α)100% para el valor futuro de Y en X = x ˆβ 0 + ˆβ 1 x ± t (n 2),1 α s 1+ 1 (x X) n SC XX

20 Análisis de Residuales ê i, definido como ê i = Y i Ŷi = observado i esperado i Determinar la existencia de violaciones a los supuestos del modelo. Si el modelo ajustado es adecuado entonces los residuales {ê 1, ê 2,..., ê n } se deben comportar como una muestra de los errores {e 1, e 2,...,e n }.

21 Inclusión de Variables Cualitativas: Para incluir una variable cualitativa como variable explicativa con m niveles (m posibles valores) en un modelo de regresión es necesario construir m 1 variables indicadoras relacionadas con m 1 de los m niveles de la variable cualitativa. Una variable indicadora, como su nombre lo señala, indica si el individuo tiene el valor de la variable cualitativa especificado en la definición de la variable indicadora.

22 Por ejemplo, 1 Para la variable Sexo con posibles valores Hombre (H) y Mujer (M) es necesario construir una variable indicadora: { 1 si el i-ésimo individuo es hombre I H (i) = 0 en otro caso 2 Para la variable Carrera con posibles valores Actuaría, Matemáticas, Administración, Contabilidad y Otra es necesario construir 4 variables indicadoras: { 1 si el i-ésimo individuo estudia Actuaría I Act (i) = 0 en otro caso { 1 si el i-ésimo individuo estudia Matemáticas I Mat (i) = 0 en otro caso { 1 si el i-ésimo individuo estudia Contabilidad I Conta (i) = 0 en otro caso { 1 si el i-ésimo individuo estudia Otra I Otra (i) = 0 en otro caso

23 Término de Interacción: producto de una variable cuantitativa por una variable indicadora. Ejemplo: 1 Y : Salario. 2 X 1 : NSE (A, B y C). 3 X 2 : Horas de Trabajo (HTrabajo). Si utilizamos indicadoras para los niveles A y B podemos escribir el modelo de regresión lineal como Salario i = β 0 +β 1 HTrabajo i +β 2 I A (i)+β 3 I B (i)+ β 4 HTrabajo i I A (i)+β 5 HTrabajo i I B (i)+e i ˆ Salario i = ˆβ 0 + ˆβ 1 HTrabajo i + ˆβ 2 I A (i)+ ˆβ 3 I B (i)+ ˆβ 4 HTrabajo i I A (i)+ ˆβ 5 HTrabajo i I B (i)

24 Criterios de Selección de Modelos Escoger el modelo que maximice la R 2 (R 2 a). C p = SCE reducido s 2 completo + 2p n Escoger el modelo final como aquel que minimiza C p o que haga C p p. AIC = 2l+2p = cte+2p+n ln(sce) Escoger el modelo con el menor AIC. BIC = 2l+p ln(n) = cte+pln(n)+n ln(sce) Escoger el modelo con el menor BIC. PRESS = n (Y i Ŷi(i)) 2 i=1 Escoger el modelo con el menor PRESS (Validación Cruzada).

25 EJEMPLO 1. REGRESIÓN LINEAL SIMPLE: ESPERANZA DE VIDA VS. NÚMERO DE HABITANTES POR CADA DOCTOR

26 2. Modelos Lineales Generalizados Los modelos de regresión lineal presentan dos grandes problemas: 1 La variable dependiente, Y, debe tener una distribución Normal (los errores tienen una distribución Normal). 2 La relación debe de ser lineal en los parámetros.

27 En la práctica es posible pensar en varias situaciones en las cuales Y no tiene una distribución normal: 1 Número de accidentes en un año para cierta cartera de asegurados, Y Poisson(λ) = Po(λ). 2 Número de partidos que ganará cierto equipo de un total de n, Y Binomial(n,π) = Bi(n,π). 3 Monto de reclamaciones, Y Gamma(α, β). En estas situaciones se puede contar con variables explicativas que pensamos puedan tener cierta relación con los parámetros de interés (λ,π,α,β).

28 Generalmente consideramos la siguiente ecuación de regresión E[Y i x i ] = g i (x iβ) para i = 1,..., n donde g i () son funciones monótonas (con inversa) y comúnmente g i () = g() para i = 1,...,n. Las distribuciones para las cuales los modelos lineales generalizados están definidos son aquellas que pertenecen a la familia exponencial.

29 Funciones de densidad: f(y;θ,φ) = c(y,φ)e yθ a(θ) φ E[Y] = μ = ȧ(θ) Var(Y) = φä(θ) = φv(μ) Ejemplos: 1 Y Po(λ) 2 Y Bi(n, p) 3 Y Normal(μ,σ 2 ) = N(μ,σ 2 )

30 Liga canónica y función de varianza: Modelo Liga Canónica Función de Parámetro de Varianza V(μ) Dispersión φ Bernoulli ) ln( μi 1 μ i = x i β μ i(1 μ i ) 1 Poisson ln(μ i ) = x i β μ i 1 Normal μ i = x iβ 1 φ Gamma μ 1 i = x i β μ2 i φ Normal Inversa μ 2 i = x i β μ3 i φ Table: Ligas Canónicas. Pesos para cada observación: φ = φ w i para i = 1,...,n

31 Un modelo lineal generalizado se compone de 3 elementos: 1 Vector de observaciones de la variable dependiente Y, suponiendo que Y tiene una distribución en la familia exponencial. 2 Matriz de diseño, tamaño n p (p 1 covariables) Vector de parámetros β 3 Función liga g( ): μ i = E(Y i ) η i = X i β = g(μ i) μ i = g 1 (X i β)

32 Por lo tanto, la base de datos es Y 1 X 11 X X p 1,1 Y 2 X 12 X X p 1, Y n X 1n X 2n... X p 1,n donde Y familia exponencial. Ejemplos: 1 Binomial Y i número de reprobados en el salón i X i1 duración del examen 2 Poisson Y i número de accidentes de autos en el año para el sujeto i X i1 año lluvioso o no X i2 millas recorridas X i3 sexo X i4 edad

33 Análisis de Devianza: Selección de Modelos Objetivo: Determinar si todas las variables explicativas son importantes para explicar el comportamiento de la variable dependiente. Probar hipótesis de la forma: H 0 : β q+1 = β q+2 =... = β p 1 = 0 Regla: A más parámetros mejor ajuste Modelo saturado, Modelo completo, Modelo reducido

34 Al trabajar con máxima verosimilitud se hace uso de modelos anidados Ejemplo: Y, X 1, X 2,...,X 10 Modelo completo: η i = β i=1 β ix i Modelo reducido: η i = β 0 +β 1 X 1 +β 2 X 10 Modelos anidados: Se dice que los modelos M 1, M 2,..., M k están anidados si M 1 M 2... M k Ejemplo: M 1 : utiliza X 1, X 2,...,X 10 M 2 : utiliza X 1, X 3, X 5 M 3 : utiliza X 1, X 3 M 4 : utiliza X 1

35 Prueba de Cociente de Verosimilitudes La prueba del cociente de verosimilitudes: Modelo completo vs. Modelo reducido: Λ RC = ˆL R ˆL C

36 La idea principal es que si la hipótesis nula es cierta entonces ˆL R y ˆL C deben ser muy cercanos en valor. Si H 0 es verdadera (bajo H 0 ) entonces 2 ln(λ RC ) χ 2 p k grados de libertad: parámetros de más en el modelo completo, los que fueron fijados en la hipótesis nula. Ahora, denotando por ˆL S el valor máximo de la verosimilitud bajo el modelo saturado, podemos escribir ˆLR Λ RC = ˆLS ˆLC ˆLS ( ) )) (ˆLR (ˆLC 2 ln(λ RC ) = 2 ln ln = 2 ln(λ RS ) 2 ln(λ CS ) ˆL S ˆL S

37 Cuando el parámetro de escala φ del modelo lineal generalizado (e.g. Binomial, Poisson) entonces D = 2 ln(λ 0 ) es la devianza. Si el parámetro de escala es desconocido (e.g. Normal) entonces D φ se conoce como la devianza escalada.

38 Para el caso de parámetro de escala conocido se hacen las pruebas mediante la χ 2. Para el caso de parámetro de escala desconocido se toman cocientes de devianzas escaladas para eliminar el parámetro de escala y se utilizan pruebas F (cociente de χ 2 s). Devianzas pequeñas indican un buen ajuste de los datos. Devianzas grandes denotan un mal ajuste.

39 Tabla de análisis de devianza S C M 1... M k Modelo Devianza ) gl Decremento en devianza AIC M k 2 ln(ˆlmk ˆLS M k 1 2 ln(ˆlmk 1 ˆLS ).. ) M 1 2 ln(ˆlm1 ˆLS C 2 ln(ˆlc ˆLS ) D Mk 1 D Mk. D M1 D M2 D C D M1 S 0 0 D S D C

40 Análisis de Residuales Distintos tipos de residuales se pueden definir para un modelo lineal generalizado 1 Pearson r p = Y ˆμ ˆVar(ˆμ) 2 Residual de devianza Cada observación tiene una contribución a la devianza D = D = n i=1 n i=1 d i d 2 i r D = signo(y ˆμ) d i r D = signo(y ˆμ)d i

41 Regresión Logística: Respuesta Binaria Variable aleatoria de Bernoulli: sólo puede tomar dos posibles valores. Ejemplos: póliza de seguro de vida. Portafolios de pólizas de automóviles. Z =1=éxito y Z =0=fracaso Z Ber(p), f(z), está dada por f(z) = π z (1 π) 1 z para z = 0, 1 donde π (0, 1) es la probabilidad de éxito. E(Z) = π y Var(Z) = π(1 π).

42 Función liga logit: ( ) πi ln = x i 1 π β = β 0 + x i1 β x i,p 1 β p 1 i π i = ex i β eβ0+xi1β1+...+xi,p 1βp 1 = 1+e x β i 1+e β 0+x i1 β x i,p 1 β p 1

43 Momio: π i 1 π i Si denotamos por m al momio, es decir, m = π 1 π entonces π = m 1+m. Función de verosimilitud: L(β z) = n i=1 π z i i (1 π i ) 1 z i.

44 Interpretación de los coeficientes del modelo de regresión logística: m(x i1,...,x ik,...,x i,p 1 ) = π i = e x i β = e β 0+x i1 β x i,p 1 β p 1 1 π i De x k a x k + 1 m(x i1,...,x ik + 1,...,x i,p 1 ) = π i 1 π i = e β 0+x i1 β (x ik +1)β k +...+x i,p 1 β p 1 y, el cociente de momios resulta ser m(x i1,..., x ik + 1,...,x i,p 1 ) m(x i1,..., x ik,..., x i,p 1 ) = e β k o equivalentemente

45 m(x i1,..., x ik + 1,...,x i,p 1 ) = m(x i1,..., x ik,..., x i,p 1 )e β k

46 Un modelo alternativo al modelo de regresión logística es el modelo probit que satisface π i = Φ(β 0 + x i1 β x i,p 1 β p 1 )) donde Φ(x) es la función de distribución acumulada de una variable normal estándar.

47 EJEMPLO 2. REGRESIÓN LOGÍSTICA. HUNDIMIENTO DEL TITANIC.

48 Modelo Poisson : Regresión Poisson Una variable aleatoria Y sigue una función de densidad Poisson (Y Po(λ)) si donde el parámetro λ > 0. f(y) = λy y! e λ para y = 0, 1, 2,... La variable aleatoria Poisson es útil para modelar el número de ocurrencias de cierto evento en el tiempo (medio continuo). Nótese que E(Y) = λ y Var(Y) = λ. El objetivo consiste en modelar λ como función de ciertas covariables.

49 Liga canónica: logaritmo, ln(λ i (x i1,...,x i,p 1 )) = x i β = β 0 + x i1 β x i,p 1 β p 1 y λ i (x i1,..., x i,p 1 ) = e x i β = e β 0+x i1 β x i,p 1 β p 1. De x k a x k + 1 λ i (x i1,..., x ik + 1,...,x i,p 1 ) = e β 0+x i1 β (x ik +1)β k +...+x i,p 1 β p 1 y entonces λ i (x i1,..., x ik + 1,..., x i,p 1 ) = e β 0+x i1 β x ik β k +...+x i,p 1 β p 1 e β k = λ i (x i1,..., x ik,..., x i,p 1 )e β k.

50 Función de verosimilitud: n λ i (x i1,..., x i,p 1 ) y i L(β y) = e λ i(x i1,...,x i,p 1 ). y i! i=1

51 Modelo Poisson: Varianza = Media Sobredispersión (Cuasipoisson): Varianza > Media Las estimaciones de los parámetros β para el modelo Poisson y cuasipoisson son idénticos pero los errores estándar son diferentes. En el caso del modelo Poisson, otra posibilidad para modelar sobredispersión es anidar el modelo Poisson en un modelo Binominal Negativo.

52 Modelo Binomial Negativo Y E Poisson(μE) y θe Gamma(θ) E(Y) = μ Var(Y) = μ+ μ2 θ f Y (y θ,μ) = Γ(θ+y) Γ(θ)y! μ y θ θ (μ+θ) θ+y

53 EJEMPLO 3. REGRESIÓN POISSON. ACCIDENTES DE BARCOS.

54 Modelos para Variables Continuas Positivas Los modelos GLM para respuestas continuas positivas son muy útiles para el análisis de los montos de las reclamaciones en Actuaría. Gamma, Normal Inversa y Modelo Tweedie (para frecuencia y severidad).

55 Modelo Gamma T Gamma(μ, r) f T (t) = r r Γ(r)μ r tr 1 e rt μ para t, r,μ > 0 La liga canónica corresponde a la inversa pero se acostumbra utilizar una liga logaritmo.

56 Modelo Normal Inverso Y IG(μ,λ) f(y) = ( ) 1 λ 2 λ(y μ)2 e 2πy 3 2μ 2 y para y,μ,λ > 0 La media es μ y la varianza es μ3 λ. La liga canónica es 1 y la μ 2 función de varianza es V(μ) = μ 3. Nuevamente, en la práctica se prefiere utilizar la liga logaritmo.

57 Modelo Tweedie Sea Y una variable aleatoria tal que donde Y = N k=1 Z k N sigue una distribución Poisson (Po(λ)) las Z s son independientes e idénticamente distribuidas como Gamma entonces, Y sigue una distribución Tweedie la cual asigna una probabilidad positiva al caso Y = 0 siendo una mezcla de una distribución discreta y una distribución continua.

58 3. Aplicación en Tarificación Ideas Fundamentales: 1 Descomponer la tarificación en componentes de frecuencia y severidad. 2 Utilizar factores de tarificación aprovechando la naturaleza multiplicativa de las ligas logaritmo en el modelo de frecuencia (p. ej. Poisson o binomial negativa) y el modelo de severidad (p.ej. gamma o normal inversa). 3 Generalmente, es mejor en la práctica modelar por separado la frecuencia y severidad que utilizar el modelo Tweedie. 4 Necesidad de utilizar offsets para definir la exposición. 5 Regresión Logística para modelar la renovación. 6 La varianza de la prima se puede obtener mediante el método delta.

59 EJEMPLO 4. TARIFICACIÓN. MODELO DE FRECUENCIA: POISSON-BINOMIAL NEGATIVO MODELO DE SEVERIDAD: GAMMA-LOGNORMAL