TEMA 5. Modelos para Datos de Conteo

Transcripción

1 TEMA 5. Modelos para Datos de Conteo Profesor: Pedro Albarrán Pérez Universidad de Alicante. Curso 2010/2011.

2 Contenido 1 Datos de Conteo 2 Regresión de Poisson 3 Extensiones

3 Datos de Conteo Variable de interés: Y {0, 1, 2,... } En general: pocos valores distintos, abundancia de ceros. Ejemplos en muchas áreas: economía, nanzas, demografía, etc. números de clientes de una empresa o establecimiento en un periodo de tiempo número de turistas en Alicante en el año 2008 número de empresas que quiebran en una región y un periodo de tiempo números de hijos que ha tenido una mujer a lo largo de su vida número de veces que ha sido arrestada una persona (en un año u otro periodo de tiempo) número de patentes solicitados por una empresa en un año Objetivo: analizar Y como función de variables explicativas E (Y X 1, X 2,..., X k )

4 Modelo de Regresión Lineal E (Y X 1, X 2,..., X k ) = β 0 + β 1 X β k X k Ventaja del enfoque de regresión por MCO: no depende de supuestos distribucionales Ignora el carácter discreto de Y Ignora que Y sólo toma valores positivos tomar logaritmos: ln Y PERO se pierden los valores con cero Modelo exponencial (NO lineal en los parámetros) E (Y X 1, X 2,..., X k ) = exp (β 0 + β 1 X β k X k ) garantiza predicciones positivas no incorpora la naturaleza discreta de Y

5 Distribución de Poisson Distribución (univariante) habitual para procesos de conteo: Y Po (µ) Pr (Y = y) = e µ µ y, y = 0, 1, 2,... y! donde µ > 0 es el parámetro de intensidad Además, se sabe que E (Y ) = µ Var (Y ) = µ esta propiedad se conoce como equidispersión de la distribución de Poisson

6 Regresión de Poisson Por tanto, la distribución de Poisson condicional en las variables explicativas X : Pr (Y = y X ) = e µ(x) µ (x) y, y = 0, 1, 2,... y! donde E (Y X 1,..., X k ) = µ (x) = µ (X 1,..., X k ) = exp (β 0 + β 1 X β k X k ) esta formulación se conoce como Modelo de Regresión de Poisson modelo NO lineal estimación por máxima verosimilitud

7 Regresión de Poisson (cont.) Notad que: Var (Y X ) = µ (X 1,..., X k ) modelo heterocedástico por denición con propiedad de equidispersión Alternativas Uso de errores estándar robustos: se explota el supuesto de distribución de Poisson sólo para la estimación por Máxima Verosimilitud errores estándar calculados de forma general, no restringido a la propiedad de equidispersión de la Poisson Uso de otras distribuciones: modelos más generales de la varianza (como MCG)

8 Distribución Binomial Negativa Binomial Negativa: generalización de la distribución de Poisson E (Y ) = µ 1 Tipo 1: Var (Y ) = (1 + α) µ 2 Tipo 2 (cuadrática): Var (Y ) = (1 + αµ) µ Se reducen al caso de Poisson cuando α 0 Se puede contrastar la propiedad de equidispersión H 0 : α = 0 si α > 0, se dice que existe sobre-dispersión si α < 0, se dice los datos muestra infra-dispersión

9 Binomial Negativa (cont.) Estimación por Máxima Verosimilitud Desventajas: se modeliza explícitamente la forma de la varianza condicional si la modelización es correcta, este enfoque es eciente si la modelización es incorrecta, este enfoque es inconsistente Comparado con regresión de Poisson (cuasi-máxima verosimilitud) con errores estándar robustos siempre consistente para la esperanza condicional menos eciente (no explota, totalmente, la heterocedasticidad)

10 Efectos Marginales Dado el modelo exponencial para la esperanza condicional, δe (Y X ) δx k = β k exp (β 0 + β 1 X β k X k ) el efecto marginal depende de los valores de las variables explicativas evaluado en la media de las X o en valores relevantes efecto marginal promedio (estimado) resulta ser β k y los coecientes se interpretan como semi-elasticidades: β k = δe (Y X ) δx k 1 E (Y X )

11 Bondad de Ajuste de Modelo La verosimilitud alcanzada por la estimación de un modelo (Poisson o Binomial Negativa) se pueden utilizar como medidas de ajustes también para realizar contrastes (de ratio de verosimilitudes) Las verosimilitudes de la estimación de Poisson y las de la Binomial Negativa NO son comparables directamente ni se pueden utilizar conjuntamente Pseudo-R 2 de McFadden R 2 = 1 ) L N ( β L N (y) Otra medida de ajuste: cuadrado de la correlación entre los valores observados y los predichos [ corr ( Y i, Ŷi )] 2

12 Probabilidades Predichas Se puede utilizar el modelo estimado para predecir los valores de la variable dependiente Ŷ i = exp ( β0 + β 1 X β ) k X k los valores predichos NO son valores enteros Puede resultar más útil estimar la probabilidades 1 de que Y tome exactamente uno de los valores (enteros) posibles 2 de que Y sea mayor (o menor) que un valor determinado Las probabilidades estimadas dependen de la forma funcional concreta de la distribución para Poisson, Pr (Y i X ) = e µ(x) µ(x) y y! los parámetros estimados β de µ (x)

13 Probabilidades Predichas (cont.) Las probabilidades predichas dependen de los valores de las X existen las mismas opciones habituales para su cálculo p (y) = Pr (Y = y X = x ) p (y) = Pr (Y = y X = x) p (y) = 1 N N Pr (Y = y X = x i ) i=1 Notad que las probabilidades predichas son estimadas: se debería un intervalo de conanza para ellas (a partir de su error estándar) Grandes discrepancias entre las probabilidades predichas y las probabilidades observadas pueden indicar un mal ajuste del modelo

14 Extensiones Binomial Negativa Generalizada: especicación más exible de la varianza parámetro de sobre-dispersión α depende de otras variables explicativas (no constante) E (Y X ) = µ (x) Var (Y X, W ) = [1 + α (w) µ (x)] µ (x) se modeliza ln α (w), para garantizar que α (w) > 0 (caso de sobre-dispersión) Modelos en dos partes: modelo probit/logit para determinar los ceros (frente a valores positivos) modelo de Poisson o Binomial negativa truncado en cero para los valores positivos Mixturas Discretas Modelos Aumentados (o Inados) en ceros