Curs de Modelització Estadística Bàsica amb Deducer. Anabel Blasco Ana Vázquez Anna Espinal Llorenç Badiella Oliver Valero

Transcripción

1 Curs de Modelització Estadística Bàsica amb Deducer Anabel Blasco Ana Vázquez Anna Espinal Llorenç Badiella Oliver Valero

2 1. Model de Regressió Lineal 2. Model ANOVA 3. Model Lineal General 4. Model de Regressió Logística

3 Introducción al modelo de regresión lineal Inferencia en regresión lineal Descomposición de la variabilidad Análisis de los residuos Transformaciones Regresión lineal múltiple Colinealidad

4 El modelo de regresión lineal simple es un método estadístico para evaluar la relación entre dos variables cuantitativas: la variable respuesta (o dependiente) y la variable explicativa (o independiente). Conociendo los valores de la variable independiente podremos realizar predicciones sobre la variable respuesta. El objetivo es encontrar la recta que ajuste mejor los datos:

5 El diagrama de dispersión (scatterplot) sirve para representar gráficamente la relación que existe entre dos variables cuantitativas. Es una herramienta útil para detectar outliers. La magnitud y dirección del grado de asociación lineal entre dos variables se mide con la correlación. La existencia de correlación entre X e Y no implica causalidad. Cuantifica la magnitud de la asociación lineal entre dos variables. Es adimensional y toma valores entre -1 y 1. Valora el sentido de la asociación lineal (correlación positiva o negativa). Un valor 0 indica ausencia de correlación lineal.

6 El coeficiente de correlación de Pearson se ve afectado por valores extremos (outliers), asimetría u otras desviaciones respecto la distribución normal. En estos casos no es una medida adecuada. Alternativas: Eliminar valores extremos. Realizar transformaciones sobre los datos. Utilizar coeficientes de correlación no paramétricos. El coeficiente de correlación de Spearman es una medida de correlación no paramétrica que valora el grado de relación monótona, y en particular lineal, entre dos variables sin realizar asunciones sobre la distribución de las variables. Se calcula como: donde D la diferencia de rangos de los valores de X e Y, y n el tamaño muestral.

7 Ajuste recta de mínimos cuadrados: Modelo: Y i = β 0 + β 1 X i + ε i Y : variable respuesta X : variable explicativa β 0 : término independiente. Representa el valor esperado de Y cuando X=0 β 1 : pendiente de la recta. Representa el cambio esperado en Y cuando X varía en una unidad ε : corresponde a la perturbación aleatoria no explicada El objetivo de la regresión es poder estimar los parámetros β 0, β 1 y σ 2 que representa la variación de ε.

8 El objetivo es encontrar la recta que ajuste mejor los datos: ei = yi yˆ i

9 Antes de ajustar un modelo de regresión lineal deberíamos asegurar que: Existe una relación lineal entre la variable respuesta y la variable explicativa. Los errores están centrados, su varianza se mantiene constante y no están correlacionados. Se puede asumir la hipótesis de que la variable respuesta sigue una distribución normal (para inferencia).

10 El método de Mínimos Cuadrados Ordinarios (MCO o OLS, siglas en inglés) pretende encontrar una estimación de los parámetros β 0 y β 1 de manera que se minimice las distancias entre los puntos y la recta: N Min β0, β1 i= 1 ( Y i β β X i ) 0 Los estimadores mínimos cuadrados son los mejores que se pueden conseguir (insesgados, eficientes y consistentes) si se cumplen las hipótesis sobre los errores. ˆ ˆ 0 ˆ β Y = β + 1 i Xi 1 2 β 1 = N i= 1 ( X N i= 1 i X )( Y ( X i i X ) Y ) 2 = s s xy xx β = Y 0 β 1 X

11 Ejemplo: Observemos la siguiente asociación entre el peso inicial y el peso final:

12 Para analizar la asociación entre variables cuantitativas primero realizamos un gráfico de dispersión. Después, si procede, podemos calcular el coeficiente de correlación.

13 El modelo de regresión se encuentra en el menú Analysis -> Linear Model

14 La correspondiente recta de regresión es: Peso final= -6, *Peso inicial

15 Gráficamente se representa:

16 Inferencia acerca de los coeficientes de regresión Las pruebas de hipótesis más frecuentes son: H 0 : β 0 = 0 H 0 : β 1 = 0 H 1 : β 0 0 H 1 : β 1 0 La prueba estadística viene dada por: t = ˆ βi se( ˆ βi) donde t ~ t n-2

17 Intervalos de confianza para los parámetros de regresión Intervalo de confianza del 100 (1-α) % para el parámetro β 1 : β β ± α ( ) 1 1 t SE n 2,1 β 1 2 El error estándar (SE) es una medida de precisión del estimador. Para obtener el IC para los parámetros del modelo lineal, se puede utilizar la función de R confint(model.lm):

18 El objetivo del modelo de regresión es el de explicar la variabilidad observada en la variable respuesta. Para ello, se intentará descomponer la variabilidad total en dos componentes: la variabilidad explicada y la variabilidad residual. Encontrar una variable explicativa no informativa, será equivalente a pesar de que la pendiente de la recta de regresión es nulo. Por el contrario, una variable explicativa informativa será aquella cuya pendiente sea distinta del valor 0, ya sea negativa o positiva. Es decir, el conocimiento del valor de la variable explicativa puede explicar en parte el valor observado en la variable respuesta.

19 La variabilidad total observada viene representada por la suma de las desviaciones al cuadrado entre los valores observados y el promedio total: SST ( ) 2 Yi Y = i La suma de cuadrados total (SST) se descompone en la suma de cuadrados de la regresión (SSR) y la suma de los cuadrados de los errores (SSE): SST = SSR + SSE donde SSR = Y y i Y i 2 SSE = i Y i Y i 2 Y i Y Corresponde al valor observado para la observación i. i Corresponde al valor predicho para la observación i. Y i Corresponde al promedio global.

20 Ejemplo gráfico de la descomposición: SST= =

21 SSR + SSE

22 Todo el planteamiento anterior permite formular la prueba F. La hipótesis contrastada se puede escribir como: H 0 : β 1 = 0 H 1 : β 1 0 Los cálculos que conducen a la obtención del valor F de la prueba y a su significación estadística habitualmente se presentan en formato de tabla, recibiendo el nombre de tabla ANOVA.

23 Tabla del análisis de la varianza: Fuentes de Grados de Suma de Cuadrados F Variación Libertad Cuadrados Medios Debido a la regresión Debido al Error 1 SSR MSR=SSR/1 MSR/MSE n-2 SSE MSE=SSE/n- 2 Total n-1 SST Ejemplo:

24 El coeficiente de determinación: El coeficiente de determinación, R 2, representa la proporción de la variabilidad total de la muestra respeto a que es explicada por la relación lineal entre x e y. Se calcula como: 2 R = SSR SST El coeficiente de Determinación varía entre 0 y 1. Coincide con el coeficiente de correlación al cuadrado.

25 Ejemplo: El coeficiente de correlación es de 0,818 y el coeficiente de determinación de 0,6699. Estimador de σ 2 :

26 El residuo es la diferencia entre el valor observado y el valor estimado por la recta de regresión. Puede ser considerado como el error aleatorio observado. El estudio de los residuos se realiza básicamente a partir del diagrama de dispersión entre los valores residuales y los valores predichos. Representando las parejas de puntos: e, i Y i A continuación se muestran algunas situaciones en las que se detectan incumplimientos en las suposiciones del modelo.

27 Gráfico: Y vs. X Gráfico: Residuos vs. Predichos

28 En el gráfico de dispersión Y vs. X se observa una aparentemente buena asociación lineal, sin embargo en el gráfico de residuos se observa un claro patrón. Inicialmente los errores son positivos, luego negativos y posteriormente positivos de nuevo. Esto es sinónimo de errores no independientes. La conclusión es que el modelo subyacente no es realmente lineal y por lo tanto está mal especificado. En realidad el modelo es cuadrático. Gráficos de residuos similares (o invertidos) se obtendrían si el modelo subyacente fuera cúbico, de otro orden de potencia, exponencial o logarítmico. El modelo de regresión lineal no sería válido.

29 Gráfico: Y vs. X Gráfico: Residuos vs. Predichos

30 En el gráfico de dispersión Y vs. X se observa una cierta asociación lineal, no obstante, en el gráfico de residuos se observa de nuevo un claro patrón. A medida que los valores predichos son mayores, la variabilidad del error aumenta. Esto es sinónimo de errores que no cumplen la condición de igualdad (homogeneidad) de varianza. La conclusión es que el modelo subyacente aunque sea lineal está mal especificado. Sería necesario estudiar la naturaleza de los datos. A veces es suficiente realizar algún tipo de transformación a la variable respuesta con el objetivo de estabilizar la variabilidad del error (logaritmos, raíz cuadrada). Gráficos similares se obtienen cuando la variable respuesta es en realidad un conteo, un porcentaje o el tiempo transcurrido hasta cierto evento. Tales variables respuesta suelen provocar residuos no normales. El modelo de regresión lineal no sería válido.

31 Gráfico: Y vs. X Gráfico: Residuos vs. Predichos

32 En el gráfico de dispersión Y vs. X se observa de nuevo cierta asociación lineal, pero se detecta la presencia de un valor extraño. En el diagrama de residuos se puede comprobar como el residuo para esta observación es desmesuradamente grande. De hecho, la recta de regresión está ligeramente desplazada hacia arriba y no pasa por el centro de la nube de puntos. La recta ajustada pierde consistencia. El modelo de regresión lineal no sería válido.

33 Gráfico: Y vs. X Gráfico: Residuos vs. Predichos

34 En el gráfico de dispersión Y vs. X se observa de nuevo cierta asociación lineal, pero se detecta un comportamiento de los residuos sumamente curioso. Para un gran grupo de observaciones el residuo es positivo y para el resto de observaciones es negativo. Prácticamente no hay observaciones con residuo próximo a 0. La distribución de los residuos no es normal ya que siguen una distribución bimodal. El modelo de regresión lineal no sería válido. Sin embargo, se puede buscar una interpretación alternativa, ya que de hecho, se observan dos poblaciones distintas. Si estas dos poblaciones pueden ser identificadas por una tercera variable, esto indicaría que el modelo no está bien especificado ya que omite dicha variable. El modelo de regresión lineal sería válido si se incluye esta tercera variable en el modelo. Existen otras situaciones distintas en que se puede intuir el origen del incumplimiento de las suposiciones, pero son más inusuales.

35 Como regla general para validar el modelo de regresión mediante el estudio de los residuos es recomendable asegurarse de que no hay ningún tipo de patrón en el gráfico de Residuos vs. Predicciones y comprobar cada una de las suposiciones del modelo: Modelo correctamente especificado. Normalidad de los residuos (muestras pequeñas). Independencia de los residuos. Homogeneidad de varianza (constante e independiente de los valores predichos). No existencia de valores anómalos.

36 El análisis de los residuos de puede hacer a partir de los resultados que aparecen en la pestaña Diagnostics:

37 También se pueden guardar como variables los residuos desde la pestaña Export. Existen tres tipos de residuos: No tipificados. Diferencia entre un valor observado y el valor pronosticado por el modelo. Proporciona el residuo bruto. Tipificados (de Pearson o estandarizados). El residuo dividido por una estimación de su error típico. De este modo tienen una media de 0 y una desviación típica de 1. Estudentizados. Residuo dividido por una estimación de su desviación típica que varía de caso en caso, dependiendo de la distancia entre el valor de la variable independiente y su media. Es recomendable analizar con detalle las observaciones con residuos tipificados (o estudentizados) fuera del rango [-2,2].

38 Valores influyentes Todos los estadísticos pueden ser seriamente distorsionados por un único valor incorrecto. Los valores influyentes son valores que tienen un peso relevante en el modelo resultante, y la eliminación de estos provoca cambios sensibles en los coeficientes. Por este motivo, es necesario comprobar la validez de la observación en cuestión. Pueden detectarse estudiando los residuos de cada observación o bien a partir del gráfico de la distancia de Cook.

39 La hipótesis básica del modelo de regresión lineal simple es que la relación entre X e Y es lineal, pero en muchos casos en el gráfico de la variable respuesta frente a la variable explicativa puede verse que la relación no es de otra naturaleza. A pesar de ello, el modelo de regresión lineal continúa siendo válido en muchas situaciones porque la relación puede convertirse en lineal por medio de una transformación simple en la variable respuesta Y (trabajando con log(y), 1/Y, Y 2...), o en la variable explicativa, X, o en ambas. Algunos de los ejemplos de transformaciones más interesantes son los siguientes:

40 Trans X Trans Y Simple t(x)=x t(y)=y Exponencial t(x)=x t(y)=ln(y) Recíproca Y t(x)=x t(y)=1/y Recíproca X t(x)=1/x t(y)=y Doble rec. t(x)=1/x t(y)=1/y Logaritmo X t(x)=ln(x) t(y)=y

41 Trans X Trans Y Multiplicativo t(x)=ln(x) t(y)=ln(y) Raíz c. X t(x)= x t(y)=y Raíz c. Y t(x)=x t(y)= y Curva S t(x)=1/x t(y)=ln(/y)

42 Como hemos visto, la regresión lineal simple permite explorar la naturaleza de la relación entre dos variables continuas. Podemos intuir que añadiendo otras variables al modelo, se podrá predecir con mayor precisión la variable respuesta. Habitualmente se utiliza la regresión múltiple de modo exploratorio con el objetivo de encontrar relaciones empíricas entre las variables disponibles, dichas relaciones pueden ayudar a predecir la respuesta pero no necesariamente su relación será causal.

43 Modelo: Y i = β 0 + β 1 X i1 + β 2 X i β k X ik + ε i Y : variable respuesta X k : variables explicativas β 0 : término independiente. Representa el valor esperado de Y cuando todas las variables explicativas son 0 β k : coeficiente de regresión de la variable k ε : corresponde a la perturbación aleatoria no explicada El modelo no será eficiente si incluye variables que no sean estadísticamente explicativas.

44 Al aplicar esta técnica se asume que se cumplen los mismos criterios que en el caso de la regresión simple. Cuando el objetivo del análisis es explicativo (confirmatorio) en lugar de predictivo (exploratorio), es imprescindible certificar la confirmación de las hipótesis para aplicar el modelo. En el caso predictivo. Ahora, R 2 mide la explicación conjunta conseguida con todas las variables independientes introducidas en el modelo de regresión. No existe un criterio definido para decidir si el valor observado de R 2 es grande o pequeño; depende del contexto del estudio.

45 R R cuadrado corregida: 2. Si se introduce una nueva variable en el modelo, R 2 siempre aumenta (ya que se consigue explicar algo más, aunque sea muy poco). De la misma manera, al quitar una variable R 2 siempre disminuye. Como nos interesa saber si es conveniente introducir/quitar una variable en el modelo, se ajusta R 2 según los grados de libertad (el número de variables consideradas en el modelo): R 2 = R 2 k (1 R n k 1 2 ) De esta manera, un aumento en la añadir/quitar una variable. R 2 indica que el modelo ha mejorado al

46 Tabla del análisis de la varianza: Fuentes de Grados de Suma de Cuadrados F Variación Libertad Cuadrados Medios Debido a la regresión Debido al Error K-1 SSR MSR=SSR/(k-1) MSR/MSE n-k SSE MSE=SSE/(n-k) Total n-1 SST

47 Importancia de las variables explicativas El modelo proporciona para cada variable un coeficiente βk. Cada coeficiente representa el cambio esperado en Y cuando Xk varía en una unidad, manteniendo fijadas el resto de variables explicativas Xi. El modelo proporciona una significación estadística para cada coeficiente, no obstante, puede ser interesante comparar la importancia de la influencia en la respuesta en términos de magnitud. Para ello, dado que cada variable X k puede estar medida en diferentes unidades, se deben comparar los coeficientes del modelo estandarizando por la variabilidad de Xk. Estos nuevos coeficientes reciben el nombre de coeficientes beta.

48 Cuando se desee interpretar y comparar los diferentes coeficientes del modelo, es necesario que las variables independientes no estén correlacionadas entre sí. En tal caso, el efecto de cada variable viene medido directamente por su coeficiente. En caso contrario, no será fácil interpretar el modelo. Para comprobar la existencia de colinealidad, se analiza la correlación entre las variables explicativas y se calculan diversos índices de colinealidad: FIV (factor de incremento de la varianza) o tolerancia. Tolerancia = 1 / FIV

49 El índice FIV se calcula para cada variable independiente y mide la proporción de variabilidad de dicha variable que ya está explicada por el resto de variables independientes. De este modo, una variable explicativa con un valor FIV elevado indicaría que está altamente explicada por el resto de variables predictivas y por lo tanto una situación incorrecta. Un criterio habitual para declarar que el valor FIVk es elevado es comparar con el término: FIVk = 1/(1-R 2 ) Siendo R 2 el coeficiente de determinación del modelo.

50 Efectos de la colinealidad Las desviaciones estándar de los coeficientes de regresión están sobreestimadas, con lo que aparecen como no significativos coeficientes que en realidad sí lo son. Puede suceder que ninguno de los coeficientes de regresión sean distintos de cero (no significativos) y que, a nivel conjunto, sí lo sean. Los coeficientes de regresión estimados no son consistentes, es decir, pueden cambiar al modificar la muestra o al introducir nuevas variables en el modelo.

51 Niveles de colinealidad No hay criterios claros para determinar si un índice FIV es elevado o no. No obstante algunas referencias podrían ser: Tolerancia FIV Colinealidad: Toler >= 1 FIV <= 1 No existe 0,3 < Toler < 1 3,33 > FIV > 1 Poca 0,1 < Toler < 0,3 10 > FIV > 3,33 Elevada 0,01 < Toler < 0,1 100 > FIV > 10 Excesiva Toler < 0,01 FIV > 100 Colinealidad perfecta

52 Los estadísticos de colinealidad se pueden pedir desde la pestaña de Options Model Diagnostics Variance Inflation Factors: