TEMA 3 Modelo de regresión simple

Transcripción

1 TEMA 3 Modelo de regresión simple José R. Berrendero Departamento de Matemáticas Universidad Autónoma de Madrid Análisis de Datos - Grado en Biología

2 Estructura de este tema Planteamiento del problema. Ejemplos. El modelo de regresión lineal simple. Recta de regresión de mínimos cuadrados. Estimación, IC y contrastes para los parámetros del modelo. Análisis de la varianza en el modelo de regresión lineal simple. Predicción. Algunos modelos linealizables. Diagnóstico del modelo.

3 Ejemplo: temperatura y vibración de las alas Los grillos son ectotermos, por lo que sus procesos fisiológicos y su metabolismo están influidos por la temperatura. Con el fin de estudiar estas cuestiones se ha medido el número de vibraciones por segundo de las alas de un grupo de grillos a varias temperaturas. Vibraciones/seg. Temp

4 Ejemplo: Temperatura y vibración de las alas Consideramos dos variables (fichero grillos.sav): X : Temperatura Y : Número de vibraciones de las alas por segundo Qué podemos decir sobre la relación entre las dos variables? Podemos afirmar (con un nivel de significación dado) que al aumentar la temperatura, aumenta la frecuencia de vibración? Podemos predecir aproximadamente el valor de la variable Y si sabemos el valor de X? Qué grado de fiabilidad tiene la predicción?

5 Ejemplo: renta y fracaso escolar en la CAM Ejemplo

6 % fracaso escolar Arganda Torrelodones Renta (en miles de euros)

7 Covarianza Se dispone de un conjunto de n pares de observaciones (x 1, y 1 ),..., (x n, y n ). La covarianza entre x e y sirve para cuantificar el grado de relación lineal que hay entre x e y: ( cov xy = 1 n n ) (x i x)(y i ȳ) = 1 x i y i n xȳ n n i=1 Propiedades: cov xy = cov yx. cov xy depende de las unidades en que se miden x e y. cov xx = v x, es decir, la covarianza de x con x es la varianza de x. i=1

8 Interpretación de la covarianza Covarianza positiva y Covarianza negativa y Covarianza aprox. cero y Covarianza aprox. cero y

9 Coeficiente de correlación Resulta conveniente disponer de una medida de relación lineal que no dependa de las unidades. Para ello, se normaliza cov xy dividiendo por el producto de desviaciones típicas, lo que lleva al coeficiente de correlación: r xy = cov xy. vx vy Propiedades: No depende de las unidades Siempre toma valores entre -1 y 1. Su signo se interpreta igual que el de la covarianza Sólo vale 1 ó -1 cuando los puntos están perfectamente alineados. Aunque r xy 0, las variables x e y no son necesariamente independientes.

10 Media Vibraciones 16,633 Media 16,633 Vibraciones Estadísticos descriptivos Desviación típica 1,7319 N Desviación típica N 1, Temperatura 79,973 6, Vibraciones Temperatura Correlación de Pearson Sig. (bilateral) Correlación de Pearson N 15 Temperatura 79,973 6,7170 Sig. (bilateral) 15 N Correlaciones Vibraciones 1 15,836, Vibraciones Temperatura,836,000 Temperatura Correlaciones Vibraciones Correlación de Pearson 1 Sig. (bilateral) N 15 Correlación de Pearson,836 Sig. (bilateral),000 N 15 Temperatura,836, Vibraciones Temperatura Correlación de Pearson Sig. (bilateral) N Correlación de Pearson Sig. (bilateral) N Correlaciones 20,0 Vibraciones 19,0 18,0 17,0 16,0 15,0 Vibraciones 1 15,836, Temperatura,836 Vibraciones 20,0 19,0,000 18,0 17, ,0 16,0 20,0 65,0 70,0 75,0 80,0 85,0 Temperatura 15,0 90,0 95,0

11 Problema de regresión Observamos dos variables, X e Y, el objetivo es analizar la relación existente entre ambas de forma que podamos predecir o aproximar el valor de la variable Y a partir del valor de la variable X. La variable Y se llama variable respuesta La variable X se llama variable regresora o explicativa En un problema de regresión (a diferencia de cuando calculamos el coeficiente de correlación) el papel de las dos variables no es simétrico.

12 Recta de regresión Frecuentemente, existe entre las variables una relación aproximadamente lineal: Y i β 0 + β 1 x i. La recta y = β 0 + β 1 x es una recta de regresión. El parámetro β 1 es la pendiente de la recta. Indica la variación media de la variable respuesta cuando X aumenta una unidad. El parámetro β 0 es el término independiente de la recta. Indica el valor medio de Y cuando X = 0. Objetivo: estimar los parámetros β 0 y β 1 a partir de los datos (x i, Y i ), i = 1,..., n.

13 Datos con ˆβ 0 3, ˆβ y r 0.8 y y x x3 y y x x4

14 El modelo de regresión lineal simple Para poder hacer inferencia (IC y contrastes) sobre los parámetros, suponemos que se verifica el siguiente modelo: Para todas las observaciones i = 1,..., n donde: Y i = β 0 + β 1 x i + u i, El valor medio de los errores u i es cero. Todos los errores u i tienen la misma varianza σ 2 (homocedasticidad). Las variables u i tienen distribución normal. Las variables u i son independientes.

15 58 STATISTICAL INFERENCE Figure 3.4 Joint density functions (shown symbolically) of the bivariate normal distributions of the form (3.9) with varying m. where fðx; mþ is the normal density function of Nðm; 1Þ. Figure 3.4 shows symboli-

16 En qué situaciones se verifica el modelo? x y x2 y x y x y4

17 La recta de mínimos cuadrados Si estimamos β 0 y β 1 mediante ˆβ 0 y ˆβ 1, la predicción de la variable respuesta Y i en función de la regresora x i es: Ŷ i = ˆβ 0 + ˆβ 1 x i Unos buenos estimadores deben ser tales que los errores de predicción sean pequeños. e i = Y i Ŷi = Y i ( ˆβ 0 + ˆβ 1 x i ) La recta de regresión de mínimos cuadrados viene dada por los valores ˆβ 0 y ˆβ 1 para los que se minimiza: n [Y i (β 0 + β 1 x i )] 2 i=1

18 x y x y

19 Estimadores de mínimos cuadrados Pendiente: ˆβ 1 = cov xy v x vy = r = r S y. vx S x Término independiente: ˆβ 0 = Ȳ ˆβ 1 x Al igual que en los modelos de los temas anteriores: A las predicciones Ŷ i = ˆβ 0 + ˆβ 1 x i se les llama valores ajustados o pronosticados. A los errores e i = Y i Ŷ i se les llama residuos.

20 Ejemplo: temperatura y vibración de las alas Estimadores de los parámetros: ˆβ 1 = r xy S y S x = = ˆβ 0 = Ȳ ˆβ 1 x = = Recta de regresión: y = x Predicción de Y 0 para x 0 = 80: Ŷ 0 = =

21 Diagrama de dispersión y recta estimada 20,0 19,0 18,0 Vibraciones 17,0 16,0 15,0 R2 Lineal = 0,7 14,0 65,0 70,0 75,0 80,0 85,0 90,0 95,0 Temperatura

22 Observaciones La recta de mínimos cuadrados pasa por el punto cuyas coordenadas son las medias: ( x, Ȳ ). Si la variable regresora se incrementa en una desviación típica x = S x, entonces la predicción de la variable respuesta se incrementa en r desviaciones típicas: Ŷ = rs y Puede demostrarse que la suma de los residuos siempre vale cero. La recta para predecir Y en función de X no es la misma que la recta para predecir X en función de Y.

23 La varianza residual La varianza residual es un estimador insesgado de σ 2 : n n SR 2 = i=1 e2 i n 2 = i=1 (Y i Ŷ i ) 2 n 2 = n i=1 (Y i ˆβ 0 ˆβ 1 x i ) 2. n 2 Se pierden dos grados de libertad puesto que los residuos verifican dos restricciones: La media de los residuos es igual a cero. La covarianza entre los residuos y la variable regresora es también igual a cero.

24 Una simulación Supongamos que σ = 1, β 0 = 0 y β 1 = 1. Entonces el modelo es Y i = x i + u i, donde los errores u i tienen distribución normal estándar y son independientes. Fijamos x i = 1, 2,..., 10 (n = 10) y generamos las respuestas correspondientes de acuerdo con este modelo. Posteriormente calculamos la recta de mínimos cuadrados y la representamos junto con la verdadera recta y = x.

25 Repetimos 6 veces el experimento x x x x x x

26 Repetimos 6 veces el experimento beta1= beta1= beta1= beta1= 0.95 beta1= 1.01 beta1= 0.99

27 Repetimos 1000 veces el experimento β β 1 Los estimadores son centrados y tienen distribución normal. Existen fórmulas del error típico de ˆβ 0 y ˆβ 1 que miden su variabilidad. Estas fórmulas son las que se utilizan para calcular IC y llevar a cabo contrastes en lo que sigue.

28 Error típico del estimador de la pendiente error típico de ˆβ 1 = S R 1 n i=1 (x i x) = S 2 R nv x Al aumentar nv x, el error típico de la pendiente disminuye (es decir, la estimación de la pendiente es más precisa). Conviene diseñar el experimento de forma que los valores x i tengan la mayor dispersión posible.

29 Error típico del estimador del término independiente error típico de ˆβ 0 = S R 1 n + x 2 nv x Si x 2 es grande, se estima con menos precisión el término independiente.

30 Intervalos de confianza Los intervalos de confianza de nivel 1 α para los parámetros ˆβ i (i = 0, 1) tienen la estructura habitual: [ ] IC 1 α (β i ) ˆβi t n 2,α/2 error típico de ˆβ i En comparación con los intervalos de confianza para la media: Los grados de libertad son n 2 en lugar de n 1. La fórmula del error típico es más complicada. El intervalo de confianza para σ 2 también tiene la estructura que ya hemos visto en los modelos de los temas anteriores: [ ] IC 1 α (σ 2 (n 2)SR 2 ) χ 2, (n 2)S R 2 n 2;α/2 χ 2 n 2;1 α/2

31 Ejemplo: temperatura y vibración de las alas Para los datos del ejemplo se ha calculado S 2 R = Calcula los errores típicos de los estimadores de la pendiente y del término independiente. Calcula un intervalo de confianza de nivel 95% para β 1. Calcula un intervalo de confianza de nivel 95% para β 0.

32 Contrastes para los parámetros Contraste bilateral: Hipótesis: H 0 : β i = 0 frente a H 1 : β i 0 Región crítica: { R = ˆβ i error típico de ˆβ i Contrastes unilaterales: Hipótesis: H 0 : β i 0 frente a H 1 : β i > 0 Región crítica: { ˆβ i R = error típico de ˆβ i } > t n 2,α/2. } > t n 2,α. Hipótesis: H 0 : β i 0 frente a H 1 : β i < 0 Región crítica: { ˆβ i R = error típico de ˆβ i < t n 2,α }.

33 Ejemplo: temperatura y vibración de las alas Aportan los datos evidencia para afirmar (α = 0.01) que la temperatura tiene una influencia significativa sobre la frecuencia de vibración de las alas? Podemos afirmar a nivel α = 0.01 que al aumentar la temperatura aumenta la frecuencia media de vibración de las alas? Escribe la región crítica para contrastar H 0 : β 1 = 1 frente a H 1 : β 1 1.

34 Con SPSS: temperatura y vibraciones Resumen del modelo Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,836 a,700,677,9849 a. Variables predictoras: (Constante), Temperatura ANOVA b Modelo 1 Regresión Residual Total Suma de cuadrados 29,383 12,611 41,993 gl Media cuadrática 29,383,970 F 30,290 Sig.,000 a a. Variables predictoras: (Constante), Temperatura b. Variable dependiente: Vibraciones Modelo 1 (Constante) Temperatura Coeficientes no estandarizados Coeficientes tipificados B Error típ. Beta t Sig. -,615 3,144 -,196,848,216 a. Variable dependiente: Vibraciones Coeficientes a,039,836 5,504,000

35 Con SPSS: renta y fracaso escolar Resumen del modelo b Modelo R R cuadrado R cuadrado corregida Error típ. de la estimación 1,742 a,550,528 4,7566 a. Variables predictoras: (Constante), Renta b. Variable dependiente: Fracaso &[PageTitle] Modelo 1 Regresión Residual Total a. Variables predictoras: (Constante), Renta b. Variable dependiente: Fracaso ANOVA b Suma de Media cuadrados gl cuadrática F Sig. 580, ,516 25,658,000 a 475, , , Coeficientes a Coeficientes Coeficientes no estandarizados estandarizad os Modelo B Error típ. Beta t Sig. 1 (Constante) 38,494 3,645 10,562,000 Renta -1,347,266 -,742-5,065,000 a. Variable dependiente: Fracaso

36 Cuestiones Escribe la ecuación de la recta de mínimos cuadrados que describe el nivel de fracaso escolar como función de la renta. Calcula intervalos de confianza de nivel 95% para la pendiente y el término independiente de la recta de regresión. Podemos afirmar, a nivel α = 0.05 que niveles más altos de renta están asociados a niveles más bajos de fracaso escolar? Cuánto vale el coeficiente de correlación entre el nivel de renta y el porcentaje de fracaso escolar? Qué porcentaje de fracaso escolar se predice en una población cuya renta es x 0 = euros? Cuál es el residuo correspondiente a Colmenar Viejo?

37 Análisis de la varianza en regresión simple Y i = Ŷi + e i Y i Ȳ = (Ŷi Ȳ ) + e i n (Y i Ȳ ) 2 = n (Ŷ i Ȳ ) 2 + i=1 i=1 SCT = SCE + SCR n i=1 e 2 i SCT mide la variabilidad total (tiene n 1 gl) SCE mide la variabilidad explicada por el modelo (tiene 1 gl) SCR mide la variabilidad no explicada o residual (tiene n 2 gl)

38 Tabla ANOVA y contraste F Fuente de variación Suma de cuadrados gl cuadrados medios estadístico Explicada (SCE) n i=1 (Ŷi Ȳ )2 1 n i=1 (Ŷi Ȳ )2 F ni=1 Residual (SCR) n i=1 e2 i n 2 SR 2 = ei 2 n 2 Total (SCT) n i=1 (Y i Ȳ )2 n 1 El estadístico F es igual a SCE/S 2 R. Si F es suficientemente grande (la variabilidad explicada es muy grande respecto a la no explicada), se debe rechazar H 0 : β 1 = 0. Bajo H 0 : β 1 = 0, el estadístico F tiene distribución F 1,n 2. La región crítica de nivel α del contraste es: R = {F > F 1,n 2;α }

39 Tabla ANOVA y contraste F Para contrastar H 0 : β 1 = 0 a nivel α hemos considerado tres procedimientos: Calcular un IC de nivel de confianza 1 α para β 1 y rechazar H 0 si 0 no pertenece al intervalo. Dividir ˆβ 1 por su error típico y rechazar H 0 si el valor obtenido es superior a t n 2;α/2. Calcular F = SCE/S 2 R y rechazar H 0 si el valor obtenido es superior a F 1,n 2;α. Los tres métodos son equivalentes en este modelo.

40 Evaluación del ajuste Para valorar el grado con el que la recta se ajusta a los datos se emplean varias medidas: El coeficiente de correlación r. El coeficiente de determinación: R 2 = Variabilidad explicada Variabilidad total = SCE SCT En el modelo de regresión simple R 2 = r 2, el coeficiente de determinación coincide con el coeficiente de correlación al cuadrado. El error cuadrático medio: ECM = n i=1 (Y i Ŷi) 2 n = n i=1 e2 i n. Puede comprobarse que ECM = V y (1 r 2 ).

41 Cuestiones Si SCT = 8100, SCE = 6900 y ˆβ 1 = 6.7. Calcula el coeficiente de correlación entre la variable regresora y la variable respuesta. Para un conjunto de 20 datos se sabe que SCT = 7200, SCE = 2900 y ˆβ 1 = 3.1. Calcula el coeficiente de correlación, el coeficiente de determinación y el error cuadrático medio.

42 Inferencia sobre la variable respuesta Una de las razones para ajustar un modelo de regresión simple es obtener información sobre Y cuando x toma un valor x 0 conocido. Hay dos problemas relacionados con este objetivo: Estimar el valor medio de Y para los individuos de la población para los que X = x 0. Si µ 0 es este valor medio, µ 0 = β 0 + β 1 x 0. Predecir el valor individual que tomará la variable Y para una nueva observación para la que se sabe que X = x 0. Si Y 0 es este valor, Y 0 = β 0 + β 1 x 0 + u 0. Qué problema es más difícil de los dos? Qué estimador y qué predicción resultan razonables para µ 0 y Y 0?

43 Estimación y predicción puntual En ambos casos, el estimador (o predicción) puntual es: Ŷ 0 = ˆβ 0 + ˆβ 1 x 0 = Ȳ + ˆβ 1 (x 0 x). Sin embargo, el intervalo de confianza para µ 0 es diferente del intervalo de predicción para Y 0. Intervalo de confianza para µ 0 de nivel 1 α: 1 Ŷ 0 t n 2;α/2 S R n + (x 0 x) 2 nv x Intervalo de predicción para Y 0 de nivel 1 α: Ŷ 0 t n 2;α/2 S R n + (x 0 x) 2 nv x

44 Ejemplo: temperatura y vibración de las alas Calcula un intervalo de confianza de nivel 95% para el número medio de vibraciones de las alas de los grillos cuando la temperatura es de 80 grados Farenheit. Calcula un intervalo de predicción de nivel 95% para el número de vibraciones de las alas de un grillo cuando la temperatura es de 80 grados Farenheit. En una población de la Comunidad de Madrid se sabe que la renta per cápita es 1000 euros inferior a la media de los datos disponibles. Calcula un intervalo de predicción de nivel 95% del porcentaje de fracaso escolar en esa población. Repite el ejercicio para una población cuya renta sea 1000 euros superior a la media. Medias Cuasidesviaciones típicas % Fracaso Renta

45 Intervalos de confianza y predicción Bandas de predicción Bandas de confianza media

46 Intervalos de confianza para la media &[PageTitle] Intervalos de confianza 40,0 30,0 Fracaso 20,0 10,0 Sq r lineal = 0,55 7,500 10,000 12,500 15,000 Renta 17,500 20,000 22,500

47 Renta Intervalos de predicción para valores individuales Intervalos de predicción 40,0 30,0 Fracaso 20,0 10,0 Sq r lineal = 0,55 7,500 10,000 12,500 15,000 Renta 17,500 20,000 22,500

48 Estimación de algunas relaciones no lineales A veces, aunque la relación entre x e Y no sea lineal, el modelo de regresión simple puede aplicarse después de transformar adecuadamente las variables. Modelos: Modelo de regresión exponencial Modelo de regresión logarítmica Modelo de regresión potencial

49 Modelo de regresión exponencial La variable respuesta es aproximadamente una función exponencial de la variable regresora: Y ae bx Se linealiza tomando logaritmos: log Y log a + bx Si ajustamos un modelo lineal a obtenemos los estimadores log a y ˆb. (x 1, log Y 1 ),..., (x n, log Y n ) Invirtiendo los cambios obtenemos los estimadores â y ˆb.

50 Modelo de regresión logarítmica La variable respuesta es aproximadamente una función lineal del logaritmo de la variable regresora: Y β 0 + β 1 log x Si ajustamos un modelo lineal a obtenemos los estimadores ˆβ 0 y ˆβ 1. (log x 1, Y 1 ),..., (log x n, Y n )

51 Modelo de regresión potencial La variable respuesta es proporcional a una potencia de la variable regresora: Y ax b Se linealiza tomando logaritmos: log Y log a + b log x Si ajustamos un modelo lineal a obtenemos los estimadores log a y ˆb. (log x 1, log Y 1 ),..., (log x n, log Y n ) Invirtiendo los cambios obtenemos los estimadores â y ˆb.

52 Ejemplo: renta y fracaso escolar Fracaso log Fracaso Renta Renta Fracaso log Fracaso log Renta log Renta

53 Ejemplo: renta y fracaso escolar Resumen del modelo y estimaciones de los parámetros Ecuación Resumen del modelo Estimaciones de los parámetros R cuadrado F gl1 gl2 Sig. Constante b1 Lineal,550 25, ,000 38,494-1,347 Logarítmica,572 28, ,000 70,584-19,600 Potencia,610 32, , ,923-1,066 Exponencial,594 30, ,000 51,642 -,074

54 Diagnóstico del modelo: linealidad y homocedasticidad El gráfico más útil para el diagnóstico del modelo es el de residuos frente a valores ajustados: (Ŷ 1, e 1 ),..., (Ŷ n, e n ) Se suelen utilizar los residuos estandarizados, que bajo las hipótesis del modelo tienen aproximadamente la distribución normal estándar. La hipótesis de normalidad se valora a partir de un gráfico de probabilidad de los residuos. La homocedasticidad se puede confirmar si No hay patrones sistemáticos en el gráfico. La variabilidad es aproximadamente constante a lo largo de todo el rango de valores ajustados. Los residuos estandarizados que no están comprendidos entre los valores -3 y 3 pueden corresponder a datos atípicos potencialmente influyentes.

55 Residuos frente a valores ajustados

56 Residuos frente a valores ajustados x y x y x y x y Ajustados Residuos Ajustados Residuos Ajustados Residuos Ajustados Residuos

57 Diagnóstico del modelo: normalidad

58 Precauciones al aplicar el modelo de regresión simple Existencia de datos atípicos Extrapolación Mezcla de poblaciones diferentes Datos temporales

59 Datos atípicos

60 Datos atípicos

61 Datos atípicos

62 Datos atípicos

63 Ejemplo: Temperatura e intensidad de luz en estrellas Para 47 estrellas se han registrado el log de la temperatura efectiva en la superficie (Temp) y el log de la intensidad de su luz (Intens) log(temperatura) log(intensidad)

64 Ejemplo: Temperatura e intensidad de luz en estrellas log(temperatura) log(intensidad)

65 Extrapolación Verdadera relación Y buena Y predicción Recta de regresión estimada x predicción

66 Mezcla de poblaciones Regresión con todos los datos

67 Ejemplo: número de pie y estatura

68 Datos temporales (correlación espúrea PNB en EE.UU e incidencia del melanoma en la población masculina en Connecticut ( )