Introducción al Tema 3. Tema 3. Correlación y regresión Covarianza y correlación. Propiedades y relación con el diagrama de dispersión. Regresión.

Transcripción

1 Introducción al Tema 3 1 Tema 2. Análisis de datos Representaciones y gráficos. Resumen numérico. Relaciones entre variables. bivariantes Extensión a dos variables cuantitativas Tema 3. Correlación y regresión Covarianza y correlación. Propiedades y relación con el diagrama de dispersión. Regresión.

2 2 Tema 3. Correlación y regresión Los contenidos a desarrollar en este tema son los siguientes: Covarianza y correlación. Propiedades y relación con el diagrama de dispersión. Concepto de regresión. Criterio de mínimos cuadrados. Lecturas recomendadas: Capítulos 7 y 10 del libro de Peña y Romo (1997). Secciones 12.1, 12.3 a 12.5 del libro de Newbold (2001).

3 3 Ejemplo 1. En la Encuesta de Presupuestos Familiares realizada por el I.N.E. en , se registraba el ingreso total estimado (IT) y el gasto total GTINE. Archivo hogares.sf3 (X ) 10 Plot of GTINE vs IT 8 GTINE IT (X ) Se observa una relación positiva entre el ingreso total estimado y el gasto total de los hogares.

4 Covarianza 4 Se ve en el Ejemplo 1 que existe una relación creciente y más o menos lineal entre el ingreso total y el gasto total de los hogares. Definición 1. Para una muestra de n datos bivariantes (x 1, y 1 ),..., (x n, y n ) la covarianza entre las dos variables es s xy = 1 n n (x i x)(y i ȳ) donde x = 1 n n x i e ȳ = 1 n n y i son las medias de ambas variables. La covarianza es una medida de la fuerza de la relación lineal entre dos variables cuantitativas.

5 5 Ejemplo 2. Con los datos del Ejemplo 1. En primer lugar hallamos las medias de ambas variables: x = 1 ( ) = ,0 75 ȳ = 1 ( ) = ,0 75 Luego calculamos la covarianza: s xy = 1 75 {( ,0)( ,0)+ ( ,0)( ,0) ( ,0)( ,0)} 1,8383e10 x, ȳ y s xy si Pts? La covarianza es positiva, que implica una relación creciente entre x e y.

6 6 Otra manera de calcular la covarianza: Es ineficiente calcular la covarianza directamente a través de esta definición. Se puede calcular la covarianza mediante la siguiente fórmula. Teorema 1. s xy = 1 n ( n ) x i y i n xȳ El cálculo a través de este resultado es mucho más rápido, ya que no se tiene que restar las medias de todos los datos. Ejemplo 2. s xy = 1 ( ) , ,0 1,8383e10

7 7 Demostración s xy = 1 n = 1 n = 1 n = 1 n = 1 n = 1 n n (x i x)(y i ȳ) ( n ) [x i y i x i ȳ xy i + xȳ] ( n x i y i ( n x i y i ȳ ) n n n x i ȳ xy i + xȳ ) n n x i x y i + n xȳ ( n x i y i nȳ 1 n x i n x 1 ) n y i + n xȳ n n ( n ) x i y i nȳ x n xȳ + n xȳ = 1 ( n ) x i y i n xȳ. n

8 8 Ejemplo 2. Utilizando Statgraphics: IT GTINE Count Average Variance E E10 Standard deviation Covariances IT GTINE IT E E10 ( 75) ( 75) GTINE E E10 ( 75) ( 75)

9 Ejemplo 3. Se quería estudiar la concentración de ácido úrico en la leche de una especie de vaca y se tomo una muestra de 14 vacas. Los datos son producción de leche (x lt/día) y concentración de ácido (y µmol/litro). 240 x 42,7 40,2 38,2 37,6 32,2 32,2 28,0 y x 27,2 26,6 23,0 22,7 21,8 21,3 20,2 y Diagrama de dispersión y x Tiemeyer, Stohrer, W. y Giesecke, D. (1984). Metabolites of nucleic acids in bovine milk. J. Dairy Sci., 67,

10 10 Calculamos ahora la covarianza entre x e y, y obtenemos: 14 x = 1 14 ȳ = 1 14 (42, ,2) 29,57 ( ) 167,43 x i y i = 42, ,2 213 = 65335,5 s xy = 1 14 (65335, ,57 167,43) 282,7 Vemos que existe una relación negativa entre las dos variables. La covarianza es positiva si existe una relación (lineal) creciente y negativa si existe una relación decreciente.

11 Cuasi-covarianza 11 Igual que con la cuasi-varianza, en muchos casos, se utiliza un denominador igual a n 1, es decir s c xy = 1 n (x i x)(y i ȳ). n 1 En este caso, se denomina cuasi-covarianza. Ejemplo 3. Utilizando Statgraphics: Produccion de leche Concentracion AU Produccion de leche ( 14) ( 14) Concentracion AU ( 14) ( 14) Es importante observar que en Statgraphics se emplea esta definición.

12 Cálculo de la covarianza para datos agrupados 12 Dada una tabla de doble entrada, y 1 y 2... y J x 1 f 11 f f 1J f 1 x 2 f 21 f X.... f 2J. f 2. x I f I1 f I2... f IJ f I f 1 f 2... f J 1 Y Calculamos la media de X: x = I f i x i, Calculamos la media de Y : ȳ = J j=1 f jy j. La covarianza se obtiene de: s xy = I J j=1 f ijx i y j xȳ.

13 Ejemplo 4. La siguiente tabla proporciona el número de veces (X) que una muestra de 50 estudiantes de Economía han tenido que repetir Introducción a la Estadística y el número de años que han tardado en acabar la licenciatura (Y ). Y ,3,1,06,04,5 1,08,16,04,02,3 X 2 0,04,02,06, ,08,08,38,3,12,2 1 Tenemos que x =,78 e ȳ = 5,14. La covarianza es f ij x i y j = 0 4, , ,08 = 4,66 i j s xy = i f ij x i y j xȳ = 4,66,78 5,14 = 0,6508 j 13

14 Correlación 14 Si las unidades de la variable X son centímetros y las unidades de la variable Y son gramos, entonces las unidades de la covarianza son cm g. Si cambiamos las unidades de las variables, cambia la covarianza. Recordemos el ejemplo 2. Esto hace que el valor de la covarianza sea difícil de interpretar. Definición 2. Para una muestra bivariante (x 1, y 1 ),..., (x n, y n ), la correlación entre las dos variables es r xy = s xy = s xy, s x s y s 2 xs 2 y donde s xy es la covarianza y s x y s y son las desviaciones típicas. La correlación es independiente de las unidades de las variables.

15 Propiedades de la correlación 15 1 r xy 1. r xy = 1 si y sólo si existen constantes α y β > 0 donde y i = α + βx i para i = 1,..., n. Es decir que existe una relación lineal positiva exacta entre las dos variables. r xy = 1 si y sólo si existen constantes α y β < 0 donde y i = α + βx i para i = 1,..., n. Es decir que existe una relación lineal negativa exacta entre las dos variables. Si la correlación está cerca de 1 o 1, entonces hay una relación aproximadamente lineal. Si no existe ninguna relación entre las dos variables, la correlación es 0.

16 Ejemplos 16 r xy = r xy = r xy = r xy =

17 Ejemplo 5. Retomamos el Ejemplo 3 sobre la concentración de ácido úrico en la leche vacuna. Hemos calculado las medias y la covarianza en el Ejemplo 3. Necesitamos las varianzas, desviaciones típicas y la correlación: ( s 2 x = 1 n ) x 2 i n x 2 n = 1 ( 42, , ,56 2) 14 54,43 y análogamente, s 2 y 1868, r xy = 283,2 54, ,82 0,89 Existe una relación negativa aproximadamente lineal entre las dos variables.

18 18 Ejemplo 6. En el Ejemplo 4, calculamos la covarianza entre el número de convocatorias agotadas de la asignatura y el número de años para terminar la licenciatura. Recordando que las desviaciones típicas son s x = 0,9442 y s y = 1,1315, la correlación es 0,6508 r xy = 0,9442 1,1315 0,61. Hay una correlación positiva entre las dos variables Plot of Y vs X Y X

19 19 Si no existe ninguna relación entre las dos variables, la correlación es 0. Ejemplo 7. Los datos son 30 parejas de números aleatorios. Correlación = y x La correlación es aproximadamente cero. Ejemplo en Excel El recíproco no es cierto.

20 20 Correlación igual a 0 no implica ninguna relación Hemos visto que si hay una relación más o menos lineal, la correlación entre las dos variables es bastante alta pero qué pasa si hay una relación no lineal? Correlación = 0.97 Correlación = y 200 y x x En ambos gráficos se ha utilizado la fórmula y = x 2 para generar los datos. Esto es, existe una relación no lineal entre x e y.

21 Recta de Regresión 21 Se han visto algunos ejemplos donde parece que haya una relación aproximadamente lineal entre dos variables. Supongamos que queremos estimar la relación entre las dos variables. Cómo ajustamos una recta a los datos? Un modelo para representar una relación aproximadamente lineal es donde ε es un error de predicción. y = α + βx + ε En esta formulación: y es la variable dependiente cuyo valor depende del valor de la variable independiente x.

22 Cálculo de la recta de regresión por mínimos cuadrados 22 Dada una muestra de datos (x 1, y 1 ),..., (x n, y n ) queremos obtener la recta que se ajusta mejor a estos datos. Si ajustamos una recta y = a + bx a los datos de la muestra, entonces los residuos o errores de predicción estimados son r i = y i (a + bx i ) para i = 1,..., n. De alguna manera, la recta que se ajusta mejor es la que minimiza el error total. Pero cómo definimos el error total? Una elección es la suma de errores cuadrados S(a, b) = n ri 2 = n (y i (a + bx i )) 2.

23 Cálculo de la recta de regresión (x i,y i ) 9 r i (x i, a + b x i ) r i = y i (a + bx i ) = y i ŷ i.

24 24 Teorema 2. Para una muestra de datos bivariantes (x 1, y 1 ),..., (x n, y n ), la recta de forma y = a + bx que minimiza la suma de errores cuadrados S(a, b) = n (y i a bx i ) 2 cumple que b = s xy s 2 x a = ȳ b x. Demostración Supongamos que ajustamos la recta y = a + bx. Queremos minimizar el valor de S(a, b). Obtenemos los ceros de S a = S b = 0.

25 25 S a = 2 n (y i a bx i ) = 2 (nȳ na nb x) = 0 a = ȳ b x S b n x i y i = b = = 2 ( n n x i (y i a bx i ) = 2 x i y i n x i (a + bx i ) = n x i (ȳ b x + bx i ) ( n ) = n xȳ + b x 2 i n x 2 n x iy i n xȳ n x2 i n x2 = ns xy ns 2 x = s xy s 2. x ) n x i (a + bx i ) sustituyendo por a = 0

26 26 Ejemplo 8. Se quiere probar la elasticidad de un muelle. Con este objetivo, se sometió el muelle a varios niveles de fuerza (x Newtons) y se midió la extensión total del muelle (y mm) en cada caso. fuerza 0,1 0,1 0,2 0,2 0,3 0,3 0,4 0,4 0,5 0,5 extensión Diagrama de dispersión de extension frente a fuerza extension ,1 0,2 0,3 0,4 0,5 fuerza

27 27 El diagrama de dispersión sugiere que existe una relación casi lineal entre fuerza y extensión. Para predecir la extensión del muelle en torno de la fuerza aplicada, aplicamos el model de regresión y = α + βx + ε Dados los datos de la muestra, hallamos la recta estimada por mínimos cuadrados. Tenemos: x = 0,3 s 2 x = 0,02 ȳ = 38 s 2 y = 310,8 s xy = 2,34

28 28 Calculamos la recta de mínimos cuadrados. b = s xy s 2 = 2,34 x 0,02 = 117 a = ȳ b x = ,3 = 2,9 La recta ajustada es y = 2, x. 80 La recta de regresión 60 extension ,1 0,2 0,3 0,4 0,5 fuerza

29 29 Ejemplo 9. Volvemos a los datos sobre el ácido úrico en la leche de vacas del Ejemplo 3. En el Ejemplo 3, obtuvimos que x = 29,56, ȳ = 167,43 y s xy = 283,2 y en el Ejemplo 5 que s 2 x = 54,43 y s 2 y = 1868,82. Luego, si queremos predecir la concentración de ácido úrico en la leche (y) en términos de la cantidad de leche producida (x), la recta de mínimos cuadrados es y = a + bx donde b = 283,2 54,43 = 5,20 a = 167,43 ( 5,20) 29,56 = 321,24

30 30 Los resultados del análisis en Statgraphics son: Regression Analysis - Linear model: Y = a + b*x Dependent variable: y Independent variable: x Parameter Estimate Intercept 321,241 Slope -5, Correlation Coefficient = -0, R-squared = 78,8347 percent Standard Error of Est. = 21,4817. The equation of the fitted model is y = 321,241-5,20265*x

31 31 Recta de regresión ajustada y x

32 Predicción con la recta de regresión 32 Habiendo ajustado una recta y = a + bx a los datos, podremos usarla para predecir el valor de y teniendo el valor de x. Ejemplo 10. En el Ejemplo anterior, supongamos que una vaca produce x = 30 litros de leche por día. Cuál estimamos es la concentración de ácido úrico en la leche de esta vaca? Estimamos con ŷ = 321,24 ( 5,20) ,15 µmol/litro

33 33 Ejemplo 11. En el Ejemplo 8, predecimos que la extensión del muelle si se aplica una fuerza de 0,4 Newtons es: ŷ = 2, ,4 = 49,7mm. Qué pasaría si ponemos una fuerza de 0? La extensión prevista por la recta de regresión en este caso es de 2,9 mm. No obstante el resultado no tiene sentido. Con fuerza 0, la extensión del muelle debe ser cero. No es conveniente (arriesgado) hacer predicciones usando valores de x fuera del rango de los datos observados.

34 Varianza residual 34 Definición 3. Dada una muestra de datos (x 1, y 1 ),..., (x n, y n ) se ajusta la recta de regresión por mínimos cuadrados, y = a+bx, con b = s xy y a = ȳ b x. s 2 x Se define la varianza residual como s 2 r = 1 n n r2 i = 1 n n (y i (a + bx i )) 2. Ejemplo 12. Calculamos los residuos en el Ejemplo 8. y ŷ 14,6 14,6 26,3 26,3 38,0 38,0 49,7 49,7 61,4 61,4 r 3,4 3,6 1,3 4,3 3,0 12,0 4,3 4,7 9,4 6,6 r = 1 10 s 2 r = 1 10 (3, ,6) = 0 ( 3, ,6 2) = 37,2

35 35 Existe una manera más rápido de hacer este cálculo: En primer lugar observamos que r = 0 siempre si ajustamos la recta, y = a + bx, por mínimos cuadrados: Demostración r = 1 n = 1 n = 1 n = 0 n (y i (a + bx i )) n (y i (ȳ b x + bx i )) por definición de a ( n (y i ȳ) b ) n (x i x)

36 36 En segundo lugar, tenemos el siguiente resultado. Teorema 3. s 2 r = s 2 ( ) y 1 r 2 xy, donde r xy es el coeficiente de correlación. Demostración s 2 r = 1 n = 1 n = 1 n n (y i (a + bx i )) 2 = 1 n n (y i (ȳ b x + bx i )) 2 por definición de a n ((y i ȳ) b(x i x))) 2 ( n (y i ȳ) 2 2b ) n n (y i ȳ)(x i x)+ b 2 (x i x) 2 = s 2 y 2bs xy + b 2 s 2 x = s2 y 2s xy s xy + = s 2 y s2 xy s 2 x = s 2 y ( 1 s2 xy s 2 x s2 y ) s 2 x = s 2 y ( 1 ( sxy ) 2 s 2 x s 2 x ( sxy s x s y ) 2 ) por definición de b = s 2 y ( ) 1 r 2 xy.

37 37

38 38 Ejemplo 13. Volviendo al Ejemplo 8, recordamos que s 2 x = 0,02, s 2 y = 310,8 y s xy = 2,34. Luego, la correlación es r xy = 2,34 0,2 310,8 0,939. Entonces s 2 r = 310,8 ( 1 0,939 2) = 37,02 tal como calculamos anteriormente. Ejemplo 14. En la salida de Statgraphics del Ejemplo 9 vemos que el coeficiente de correlación es 0,88789 y teníamos que s 2 y = 1868,82. Entonces, s 2 r = 1868,82 ( 1 ( 0,88789) 2) 395,54

39 39 Otra manera de escribir el Teorema 3 es s 2 r s 2 y = 1 r 2 xy. s 2 y es la varianza del error al predecir los valores de la variable y sin utilizar los valores de x. ŷ = ȳ s 2 r es la varianza del error al predecir los valores de la varianble y si usamos la variable x. ŷ = a + bx El porcentaje de reducción de la varianza original debido a la regresión es r 2 xy 100 %.

40 40 Ejemplo 15. En el Ejemplo 13, se ve que el porcentaje de reducción en varianza debido al conocimiento de los valores de la fuerza es de 0, = 88,8 %. Ejemplo 16. En el Ejemplo 9 se ve que el coeficiente de correlación es 0,88789 y que el valor de R-squared es de un 78,8347 % = ( 0,88789) %. Conociendo las cantidades de leche producidas por las vacas, se reduce la varianza un 78,8347 %.

41 Otra relación entre correlación y regresión 41 Consideramos la fórmula para el pendiente de la recta de regresión. Tenemos: b = s xy s 2 x = s ys xy s y s x s x = s y s x = s y s x r xy. s xy s x s y Si la correlación entre las dos variables es cero, también lo es la pendiente de la recta. Además, el Teorema 3 nos demuestra que la reducción en la varianza de los datos y debida a la regresión, en ese caso, es 0.

42 Análisis de los residuos 42 Se pueden utilizar los residuos para ver si el modelo de regresión lineal es adecuado. Casi siempre es útil hacer gráficos de los residuos (frente x, y o ŷ) para ver si los supuestos del modelo lineal de regresión son adecuados o no. Ejemplo 17. La recta de regresión para los cinco siguientes conjuntos de datos es la misma: y = 18,43 + 0,28 x Tomado de: Bassett, E. et al (1986). Statistics: Problems and Solutions. London: Edward Arnold

43 y 21 y 20 y x x x y y x x

44 44 El primer caso parece que la recta de regresión es adecuada. En el segundo caso, hay una relación no lineal. En el tercer gráfico, se ve la influencia de un dato atípico. En el cuarto gráfico parece que la recta está más cerca a los datos cuando x es más pequeño. En el último caso, se ve el efecto de un punto influyente. Consideremos los gráficos de los residuos frente a las predicciones.

45 45 Gráfico de predicciones frente a residuos Gráfico de predicciones frente a residuos Gráfico de predicciones frente a residuos 2 2 4,7 residuos 1 0 residuos 1 0 residuos 2,7 0, , , yhat yhat yhat Gráfico de predicciones frente a residuos Gráfico de predicciones frente a residuos 2,5 2 residuos 1,5 0,5-0,5 residuos 1 0-1,5-1 -2, yhat yhat

46 46 En el primer caso, los residuos parecen aleatorios. Es una buena indicación de que el modelo de regresión se ajusta correctamente. En el segundo caso, se ve una relación entre ŷ y los residuos. El modelo lineal no se ajusta bien. Cuando haya un dato atípico, se ve un residuo muy alto. Los residuos son más pequeños cuando ŷ es pequeño. Se ve el efecto del dato influyente.

47 Dos rectas de regresión 47 Hasta ahora, hemos pensado en un modelo y = α + βx + ε y dada la muestra, hemos ajustado la recta y = a+bx con b = s xy s 2 x y a = ȳ b x. Pero, podemos escribir el modelo de otra manera: donde δ = 1 β, γ = α β y ν = ε β. x = γ + δy + ν Si usamos mínimos cuadrados para ajustar la recta x = c + dy a los datos muestrales tendremos d = s xy s 2 y y c = x dȳ. Observamos que d 1 b.

48 Recta de regresión de y sobre x y Recta de regresión de x sobre y (c + d y i, y i ) 10 (x i, y i ) 8 (x i, a + b x i )

49 Recta de regresión de x sobre y (y i, c + d y i ) 5 4 (y i,x i ) (x, y) pasa a (y, x). Los errores se toman en horizontal, r i = x i c dy i.

50 50 Ejemplo 18. Volvemos al Ejemplo 8 sobre la extensión (y) obtenida con una la fuerza (x) aplicada al muelle. Antes hemos visto que ajustando la recta y = a+bx por mínimos cuadrados, se tiene ŷ = 2, x. Por ejemplo, x = 0,2 Newton se predice que extiende al muelle en 26.3 mm. Ahora supongamos que queremos predecir la fuerza x que causaría una extensión de y. Ajustando la recta por mínimos cuadrados, tenemos x =,0139 +,0075y. Por ejemplo, una extensión de y = 26,3 produciría una fuerza de 0,3365 Newton.

51 y y=a+bx x=c+dy datos x Es importante saber cuales son las variables dependientes y cuales las independientes.

52 Correlación y causalidad 52 Si el coeficiente de correlación entre dos variables es alto, indica que estas variables toman valores que están relacionadas entre si. Pero no permite concluir una relación causal entre esas variables. Ejemplo 19. El siguiente gráfico muestra el número de matrimonios en Madrid y las temperaturas mensuales durante el año El coeficiente de correlación es (X 1000) 5 Matrimonios Plot of Matrimonios vs Temperatura Temperatura No parece plausible que un aumento de los matrimonios aumente la temperatura. Ni que una ola de calor produzca mayor nupcialidad. Correlaciones espurias.

53 Recapitulación 53 Tema 3. Correlación y regresión Covarianza y correlación. Propiedades. Cómo cuantificar la relación lineal entre dos variables? Regresión. Criterio de mínimos cuadrados. Modelo lineal de Y como función de X

54 Estadística descriptiva 54 Introducción. Tema 1. Análisis de datos univariantes. Tema 2. Análisis de datos bivariantes. Tema 3. Correlación y regresión. Tema 4. Series temporales y números índice. Descripción de variables y datos socioeconómicos Tema 1 Tema 2 Análisis descriptivo de una o más variables tomadas en un instante del tiempo. Tema 3 Tema 4 Análisis descriptivo de una variable medida en varios instantes de tiempo. Estudiar la evolución temporal de la variable