Métodos Estadísticos de la Ingeniería Práctica 4: Regresión Lineal

Transcripción

1 Métodos Estadísticos de la Ingeniería Práctica 4: Regresión Lineal Área de Estadística e Investigación Operativa Mariano Amo Salas y Licesio J. Rodríguez-Aragón Marzo 2010 Contenidos Práctica Regresión Lineal Recta de Regresión Estimación de los Coeficientes Mínimos Cuadrados Modelo, lm() Predicción Cálculo de los Residuos Análisis de los Residuos Gráfico QQ: Diagnóstico de la Regresión: Ejercicios

2 Contenidos Práctica 4 Regresión Lineal Estimación de los Coeficientes de Regresión. El modelo lineal en R. Predicción. Residuos. Métodos Estadísticos de la Ingeniería Práctica 4 2 / 13 Regresión Lineal El fichero emisiones.rdata contiene los datos de emisiones de CO 2 de diferentes paises junto con sus indicadores de Producto Interior Bruto y renta per capita. >load("emisiones.rdata") Podemos realizar un resumen de los datos contenidos en el data frame, >summary(emisiones) Y resulta interesante conocer la relación que existe entre estas variables, >pairs(emisiones) >cor(emisiones) Dada la alta correlación entre la variable renta PIB y las emisiones de CO 2 vamos a plantear un modelo. Métodos Estadísticos de la Ingeniería Práctica 4 3 / 13 2

3 Recta de Regresión y i = a + b x i + ǫ i En la recta de regresión planteada tendremos: ǫ : error. Coeficientes de regresión: a : ordenada en el origen. b : pendiente. x : variable independiente. y : variable dependiente o respuesta. En nuestro caso la variable independiente considerada es PIB y la variable respuesta será CO2. Métodos Estadísticos de la Ingeniería Práctica 4 4 / 13 Estimación de los Coeficientes Los Coeficientes de regresión son desconocidos y deberemos estimarlos, â y ˆb. La estimación de los coeficientes se realizará minimizando las distancias verticales entre los puntos observados y i y las ordenadas previstas para dichos puntos, ŷ i = â + ˆb x i : min e 2 i = min (y i ŷ i ) 2 = min (y i (a + b x i )) 2 Donde e i = y i ŷ i se conocen como los residuos y son la diferencia entre el valor real y la predicción. Métodos Estadísticos de la Ingeniería Práctica 4 5 / 13 3

4 Mínimos Cuadrados La estimación de â y ˆb tales que minimicen la suma de los cuadrados de los residuos, min e 2 i, se conoce como método de mínimos cuadrados y da la siguiente solución: ˆb = (xi x)(y i ȳ) (xi x) 2 = S xy Sx 2, â = ȳ ˆb x Para nuestro caso tendremos x =PIB, y =CO2: >attach(emisiones) >Sxy<-sum((PIB-mean(PIB))*(CO2-mean(CO2)))/length(PIB) >Sx<-sum((PIB-mean(PIB))^2)/length(PIB) >b<-sxy/sx >a<-mean(co2)-b*mean(pib) >plot(pib,co2) >abline(a,b) para representar y = a + b x. Métodos Estadísticos de la Ingeniería Práctica 4 6 / 13 Modelo, lm() CO 2 = a + b PIB + ǫ Nuestro modelo vendrá expresado en términos de la variable independiente PIB y la variable respuesta o dependiente CO2. >modelo1<-co2 PIB Para representar gráficamente la relación entre ambas variables: >plot(modelo1) Podemos calcular la recta de regresión: >regresion1<-lm(modelo1) >abline(regresion1) >summary(regresion1) Métodos Estadísticos de la Ingeniería Práctica 4 7 / 13 4

5 Predicción Una vez construida la recta de regresión podemos predecir evaluando nuestro modelo con las estimaciones de los coeficientes: >predict(regresion1, +data.frame(pib<-c(2e6,4e6,6e6))) >rm(pib) Para obtener las predicciones a todos los posibles datos de la variable independiente: >predict(regresion1, +data.frame(pib<-emisiones$pib)) o bien: >fitted(regresion1) Métodos Estadísticos de la Ingeniería Práctica 4 8 / 13 Cálculo de los Residuos Los residuos, e i = y i ŷ i, se obtendrán entonces mediante la diferencia entre las predicciones y los valores reales: residuos1<-emisiones$co2- +predict(regresion1,data.frame(emisiones$pib)) o bien: >residuos1<-emisiones$co2-fitted(regresion1) Pudiendo representar gráficamente la evolución de los residuos: >plot(residuos1) obtener su media, mean(residuos1), su varianza, var(residuos1). Los residuos también se pueden obtener mediante la función, >residuals(regresion1) Métodos Estadísticos de la Ingeniería Práctica 4 9 / 13 5

6 Análisis de los Residuos En un modelo de regresión el análisis de los residuos nos permite detectar problemas de ajuste. Es importante que los residuos verifiquen las hipótesis de Normalidad, homocedasticidad e independencia: Gráficos de los residuos: Gráfico de los ǫ i : >plot(residuals(regresion1)) >hist(residuals(regresion1)) Gráfico de ŷ i frente a ǫ i : >plot(fitted(regresion1),residuals(regresion1)) Gráfico de x i frente a ǫ i : >plot(emisiones$pib,residuals(regresion1)) Métodos Estadísticos de la Ingeniería Práctica 4 10 / 13 Gráfico QQ: El gráfico QQ presenta los quantiles de una distribución frente a los quantiles de otra con el objetivo de comparar ambas distribuciones. Si queremos comparar la normalidad de los residuos compararemos su distribución con una distribución normal: >qqnorm(residuals(regresion1)) Si los residuos siguen una distribución normal, los puntos del gráfico QQ se agruparán a lo largo de una ĺınea. >qqline(residuals(regresion1)) Métodos Estadísticos de la Ingeniería Práctica 4 11 / 13 6

7 Diagnóstico de la Regresión: Se puede obtener el conjunto de gráficos de la regresión: >plot(regresion1) nos facilita gráficos de diagnóstico de la regresión de los residuos estandarizados, e i e i var(ei ). La función identify() en R nos permite identificar los puntos sobre un gráfico de dispersión mediante clicks del ratón. >identify(pib,co2,n=3) Si identificamos los índices de los valores atípicos podríamos excluirlos de la regresión. Métodos Estadísticos de la Ingeniería Práctica 4 12 / 13 Ejercicios Ejercicio 4.1: El cuadro de datos motores contiene el tiempo que tarda en fallar un motor a una temperatura dada. Para cada temperatura si el motor dura más de un cierto tiempo, se apaga. Ejercicio 4.2: El cuadro de datos tensión contiene el tiempo que tarda un ĺıquido aislante en llegar la la tensión de ruptura y conducir la electricidad según el voltaje aplicado. Métodos Estadísticos de la Ingeniería Práctica 4 13 / 13 7