Modelo de Regresión Lineal

Transcripción

1 Modelo de Regresión Lineal Álvaro José Flórez 1 Escuela de Ingeniería Industrial y Estadística Facultad de Ingenierías Febrero - Junio 2012

2 Introducción Un ingeniero, empleado por un embotellador de gaseosas, analiza las operaciones de entrega y servicios de producto en máquinas expendedoras. Cree que el tiempo utilizado por un repartidor, en cargar y dar servicio a una máquina, se relaciona con la cantidad de cajas de producto entregadas. El ingeniero visita 25 tiendas, escogidas al azar, con máquinas expendedoras, y anota el tiempo de entrega en la tienda (en minutos) y el volumen del producto entregado (en cajas), para cada una. Cantidad Tiempo 16,68 11,5 12,03 14,88 13,75 18, ,83 79,24 Cantidad Tiempo 21,5 40, ,5 19, ,35 19 Cantidad Tiempo 9,5 35,1 17,9 52,32 18,75 19,83 10,75

3 Introducción Volumen entregado (Cajas) Tiempo de entrega (Minutos) Figura: Relación entre el tiempo y el volumen entregado

4 Introducción La Herencia de Altura Uno de las primeras aplicaciones de un modelo de regresión fue para estudiar la herencia de los rasgos de generación en generación. Durante el período , E.S. Pearson recolectó información de la estatura de madres, menores de 65 años, en el Reino Unido y de una de las hijas adultas mayores de 18 años. Pearson y Lee (1903). El interés está en la herencia de la madre a la hija... Las madres altas tienden a tener hijas más altas? Las madres bajas tienden a tener hijas más bajas?

5 Introducción Estatura de la hija Estatura de la madre Figura: Relación entre la estatura de la madre y de la hija

6 Diagrama de dispersión Muestra la relación entre dos variables cuantitativas medidas en un mismo individuo. Los valores de una variable aparecen en el eje (X) y los de la otra en el eje (Y). Cada individuo aparece como un punto en el diagrama.

7 Diagrama de dispersión Algunos aspectos que se observan en un diagrama de dispersión son: Forma: Relaciones lineales o no lineales - No relación. Dirección: Si la relación entre las dos variables tiene una dirección clara, puede ser una asociación positiva o una asociación negativa. Fuerza: La fuerza de la relación entre variables viene determinada por la proximidad de los puntos del diagrama a alguna forma (recta).

8 Medida de asociación lineal entre dos variables n COV (X, Y) = 1 n (X i X)(Y i Y ) i=1 Covarianza II I yy IV III X x

9 Medida de asociación lineal entre dos variables n COV (X, Y) = 1 n (X i X)(Y i Y ) i=1 Covarianza II yy IV I III Si las observaciones se encuentran en I y IV COV (X, Y) > 0 X x

10 Medida de asociación lineal entre dos variables n COV (X, Y) = 1 n (X i X)(Y i Y ) i=1 Covarianza II yy IV I III X Si las observaciones se encuentran en I y IV COV (X, Y) > 0 Si las observaciones se encuentran en II y III COV (X, Y) < 0 x

11 Medida de asociación lineal entre dos variables n COV (X, Y) = 1 n (X i X)(Y i Y ) i=1 Covarianza II yy IV I III X Si las observaciones se encuentran en I y IV COV (X, Y) > 0 Si las observaciones se encuentran en II y III COV (X, Y) < 0 x Propiedades COV (a + bx, c + dy = bdcov (X, Y)) COV (X, X) = S 2 X

12 Coeficiente de correlación El inconveniente de la covarianza es que está influenciada por las unidades de medida. Una solución a esto es el uso del coeficiente de correlación, el cual puede ser calculado como: r xy = cov(x, y) σ x σ y Este coeficiente oscila entre -1 y 1 ( 1 r xy 1), donde: r xy = 1 indica relación lineal positiva perfecta. r xy = 0 indica que entre las variables no hay relación lineal. r xy = 1 indica relación lineal negativa perfecta.

13 Modelo de Regresión Expresión matemática que describe en algún sentido la relación entre las variables x i y y i, donde se considera que x i explica los valores de y i. En la mayoría de los casos se está interesado en describir como la media de Y cuando cambian los valores de X (E(Y X = x)). Y i = f(x i ) + ɛ i Los objetivos de ajustar un modelo son: Evaluar el efecto, o relación, entre dos variables. Predecir observaciones futuras.

14 Modelo Lineal Simple El objetivo de un análisis de regresión lineal es modelar la asociación de la variable Y con la variable X a través de una función lineal. Y i = β 0 + β 1 x i + ɛ i Donde β 0 representa el valor medio que toma Y cuando x = 0 (No siempre tiene interpretación lógica). Donde β 1 representa el cambio de la media de la variable Y producido por cambio unitario en x. ɛ Representa un error aleatorio independiente ɛ Normal(0, σ 2 < ). E(Y X = x) = β 0 + β 1 x Var(Y X = x) = σ 2

15 Estimación del Modelo y E(y x) = β 0 + β 1 x x

16 Estimación del Modelo E(y x) = β 0 + β 1 x Estimación: y Ê(y x i ) = ŷ i = ˆβ 0 + ˆβ 1 x i e i = y i ŷ i x

17 Estimación del Modelo E(y x) = β 0 + β 1 x Estimación: y Ê(y x i ) = ŷ i = ˆβ 0 + ˆβ 1 x i e i = y i ŷ i x Objetivo: Estimar los parámetros tal que la suma de cuadrados de las diferencias entre las observaciones y la línea recta estimada (residuales) sea mínima (Min SCE)

18 Estimación del Modelo La estimación por medio del método de Mínimos Cuadrados Ordinarios de β 0 y β 1 consiste en encontrar los valores de ˆβ 0 y ˆβ 1 que minimicen la expresión: SSE = n (y i ŷ i ) 2 = i=1 n (y i ( ˆβ 0 + ˆβ 1 x i )) 2 i=1

19 Estimación del Modelo La estimación por medio del método de Mínimos Cuadrados Ordinarios de β 0 y β 1 consiste en encontrar los valores de ˆβ 0 y ˆβ 1 que minimicen la expresión: SSE = n (y i ŷ i ) 2 = i=1 n (y i ( ˆβ 0 + ˆβ 1 x i )) 2 i=1 Derivando SCE con respecto a ˆβ 0 y ˆβ 1 e igualando a cero se obtienen las ecuaciones normales. yi = n ˆβ 0 + ˆβ 1 xi xi y i = ˆβ 0 xi + ˆβ 1 x 2 i

20 Estimación del Modelo Resolviendo las ecuaciones normales simultáneamente para ˆβ 0 y ˆβ 1 se obtienen las estimaciones de β 0 y a β 1. ˆβ 0 = ȳ ˆβ 1 x ˆβ1 = (xi x)(yi ȳ) (xi x) 2

21 Estimación del Modelo Resolviendo las ecuaciones normales simultáneamente para ˆβ 0 y ˆβ 1 se obtienen las estimaciones de β 0 y a β 1. ˆβ 0 = ȳ ˆβ 1 x ˆβ1 = (xi x)(yi ȳ) (xi x) 2 Puesto que σ 2 es el promedio al cuadrado de los errores (ε 2 i ), se puede obtener su estimación a partir de la suma de cuadrados de los residuales. SSE = n i=1 (y i ŷ i ) 2 ˆσ 2 = SSE n p p indica el número de coeficientes del modelo. Esta cantidad también es llamada Cuadrado medio del error(mse)

22 Estimación del Modelo Modelo estimado y = 3, ,176x ˆσ = 4,181 Tiempo de entrega (Minutos) Volumen entregado (Cajas) ˆβ 1 nos indica que por cada caja adicional que se entrega, el tiempo del servicio aumenta en minutos

23 Propiedades de los estimadores Valor esperado: E( ˆβ 0 ) = β 0 E( ˆβ 1 ) = β 1 Varianza: Var( ˆβ 0 ) = σ 2 ( 1 n + x 2 n i=1 (x i x) 2 ) Var( ˆβ 1 ) = σ 2 n i=1 (x i x) 2

24 Propiedades de los estimadores Valor esperado: E( ˆβ 0 ) = β 0 E( ˆβ 1 ) = β 1 Varianza: Var( ˆβ 0 ) = σ 2 ( 1 n + x 2 n i=1 (x i x) 2 ) Para el modelo estimado: Var( ˆβ 1 ) = σ 2 n i=1 (x i x) 2 var( ˆβ 0 ) = 0,0154 var( ˆβ 1 ) = 1,88

25 Propiedades de los estimadores (MCO) Otras propiedades: n e i = 0 i=1 n y i = i=1 n i=1 ŷ i n x i e i = 0 i=1 n ŷ i e i = 0 i=1

26 x Análisis de Varianza Qué tanto de la variabilidad de los datos es explicada por el modelo de regresión? y i ȳ = (y i ŷ i ) + (ŷ i ȳ) Y Y^ Y Y Y^ y Y^ Y

27 Análisis de Varianza Este análisis se basa en la partición de la variabilidad total de la variable Y. Es útil para determinar el ajuste del modelo, comparación de dos o mas modelos (para un mismo conjunto de datos). Es de gran utilidad en el modelo de regresión múltiple. n n n (y i ȳ) 2 = (ŷ i ȳ) 2 + (y i ŷ i ) 2 i=1 i=1 i=1 SST = SSR + SSE

28 Análisis de Varianza Este análisis se basa en la partición de la variabilidad total de la variable Y. Es útil para determinar el ajuste del modelo, comparación de dos o mas modelos (para un mismo conjunto de datos). Es de gran utilidad en el modelo de regresión múltiple. n (y i ȳ) 2 = i=1 n (ŷ i ȳ) 2 + i=1 SST = SSR + SSE n (y i ŷ i ) 2 De la variación de y sobre ȳ, parte puede atribuirse al modelo de regresion (SSR) y otra parte al hecho de que la observación real no cae en la recta de regresión (SSE). i=1

29 Análisis de Varianza Fuente de variación Grados de libertad Suma de Cuadr.(SS) Cuadr. Medio (MS) F 0 Regresión p-1 Error n-p Total n-1 n i=1 (ŷ i ȳ) 2 n i=1 (y i ŷ i ) 2 n i=1 (y i ȳ) 2 SSR SSE p 1 n p MSR MSE Hipótesis a probar: H 0 : β 1 = 0 H 1 : β 1 0 Rechazo H 0 si: F 0 > F 1 α,p 1,n p

30 Análisis de Varianza F. de var. g.l Suma de Cuadr.(SS) Cuadr. Medio (MS) F 0 Valor p Regresión e-15 Error Total Hipótesis a probar: H 0 : β 1 = 0 H 1 : β 1 0 Rechazo H 0 si: F 0 > F 1 α,p 1,n p

31 Coeficiente de Determinación Consiste en dividir la variabilidad total en función de si es o no explicada por el modelo: R 2 = SSR SST = 1 SSE SST El R 2 es una medida de la proporción de la variación total sobre Ȳ que es explicada por la regresión.

32 Intervalos de Confianza Se supone que cada observación viene de una distribución normal centrada verticalmente en cada nivel x i del modelo asumido. Además se asume que σ 2 se asume igual para cada distribución.

33 Intervalos de Confianza Se supone que cada observación viene de una distribución normal centrada verticalmente en cada nivel x i del modelo asumido. Además se asume que σ 2 se asume igual para cada distribución. Y N(µ = β 0 + β 1 x i, σ 2 ) ˆβ j N(β j, var(β j ))

34 Intervalos de Confianza Una estimación por intervalos de confianza de los parámetros proporciona mayor información que una estimación puntual debido a que esta refleja la precisión de las estimaciones. β 0 ± t n p,α/2 ˆσ 2 ( 1 n + x 2 n i=1 (x i x) 2 ) ˆσ β 1 ± t 2 n p,α/2 n i=1 (x i x) 2

35 Intervalos de Confianza Una estimación por intervalos de confianza de los parámetros proporciona mayor información que una estimación puntual debido a que esta refleja la precisión de las estimaciones. β 0 ± t n p,α/2 ˆσ 2 ( 1 n + x 2 n i=1 (x i x) 2 ) ˆσ β 1 ± t 2 n p,α/2 n i=1 (x i x) 2 Para el ejemplo del tiempo de entrega (Intervalos del 95 % para los coeficientes): Para β 0 (0.484, 6.157) Para β 1 (1.92, 2.433)

36 Intervalos de Confianza De igual forma, es posible estimar intervalos para la respuesta media de Y (Intervalo de confianza) para diferentes valores de X (E(Y X = x 0 )) usando ŷ (x=x0 ) y su error estándar Ŷ (x=x0 ) ± t (n p,α/2) ( 1 ˆσ 2 n + (x 0 x) 2 ) n i=1 (x i x) 2 También es un intervalo para predecir un posible valor futuro de Y (Intervalo de predicción) que no fue usado para estimar los parámetros, con un valor observado de X. Ŷ (x=x0 ) ± t (n p,α/2) ( ˆσ n + (x 0 x) 2 ) n i=1 (x i x) 2

37 Intervalos de Confianza Figura: Intervalo de Confianza y predicción para el tiempo de entrega Tiempo de entrega(minutos) IC 95% Media IC 95% Nueva Obs Cantidad(Cajas)

38 Intervalos de Confianza Figura: Intervalo de Confianza y predicción para la estatura de la hija Estatura Hija Estatura Madre

39 Prueba de hipótesis Dado que: ˆβj N(β j, var( ˆβ j )) entonces se puede plantear la siguiente prueba de hipótesis: H 0 : β 1 = C H 0 : β 1 C Usando el siguiente estadístico de prueba: t = ˆβ 1 C var( ˆ ˆβ j ) Rechazo H 0 si t < t n p,1 α/2. De igual forma se pueden plantear hipótesis de H 1 : β 1 < c o β 1 > c.

40 Algunas consideraciones Algunos abusos comunes en regresión son (Montgomery and Vinning, 2002): Un modelo sirve de ecuaciones de interpolación dentro del intervalo de x que se usan para ajustarlo. Se debe tener cuidado al extrapolar fuera de ese intervalo. la disposición de los puntos de x afectan el ajuste por MCO. La pendiente estimada( ˆβ 1 ) se ve muy influenciada por valores extremos de x. Los valores atípicos o valores erróneos pueden afectar el ajuste por MCO. Si un modelo estimado indica fuerte relación entre dos variables, no implica, necesariamente, que estás tengan una relación de causa-efecto.

41 Observaciones Atípicas o influyentes Un punto atípico se refiere a una observación que tiene un valor inusual de y, se identifican con frecuencia por los residuales grandes. Un punto influyente se refiere a un punto que tiene un valor de x inusual, lo que provoca un impacto notable sobre los coeficientes del modelo. Figura: Diferencia entre punto influyente y punto atípico

42 Bibliografía Draper, N. and Smith, H. (1998). Applied regression analysis. John Wiley & Sons, New York, 3 edition. Montgomery, D.C. Peck, E. and Vinning, G. (2002). Introducción al análisis de regresión lineal. CECSA, Mexico, 3 edition. Rawlings, J. O., Pantula, S., and Dickey, D. (1998). Applied Regression Analyisis: A Research Tool. Springer-Verlag, New York, 2 edition.