Regresión Lineal Simple. Dr. Víctor Aguirre Torres, ITAM. Guión 11.

Transcripción

1 Regresión Lineal Simple 1

2 Propósito Cuantificar el cambio en el valor esperado de una variable (y) en función de otra variable (x). y=var. Dependiente (cuantitativa) x=var. Explicativa (cuantitativa) 2

3 Ejemplo y=rendimiento semanal de una acción = (P t -P t-1 )/P t-1 x=rendimiento semanal de la bolsa Propósito: ver que tanto varía la cotización en función de la variación del mercado. Se trata de medir el riesgo de la acción en función del riesgo del mercado. 3

4 Datos Constan de parejas ordenadas (x i,y i ). Son la observación de dos variables que corresponden al mismo caso. Ejemplo: Y=Rendimiento cementera X=Rendimiento del mercado Obs X Y

5 Diagrama de Dispersión Representación gráfica sobre el plano Cartesiano. Sirve para ver asociaciones. Diagrama de Dispersión Y X Supuesto básico: el valor esperado de Y depende linealmente de X 5

6 El Supuesto Básico. Diagrama de Dispersión Y Banda 0< X <2 X Banda 6< X <8 6

7 Un Ejemplo del Supuesto Básico. Y E (Y X = 20 ) = 15 E (Y X = 10 ) = 10 5 E (Y X = 5 ) = 7.5 E (Y X ) = X X=5 X=10 X=20 X 7

8 Modelo Regresión Lineal Simple Ecuación: y 0 1 = β + β x + ε y=var. Dependiente (cuantitativa) x=var. Explicativa (cuantitativa) β 0 =intercepto al origen β 1 =pendiente (razón de cambio) ε=error del modelo (β 0, β 1 )=parámetro desconocido 8

9 Interpretación de los Parámetros β 0 β 1 β 1 = intercepto al origen, = pendiente del modelo, =cambio de E(Y X) debido a un cambio unitario en X. Y β 0 1 β 1 X 9

10 Estimación de (β 0, β 1 ) Función Suma de Cuadrados SC( β n ' ' 0, β1 ) = i 0 β1x i i= 1 ( ) 2 ' ' Y β El estimador de mínimos cuadrados resulta de minimizar esta función objetivo. Ilustraremos con Excel su minimización usando Solver. 10

11 Función Suma de Cuadrados beta prima 0 8 Suma de Cuadrados beta prima Obs X Y Recta Dif (Dif)^ X Y Recta 11

12 Función Suma de Cuadrados beta prima 0 2 Suma de Cuadrados beta prima Obs X Y Recta Dif (Dif)^ X Y Recta 12

13 Solución con Solver beta prima Suma de Cuadrados beta prima Obs X Y Recta Dif (Dif)^ X Y Recta Estimador de Mínimos Cuadrados: b b 0 1 = = Ecuación de regresión ajustada Ŷ = X 13

14 Estimación de (β 0, β 1 ). Interpretación Por cada punto porcentual que varía el rendimiento de la bolsa de valores, el rendimiento de la cementera varía alrededor de 1.7 puntos porcentuales. Notación: En general denotaremos por (b 0, b 1 ) al estimador de mínimos cuadrados de (β 0, β 1 ). 14

15 Cálculo con Excel Herramientas...Análisis de datos...regresión Rango Y de Entrada: $C$4:$C$23 Rango X de Entrada: $B$4:$B$23 Rótulos: marcar Rango de Salida: $G$5 Residuales: marcar 15

16 Cálculo con Excel. Resumen Estadísticas de la regresión Coeficiente Coeficiente R^2 ajusta Error típico Observacio 19 ANÁLISIS DE VARIANZA Grados de libertadsuma de cuadrados io de los cua F lor crítico de F Regresión E-05 Residuos Total Coeficientes Error típico Estadístico tprobabilidadinferior 95%Superior 95% Intercepción X E

17 Modelo Ajustado Ecuación de regresión ajustada Valores ajustados Residuos Ŷ = b b X Ŷ = b + Nota: error residuo. i ˆ ε i = 0 Y i b 1 Ŷ X i i 17

18 Gráfica Modelo Ajustado Y Ŷ = ˆε 1 0 ˆε 1 11 ˆ ε X 1.7 X Observación Pronóstico Y Residuos Ŷ ˆ ε Ŷ = ( 3.8 ) = 7.23 = = 4.67 = (1.9 ) = 4.00 = =

19 Bondad de Ajuste del Modelo. Propósito. Se desea contestar la pregunta: Qué tan bien se ajusta el modelo? Consideración de distintos tipos de variación Total Explicada por el Modelo Residual 19

20 Sumas de Cuadrados. Suma de Cuadrados del Total. Variación inherente a los datos. No depende de modelo alguno. Suma de Cuadrados del Error. Variación no explicada por el modelo. Suma de Cuadrados de Regresión. Variación explicada por el modelo. n i= 1 ( ) SST = Y i Y SSE = i= 1 n i= 1 2 ( ) 2 SSR = Ŷ i Y n ε 2 ˆi Relación entre ellas: SST = SSR + SSE 20

21 Coeficiente de Determinación. R 2 = Coeficient e de Determinación = SSR SST Este coeficiente da la proporción de variación de Y explicado por X por medio del modelo de regresión lineal simple. Siempre 0 R

22 Ejemplo, Y=rendimientos cementera. Resumen Estadísticas de la regresión Coeficiente Coeficiente R^2 ajusta Error típico Observacio R 2 = = ANÁLISIS DE VARIANZA Grados de libertadsuma de cuadrados io de los cua F lor crítico de F Regresión E-05 Residuos Total Coeficientes Error típico Estadístico tprobabilidadinferior 95%Superior 95% Intercepción X E Un 67 % de la variación del rendimiento de la cementera es explicado por la variación del mercado. 22

23 Prueba de Significancia Una hipótesis de interés es H I : β 1 0 Significado. Si hay evidencia que β 1 0, esto indica que la variable X explica cambios en el valor promedio de Y. El paquete calcula el intervalo de confianza para β 1. Hay evidencia de que β 1 > 0 No hay evidencia de que β Hay evidencia de que β 1 < 0 23

24 Ejemplo, Y=rendimientos cementera. Resumen Estadísticas de la regresión Coeficiente Coeficiente R^2 ajusta Error típico Observacio 19 Hay evidencia de que β 1 >0. El rendimiento del mercado es significativo en explicar la variación del rendimiento de esta acción. Gráfico intervalo de confianza ANÁLISIS DE VARIANZA Grados de libertadsuma de cuadrados io de los cua F lor crítico de F Regresión E-05 Residuos Total Coeficientes Error típico Estadístico tprobabilidadinferior 95%Superior 95% Intercepción X E

25 Generación de Pronósticos. Se pueden generar pronósticos puntuales y por intervalo con el modelo. Se requiere la varianza del error de pronóstico para calcular el margen de error. Las fórmulas para la varianza del error de pronóstico son demasiado complicadas, por lo que se omitirán. Se usará el paquete Minitab para calcular los intervalos de pronóstico. Cuando el tamaño de muestra es pequeño el intervalo de pronóstico puede ser prácticamente inútil. 25

26 Generación de Pronósticos con Minitab. Pegar los datos (X,Y) desde Excel sobre la hoja de Minitab. Cascada de menues: Stat...Regression...Regression Argumentos: Response: Y Predictors: X Options...Prediction intervals for new observations: dar el o los valores de X para los cuales se desea el pronóstico 26

27 Generación de Pronósticos. Ejemplo. Pronosticaremos el rendimiento de la cementera si el rendimiento del mercado es de tres puntos porcentuales. Predicted Values for New Observations New Obs Fit SE Fit 95.0% CI 95.0% PI ( 4.447, 7.291) ( , ) Values of Predictors for New Observations New Obs Mercado Intervalo de confianza para rendimiento esperado E(Y X=3) Intervalo de pronóstico para el rendimiento observado Y. 27

28 Problemas recomendados Capítulo sin c). 39, graficando el modelo ajustado; verificando: el valor del coeficiente de determinación y si hay evidencia de que β hacer inciso (a); graficando el modelo ajustado; verificando: el valor del coeficiente de determinación y si hay evidencia de que β