Regresión Lineal Múltiple. Dr. Víctor Aguirre Torres, ITAM. Guión 12.

Transcripción

1 Regresión Lineal Múltiple 1

2 Propósito Cuantificar el cambio en el valor esperado de una variable (y) en función del cambio simultáneo otras variables (x 1, x 2,..., x p ). y=variable dependiente (cuantitativa) x 1 =variable explicativa 1 (cuantitativa o cualitativa) x 2 = variable explicativa 2 (cuantitativa o cualitativa) Etc. 2

3 Caso: Cargos Tarjeta de Crédito. Base de datos: Ch15\Consumer Se desea estimar el efecto de Ingreso y el número de ocupantes del hogar sobre el gasto en tarjeta de crédito. Se obtuvo una muestra de n=50 hogares. y = Cargos por tarjeta de crédito (en dólares) x 1 = Ingreso anual familiar (en miles de dólares) x 2 = Ocupantes del hogar 3

4 Datos En este ejemplo los datos constan de tripletas ordenadas (x 1i, x 2i, y i ) i Income ($1000s) Household Size Amount Charged ($) , , , , , , , , , , ,149 4

5 Diagramas de Dispersión y Supuesto Básico. Con el diagrama de dispersión se puede visualizar el supuesto básico del modelo. Diagrama de Dispersión 6,000 5,000 E(y 60<Ing<65) 4900 usd 4,000 Cargos 3,000 2,000 E(y 20<Ing<25) 3200 usd 1, Ingreso 5

6 Supuesto Básico: El valor promedio condicional de y depende linealmente de las variables explicativas. E(y x s)= β 0 +β 1 x β p x p También se suele expresar el modelo con errores: y = β 0 + β1x1 + β 2x β px p + ε ε=error del modelo. (β 0, β 1, β 2,..., β p )=parámetro desconocido 6

7 Interpretación de los Parámetros del Modelo de Regresión Lineal Múltiple. Ecuación general y = x p p β + β x + β x β + ε β 0 =intercepto al origen β 1 = razón de cambio de E(y x s) respecto a x 1 manteniendo constante las demás x s β 2 = razón de cambio de E(y x s) respecto a x 2 manteniendo constante las demás x s Etc. 7

8 Estimación de (β 0, β 1, β 2 ). También se puede definir la Función Suma de Cuadrados Denotaremos los valores que la minimizan por (b 0, b 1, b 2 ). Obtención de (b 0, b 1, b 2 ) usando Excel: Herramientas...Análisis de Datos...Regresión 8

9 Estimación de (β 0, β 1, β 2 ) con Excel. Resumen Estadísticas de la regresión Coeficiente de correlación múltipl Coeficiente de determinación R^ R^2 ajustado Error típico Observaciones 50 Ecuación de regresión ajustada: Cargos= Ingreso Ocup ANÁLISIS DE VARIANZA Grados de libera de cuadraio de los cua F alor crítico de F Regresión E-18 Residuos Total CoeficientesError típicoestadístico ProbabilidadInferior t 95%Superior 95% Intercepción E Income ($1000s) E Household Size E b 0, b 1, b 2 9

10 Interpretación de los Coeficientes Por cada mil dólares que varía el ingreso del hogar, el cargo mensual en la tarjeta de crédito varía alrededor de dólares, si el número de ocupantes permanece constante. Por cada persona que varía el número de ocupantes en el hogar, el cargo mensual en la tarjeta de crédito varía alrededor de dólares, si el ingreso permanece constante. 10

11 Modelo Ajustado. ŷ = b b1 x bpx p El modelo ajustado sirve para estimar el valor promedio de la variable dependiente para ciertos valores específicos de las variables explicativas. Ejemplo. Cuál es el cargo mensual promedio de un hogar con un ingreso mensual de 30 mil dólares y 4 ocupantes? ŷ = (30) (4) = = Ê( Cargo Ingreso = 30, Ocup = 3 ) 11

12 Valores Ajustados y Residuos. Valores ajustados. Se obtienen evaluando el modelo ajustado en las valores observados de las variables explicativas. ŷi = b0 + b1 xi bpxip i = Residuos. Son la diferencia entre el valor observado y el valor ajustado. Son la porción de y no explicada por el modelo. Nótese que el residuo es distinto del error del modelo. ˆ ε = y ŷ i = i i i 1,...,n 1,...,n 12

13 Valores Ajustados y Residuos. Análisis de los residuales Pronóstico Amount Observación Charged ($) Residuos Residuos estándares ŷ 1 = ŷi ˆi ε ˆ ε = (54) (3) = =

14 Bondad de Ajuste del Modelo. Propósito. Se desea contestar la pregunta: Qué tan bien se ajusta el modelo? Consideración de distintos tipos de variación Total. Original en los datos. Explicada por el Modelo. Valores ajustados. Residual. Residuos. 14

15 Sumas de Cuadrados. Suma de Cuadrados del Total. Variación inherente a los datos. No depende de modelo alguno. Suma de Cuadrados del Error. Variación no explicada por el modelo. Suma de Cuadrados de Regresión. Variación explicada por el modelo. n i= 1 ( ) SST = y i y SSE = i= 1 n i= 1 2 ( ) 2 SSR = ŷ i y n ε 2 ˆi Relación entre ellas: SST = SSR + SSE 15

16 Coeficiente de Determinación. R 2 = Coeficient e de Determinación = SSR SST Este coeficiente da la proporción de variación de y explicado por las x s a través del modelo de regresión lineal simple. Siempre 0 R

17 Ejemplo. Resumen Estadísticas de la regresión Coeficiente de correlación múltip Coeficiente de determinación R^ R^2 ajustado Error típico Observaciones R 2 = = ANÁLISIS DE VARIANZA Grados de libera de cuadraio de los cua F alor crítico de F Regresión E-18 Residuos Total CoeficientesError típicoestadístico ProbabilidadInferior t 95%Superior 95% Intercepción E Income ($1000s) E Household Size E Un 82% de la variación de los cargos en tarjeta de crédito es explicado por la variación en el ingreso y los ocupantes del hogar. 17

18 Prueba de Significancia Una hipótesis de interés es H I : β i 0 Significado. Si hay evidencia que β i 0, esto indica que la variable x i explica cambios en el valor promedio de y. El paquete calcula el intervalo de confianza para β i. Hay evidencia de que β i > 0 No hay evidencia de que β i 0 0 Hay evidencia de que β i < 0 18

19 Ejemplo. Resumen Estadísticas de la regresión Coeficiente de correlación múltipl Coeficiente de determinación R^ R^2 ajustado Error típico Observaciones 50 Hay evidencia de que β 1 >0 y que β 2 >0. ANÁLISIS DE VARIANZA Grados de libera de cuadraio de los cua F alor crítico de F Regresión E-18 Residuos Total CoeficientesError típicoestadístico ProbabilidadInferior t 95%Superior 95% Intercepción E Income ($1000s) E Household Size E

20 Generación de Pronósticos. Se pueden generar pronósticos puntuales y por intervalo con el modelo. Como en el caso de regresión lineal simple, se usará el paquete Minitab para calcular los intervalos de pronóstico. 20

21 Generación de Pronósticos con Minitab. Pegar los datos (x 1, x 2,y) desde Excel sobre la hoja de Minitab. Cascada de menues: Stat...Regression...Regression Argumentos: Response: y Predictors: x 1, x 2 Options...Prediction intervals for new observations: dar el o los valores de las x s para los cuales se desea el pronóstico 21

22 Generación de Pronósticos. Ejemplo. Pronosticaremos el cargo mensual si ingreso mensual es de 30 mil dólares y hay 3 ocupantes. Predicted Values for New Observations New Obs Fit SE Fit 95.0% CI 95.0% PI ( , ) ( , ) Values of Predictors for New Observations New Obs Ingreso Ocupante Intervalo de confianza para cargo promedio. Intervalo de pronóstico para el cargo individual. 22

23 Análisis de Residuos Estandarizados. Este análisis sirve para evaluar el ajuste del modelo. Residuo estandarizado i-ésimo: ˆ ε û = i i = i Varˆ( ˆ ε ) 1,...,n Típicamente se debería cumplir i ûi <

24 Análisis de Residuos Patrón Adecuado residuo estandarizado Y gorro 4 Varianza no constante residuo estandarizado Y gorro Patrón sistemático no explicado por el modelo Residuo estandarizado Y gorro 24

25 Análisis de Residuos. Ejemplo Tarjetas de Crédito. 4 Residuos estándares observaciones atípicas. No hay cambio en la varianza. No se ve un patrón sistemático Valores ajustados 25

26 Problemas recomendados Capítulo 15. Con los datos del problema 49: 1. Ajuste un modelo de regresión lineal múltiple para el precio por acción en función del valor en libros y el rendimiento por acción. 2. Hay evidencia de que los coeficientes de las variables explicativas sean distintos de cero? 3. Trace una gráfica de residuos estandarizados. Analice. 4. Estime puntualmente y por intervalo el precio esperado de una acción cuando el valor en libros es de 20 y el rendimiento es de 7%. 26

27 Problemas recomendados Capítulo 15. Con los datos del problema 50: 1. Ajuste un modelo de regresión lineal múltiple para segundos de 0 a 60 en función de precio, peso y potencia. 2. Hay evidencia de que los coeficientes de las variables explicativas sean distintos de cero? 3. Trace una gráfica de residuos estandarizados. Analice. 4. Estime puntualmente y por intervalo los segundos de 0 a 60 promedio de un auto cuando el precio es 60,000 dls, el peso es 3000 lbs y la potencia es de 280 hp. 27