18/06/2010 REGRESIÓN LINEAL MULTIVARIADA. Descripción. Objetivos

Transcripción

1 TALLERES DE VERANO EN MÉTODOS DE INVESTIGACIÓN EN POBLACIÓN Y TERRITORIO REGRESIÓN LINEAL MULTIVARIADA Fortino Vela Peón fvela@correo.xoc.uam.mx Juan F. Islas Aguirre jfislas@correo.xoc.uam.mx Junio, 2010 Descripción En este curso se desarrollan técnicas de regresión lineal que permiten cuantificar relaciones entre variables, contrastar hipótesis y predecir valores futuros de ciertas variables en función del modelo considerado. El curso tiene un carácter aplicado y se aprende a utilizar Stata. Objetivos Ofrecer los elementos básicos vinculados a las técnicas de regresión lineal simple y múltiple Dotar del manejo básico del Stata para poder llevar a cabo un análisis empírico basado en los conocimientos teóricos adquiridos. 1

2 Temario Tema Contenido 1 Conceptos básicos 2 Modelo de Regresión Lineal Simple 3 Modelo de Regresión Lineal Múltiple 4 El Modelo de Regresión Lineal Simple y Múltiple con Stata 5 Contrastes de restricciones lineales y predicción 6 Errores en la especificación 7 Multicolinealidad 8 Variables cualitativas 9 Diagnóstico del modelo Tema 1. Conceptos básicos 1.- Introducción. 2.- Qué es el análisis de regresión (lineal)? 3.- Preeliminares estadísticos. 4.- Análisis de datos: introducción a Stata Tema 2. Modelo de regresión lineal simple (MRLS) 1.- Introducción. 2.- Elementos del modelo de regresión simple. 3.- Supuestos del modelo. 4.- Estimación por mínimos cuadrados ordinarios. 5.- Contrastes de hipótesis e intervalos de confianza. 6.- Resumen y ejemplos. 2

3 Tema 4. MRLS y MRLM con Stata 1. Ejemplo 2. Estimación por mínimos cuadrados ordinarios utilizando Stata 3. Análisis de los resultados mostrados 4. Bondad de ajuste y selección de modelos 5. Contrastes de hipótesis e intervalos de confianza con Stata. 6. Presentación de los resultados. Tema 5. Contrastes de restricciones lineales y predicción 1.- Contrastes de restricciones lineales. 2.- Contrastes utilizando Stata. 3.- Estimación bajo restricciones lineales. 4.- Estadísticos equivalentes. 5.- Predicción. Tema 6. Errores de especificación 1.- Introducción. 2.- Efectos de omisión de variables relevantes. 3.- Efectos de inclusión de variables irrelevantes. 3

4 Tema 7. Multicolinealidad 1.- Multicolinealidad perfecta. 2.- Multicolinealidad de grado alto. 3.- Identificación con Stata. Tema 8. Variables cualitativas 1.- Introducción. Un ejemplo. 2.- Modelo con una variable cualitativa. 3.- Modelo con dos o más variables cualitativas. 4.- Contraste de cambio estructural. 5.- Implementación en Stata. Tema 9. Diagnóstico del modelo 1.- Introducción. Un ejemplo. 2.- Modelo con una variable cualitativa. 3.- Modelo con dos o más variables cualitativas. 4.- Contraste de cambio estructural. 5.- Implementación en Stata. 4

5 Bibliografía James y Mark W. Watson (2002). Introduction to Econometrics, Addison-Wesley-Pearson, Estados Unidos / S8642in /13016/ cw/index.html Kutner Michael H. et. al. (2005). Applied Linear Statistical Models, 5ª. ed., McGraw-Hill, Singapur /www/nachtsheim/5th/ Gujarati, Damodar y Dawn Porter (2010). Econometría, 5ª. ed., McGraw-Hill, México / G969e/ iew0/data_sets.html Fox, John (2008). Applied Regression Analysis and Generalized Linear Models, 2ª. ed., Sage, Estados Unidos. x/books/applied-regression- 2E/datasets/index.html Bowerman, Bruce L.; Richard T. O Connell et al. (2007). Pronósticos, series de tiempo y regresión: Un enfoque aplicado, CENGAGE, México. etail.php?isbn= Metodología Se pone a disposición de los alumnos un conjunto de notas o lecturas que apoyan los contenidos del curso. mregresion.wordpress.com Preferentemente se emplearan datos disponibles para su utilización en el programa Stata. Bases de datos Applied Regression, Generalized Linear Models, and Related Methods, Second Edition lied-regression-2e/datasets/index.html Procedimiento: 1. Entrar a la pagina. 2. Guardar el archivo con extensión.txt 3. Agregar, si fuese necesario, la etiqueta de la variable id para el identificador. 4. Utilizar el comando insheet de la siguiente manera insheet using LOCALIZACIÓN/ARCHIVO.txt", clear 5

6 Tema 1. Conceptos básicos 6

7 Clasificación de las variables Nivel de medición Discretas Continuas Escala de medición Nominales Ordinales Intervalo Continuas Función en la investigación Dependiente(s) Independiente(s) Grado de abstracción Conceptuales o abstractas Intermedias Empíricas u observables Escalas de medición de las variables Nominales: nombres o clasificaciones que se utilizan para datos en categorías distintas y separadas. Ordinales: son las que clasifican las observaciones en categorías con un orden significativo. Intervalo: medidas numéricas en la cual el valor cero es arbitrario pero la diferencia entre valores es importante. Razón: medidas numéricas en las cuales el valor cero es un valor fijo y la diferencia entre valores es importante. 7

8 Qué es el análisis de regresión? Es una metodología estadística que es utiliza la relación entre dos o más variables, de manera tal que la variable de respuesta o de resultado, puede ser predecida a partir de otra(s) variable(s). Es una herramienta utilizada en distintas áreas del conocimiento. Sirve también como medio en la contrastación de hipótesis y/o teorías con la realidad a través de modelos estadísticos. Análisis de regresión Relación funcional vs relación estadística. Linealidad vs no linealidad Selección de variables predictoras. Formafuncional. Estrategia del análisis de regresión Fuente: Kutner et. al (2005:14) 8

9 Tipo de datos Observación SALA EDUCA EXPER SEXO EDO O b s e rv a c ió A ñ o A L A E C A E E R O E D n S D U X P S E X O Corte transversal Un conjunto de datos de una muestra de individuos, hogares, empresas, ciudades, estados o países tomados en un punto del tiempo en particular. Serie de tiempo Observaciones de distintas variables efectuadas en el tiempo. Observación Año PRECASA ANTI CUARTOS AREA , , , , , , , Panel Es la combinación de datos de corte transversal con datos en series de tiempo donde tienen como característica principal que las unidades de observación son siempre los mismos. Stata es una herramienta computacional diseñada para realizar análisis estadístico la cual fue creada en 1985 por StataCorp. El denominativo de Stata es una abreviación de las palabras Statistics" y"data". Actualmente es utilizado tanto en instituciones académicas como en empresas donde sus usuarios se ubican en las áreas de la economía, sociología, ciencia política, ciencias de la salud y epidemiología. 9

10 Sus capacidades incluyen : - Manejo y organización de datos - Graficación. - Análisis estadístico. - Simulación. - Programación de tareas. Actualmente, en el mercado se encuentra la versión 11. Su lenguaje computacional es C. Existen versiones para plataformas en Windows, Mac, UNIX y LINUX. Tema 2. El modelo de regresión lineal simple (MRSL) 10

11 Temas Modelo de regresión lineal simple. Estimaciones puntuales de los mínimos cuadrados. Estimaciones puntuales y predicciones puntuales. Suposiciones del modelo y el error estándar. Prueba de significancia individual para la pendiente y la ordenada al origen. Intervalos de confianza y de predicción. Coeficientes de determinación y correlación simples. Una prueba F para el modelo. Modelo de regresión lineal simple Requisitos básicos: i) las variables dependiente (y) e independiente (x) son métricas; ii) la relación entre la variable dependiente (y) y la variable independiente (x) es aproximadamente en forma de una línea recta. Modelo de regresión lineal simple work Diagrama de dispersión lot Fuente: Kutner et. al. (2005:19). observamos: - tendencia positiva - puntos dispersos alrededor de la línea 11

12 Modelo de regresión lineal simple Diagrama de dispersión l ot w o rk Fuente: Kutner et. al. (2005:19). F itte d v al ue s Modelo de regresión lineal simple mortality Diagrama de dispersión g n pp c Fuente: Fox (2008: 62). Modelo de regresión lineal simple y = µ y x + ε = β 0 + β 1 x + ε donde µ y x = β 0 + β 1 x es el valor medio de la variable dependiente y cuando el valor de la variable independiente es x. β 0 = ordenada al origen (valor medio de y cuando x = 0) β 1 = pendiente ( valor medio de y cuando x una unidad) ε es un término de error: describe los efectos de todos los factores no incluidos en el modelo 12

13 Modelo de regresión lineal simple Siβ 0 = y β 1 = 3.57, entonces cuando lot = 60, el valor medio estimado de horas trabajadas µ y x = β 0 + β 1 x = (65) = horas trabajadas. Modelo de regresión lineal simple β 0 yβ 1 se llaman parámetros de regresión. Ya que no conocemos los valores reales de β 0 yβ 1, debemos estimarlos con los datos de la muestra. La interpretación de β 0 en ocasiones no es aplicable. Importante: observamos que estas variables se mueven juntas, mas no podemos deducir claramente una relación causa-efecto. Estimaciones puntuales de los mínimos cuadrados Estimación puntual de los mínimos cuadrados de la pendiente β 1 SS b1 = SS donde SS y SS xy xx = = xy xx ( xi x )( y i y ) 2 ( xi x ) = = 2 ( xi ) n x y i i xi n y i 13

14 Estimaciones puntuales y predicciones puntuales Estimación puntual del valor medio de la variable dependiente cuando el valor de la variable independiente es x 0 se predice ε = 0 y ˆ = b + b x Estimaciones puntuales y predicciones puntuales Se puede demostrar que estas estimaciones puntuales dan un valor de la suma de los errores cuadráticos (SSE) que es menor que la que se obtiene con cualesquiera otros valores de b 0 y b 1. Se les llaman estimaciones puntuales de los mínimos cuadrados. La recta se llama recta de regresión de mínimos cuadrados La ecuación se llama ecuación de predicción de mínimos cuadrados. Suposiciones del modelo y el error estándar Suposiciones 1. A cualquier valor dado de x, la media de la población de los valores potenciales del término error es igual a cero. 2. Suposición de varianza constante. A cualquier valor dado de x, ε tiene una varianza que no depende del valor de x. 3. Suposición de normalidad. A cualquier valor dado de x, ε tiene una distribución normal. 4. Suposición de independencia. Cualquier valor del término error ε es estadísticamente independiente de cualquier otro valor de ε. 14

15 Suposiciones del modelo y el error estándar En otras palabras dado un valor de x, la población de valores potenciales del término de error tiene una distribución normal, con valor medio 0 y varianzaσ 2 que no depende de x. La población de valores potenciales de y x tiene distribución normal con valor medio de β 0 + β 1 x y varianzaσ 2 que no depende de x. Es más probable que la suposición de independencia se viole cuando se utilizan series de tiempo en un estudio de regresión. Suposiciones del modelo y el error estándar Error cuadrático medio = estimación puntual de σ 2 2 s = SSE vary x n 2 error estándar = estimación puntual de σ SSE = n SSE s = n 2 n 2 2 ( yi yˆ i ) = yi b0 yi + b1 i= 1 i= 1 i= 1 i= 1 n n xi yi Prueba de la significancia de la pendiente y la ordenada al origen Hipótesis nula: β 1 = 0 nivel de significancia α (0.10, 0.05, 0.01) los valores p se basan en n-2 grados de libertad Se rechaza la hipótesis nula si se cumple la condición de punto de rechazo de alguna de las hipótesis alternativas, o si p < α 15

16 Prueba de la significancia de la pendiente y la ordenada al origen Si se cumplen los supuestos de la regresión, entonces la población de todos los valores posibles de b 1 es normalmente distribuida con valor medio β 1 y desviación estándar σ σ b = 1 SS cuya estimación puntual es s = b1 s SS xx xx Prueba de la significancia de la pendiente y la ordenada al origen y la población de todos los valores posibles de la estadística de prueba t t = s b 1 tiene una distribución t con n 2 grados de libertad. b 1 Prueba de la significancia de la pendiente y la ordenada al origen Hipótesis alternativa H a : β 1 0 H a : β 1 > 0 H a : β 1 < 0 Condición de punto de rechazo t > t[ ( n 2 ] ) α / 2 t ( ) [ α ] > t n 2 ( n 2) t < t[ α ] Valor p 2 (área bajo la curva t a la derecha de t ) área bajo la curva t a la derecha de t área bajo la curva t a la izquierda de t 16

17 Intervalos de confianza y de predicción Si se cumplen las suposiciones de la regresión, un intervalo de confianza de 100(1-α)% para la pendiente verdadera β 1 es [ b t s ] ( n 2) [ / 2] 1 ± α b 1 Intervalos de confianza y de predicción Si se cumplen las suposiciones de la regresión, un valor de distancia (v.d.) para un valor particular x 0 de x (para la regresión lineal simple) es 2 1 ( x0 x) v. d. = + n SS xx Intervalos de confianza y de predicción Si se cumplen las suposiciones de la regresión, un intervalo de confianza de 100(1-α)% para el valor medio de y cuando la variable independiente es x 0 es ( n 2) [ 2] yˆ ± t α / s v. d. 17

18 Intervalos de confianza y de predicción La población de todos los errores posibles de predicción está normalmente distribuida con media cero y desviación estándar La estimación puntual es σ 1 + valor de distancia s 1 + valor de distancia Se llama error estándar del error de predicción Intervalos de confianza y de predicción Si se cumplen las suposiciones de la regresión, un intervalo de predicción 100(1-α)% para un valor individual de y cuando la variable independiente es x 0 es yˆ ( n 2) [ α 2] ± t / s 1+ v. d. Intervalos de confianza y de predicción Nótese que el intervalo de predicción es mayor que el intervalo de confianza: mayor incertidumbre acerca del término de error. Entre más alejado del valor medio es x i, mayores son los intervalos de confianza y de predicción. 18

19 Coeficientes de determinación y correlación simples En el caso del modelo de regresión lineal simple, 1. Variación total = Σ(y i -y) 2 2. Variación explicada = Σ(y i -y) 2 3. Variación inexplicada = Σ(y i -y i ) 2 4. Variación total = Variación explicada + Variación inexplicada 5. El coeficiente de determinación simple es r 2 = (variación explicada)/(variación total) 6. El r 2 es la proporción de la variación total en los n valores observados de la variable dependiente que explica el modelo de regresión lineal simple Coeficientes de determinación y correlación simples Coeficiente de correlación simple (r) entre y y x 2 si b 1 > 0 r = + r 2 si b 1 < 0 r = r donde b 1 es la pendiente de la recta de mínimos cuadrados que relaciona y con x. Este coeficiente de correlación mide la fuerza de la relación lineal entre y y x. Coeficientes de determinación y correlación simples También se puede calcular mediante la fórmula r = SS SS xx xy SS yy 19

20 Coeficientes de determinación y correlación simples La correlación de la población de todas las combinaciones posibles de valores observados de x e y se denominaρ. Para probar la hipótesis nula H 0 : ρ = 0, utilizamos la estadística de prueba r t = n 2 1 r 2 Prueba F para el modelo Estadística F global Variación inexplicada F(modelo) = (Variación explicada)/(n-2) Podemos rechazar H 0 :β 1 =0 y aceptar H a : β 1 0 en el nivel de significancia α si se cumple alguna de: F(modelo)>F [α] Valor p < α En el punto F [α] se basa en 1 grado de libertad para el numerador y n-2 grados de libertad para el denominador. Tema 3. Modelo de regresión lineal múltiple (MRLS) 20

21 Modelo de Regresión Lineal Múltiple Se emplean más de una variable independiente. Relaciona y con x 1, x 2,..., x k Modelo: y µ + ε = β + β x + β x + L+ β x + ε k = y x1, x2,..., x k k Valor medio de y cuando los valores de las variables independientes son x 1, x 2,..., x k : y µ = β + β x + β x + L+ β x + ε k = y x1, x2,..., x k k Parámetros: β 0, β 1, β 2,..., β k Término de error: ε Suposiciones del modelo de regresión lineal: 1. Para cualquier combinación dada de valores de x 1, x 2,..., x k, la media de la población de los valores potenciales de ε = Varianza constante del error. 3. Normalidad de errores. 4. Independencia de los errores. 5. Ninguna relación entre las variables independientes. 21

22 Ejemplo El gerente de una compañía desea evaluar el desempeño de su fuerza de ventas en el territorio de actuación. Recopila información sobre cinco variables, que según su criterio, podrían ejercer alguna influencia sobre las ventas. Tomando una muestra aleatoria de 25 vendedores, se plantea el siguiente modelo de regresión lineal: y = β + β x + β x + β x + β x + β x + ε i 0 1 1i 2 2i 3 3i 4 4i 5 5i i y= ventas anuales en miles de dólares (sales). x 1 = número de meses de empleado en la compañía (time). x 2 = ventas del producto de la compañía y productos de la competencia en el territorio (mktpoten). x 3 = gasto en publicidad (adver). x 4 = promedio ponderado de la participación en el mercado de la compañía en el territorio en los últimos cuatro años (mktshare). x 5 =cambio en la participación en el mercado de la compañía en el territorio en los últimos cuatro años (change). ε= termino de error aleatorio. Interpretación geométrica del modelo de regresión Región experimental: combinaciones de los valores observados de x 1, x 2,..., x k Plano de medias 22

23 Interpretación de los parámetros de regresiónβ 0,β1,...,βk Los parámetros relacionan la media de la variable dependiente con las variables independientes en un sentido global. β 0 : ordenada al origen (valor de y cuando x 1 =x 2 = x k =0). β i : cambio en la variable dependiente asociado con el incremento de una unidad de la variable x i manteniendo las k-1 variables restantes sin cambio alguno ( i=1,2,...,k-1). Estimación de mínimos cuadrados: estimación puntual y predicción Estimación puntual del valor medio y de un valor individual de la variable dependiente y cuando los valores de las variables independientes son x 01, x 02,..., x 0k. Se predice ε = 0 ˆ + y = b b x b x b x L k 0k Esta ecuación se llama la ecuación de regresión o de predicción de mínimos cuadrados Estimadores MCO utilizando algebra matricial ˆ 1 = ( X ' X ) ' β X Y donde donde y1 y 2 Y =... yn X 1 x11... xk1 1 x... x x1n... xkn 12 k 2 = β0 ˆ β 1 β =... βk 23

24 Ejemplo 4.2 Matriz de diagramas de dispersión sa les tim e m k tpoten adv er m k ts hare Estimadores MCO Source SS df MS Number of obs = F( 5, 19) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = sales Coef. Std. Err. t P> t [95% Conf. Interval] time mktpoten adver mktshare change _cons Error Cuadrático Medio y Error Estándar Una estimación puntual de σ 2 es el error cuadrático medio: ˆ SCE k σ 2 = n Una estimación puntual de σ es el error estándar: ˆ σ = SCE n k 24

25 Utilidad del Modelo: R 2, R 2 Ajustada y la Prueba F Global En el caso del modelo de regresión lineal múltiple, 1. Variación total = ( Y ) 2 i Y 2. Variación explicada = ( Yˆi Y ) Variación inexplicada = ( Y ˆ i Yi ) 4. Variación total = Variación explicada + Variación inexplicada 5. El coeficiente de determinación múltiple es R 2 = (variación explicada)/(variación total) 6. El R 2 es la proporción de la variación total de los valores observados de la variable dependiente que es explicada por las variables independientes incluidas en el modelo de regresión. 7. Coeficiente de correlación múltiple: R = R 2 R 2 Ajustada donde 2 2 k 1 n 1 R = R n 1 n k R 2 es el coeficiente de determinación múltiple n es la cantidad de observaciones y k es la cantidad de coeficientes estimados en el modelo Prueba F de significancia global H 0 :β 0 = β 1 = β 2 =... = β k = 0 H a : por lo menos uno de los β 0, β 1, β 2,..., β k 0 Estadística F global: F(mod elo) = ( Variación _exp licada ) /( k 1) ( Variación _ inexp licada ) /[ n k] 25

26 Se puede rechazar H 0 y aceptar H a en el nivel de significancia α si se mantiene alguna de las condiciones siguientes: Estadística F (modelo) > F [α] donde el punto F [α] se basa en k-1 grados de libertad para el numerador y n-k para el denominador. valor p (de F) < α Prueba de significancia individual Defina la estadística de una prueba bj t = ee( ˆ σ ) b j y asuma que las suposiciones de regresión se mantienen. Hipótesis alternativa Condición de punto de rechazo Valor p H a : β j 0 t > t ( n ( k+ 1)) [ α / 2] 2 (área bajo la curva t a la derecha de t ) H a : β j > 0 H a : β j < 0 t > t t < [ ( n ] ( k +1) ) α [ ( n ] ( k t +1) ) α área bajo la curva t a la derecha de t área bajo la curva t a la izquierda de t 26

27 Intervalo de Confianza para β j Si se cumplen las suposiciones de la regresión, un intervalo de confianza de 100(1-α)% para el parámetro de regresión β j es ˆ β j ± t ( n k ) [ α / 2] ee( ˆ β j ) Intervalos de Confianza para valores esperados y de predicción Para calcular el valor de distancia en un modelo de regresión múltiple, se requiere de álgebra de matrices. Valor de distancia. Valor de distancia = x ( X ' X ) x ' donde x 0 = [ x x x ] k Si se cumplen las suposiciones de la regresión, un intervalo de confianza de 100(1-α)% para el valor medio de y cuando los valores de las variables independientes son x 01, x 02,..., x 0k es ( n k ) [ α / 2] yˆ ± t ˆ σ v. d. 27

28 Si se cumplen las suposiciones de la regresión, un intervalo de predicción 100(1-α)% para un valor individual de y cuando los valores de las variables independientes son x 01, x 02,..., x 0k es ( n k ) [ α / 2] yˆ ± t s 1 + v. d. Tópicos Modelo de regresión cuadrática. Términos de interacción. Uso de variables ficticias para modelar variables independientes cualitativas. Modelo de regresión cuadrática El modelo de regresión cuadrática que relaciona y con x es: 2 y = β + β x + β + ε x µ y x µ y x µ y x x x x µ y x µ y x µ y x x x x 28

29 Interacción Se introduce un término de interacción cuando se cree que una variable (x i ) influye en la relación entre otra variable (x j ) independiente y la variable dependiente, y. y β + β x + β x + β x + ε = x2 Uso de variables ficticias para modelar variables independientes cualitativas Cuando se quiere incluir una variable cualitativa, se pueden utilizar variables ficticias (variables indicadoras, dummies). Toman el valor de 1 o 0. Esta variable influye en el intercepto. Ejemplo La cadena de tiendas Sonny -que comercializa equipos de audio y video- desea conocer el impacto que tiene sobre sus ventas, y, (en miles de dólares), tanto el número de hogares alrededor del área de las tiendas, x, (en miles), así como la ubicación de las tiendas, D, ya sea que estás se encuentren: i) en el centro de la ciudad; ii) dentro de un centro comercial o, iii) fuera de un centro comercial (nótese que D es una variable cualitativa). 29

30 Para comparar el efecto de las tres ubicaciones sobre las ventas, se plantea el siguiente modelo: y = β + β x + β D + β D + ε donde se define M 3 D D M = D D = 1 si la tienda está en un centro comercial. 0 en cualquier otra parte. 1 si la tienda se ubica en el centro de la ciudad. 0 en cualquier otra parte. Se deduce entonces que: 1. Para las tiendas en la calle, el volumen medio de las ventas esta dado por: y = β + β x + β D + β D = β + β x + β (0) + β (0) = β M 3 D β x 1 2. En el caso de las tiendas ubicadas en el centro comercial, el volumen medio de las ventas esta dado por: y = β + β x + β D + β D = β + β x + β (1) + β (0) = β β β M 3 D x 1 ( ) 3. Las tiendas ubicadas en el centro de la ciudad, el volumen medio de las ventas esta dado por: y = β + β x + β D + β D = β + β x + β (0) + β (1) = ( ) M 3 D x 1 Interpretación geométrica del modelo: 30

31 yˆ = x D M D D Source SS df MS Number of obs = F( 3, 11) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = y Coef. Std. Err. t P> t [95% Conf. Interval] x dm dd _cons Prueba F parcial: Prueba de la significancia de una parte de un modelo de regresión Permite probar la significancia de un subconjunto seleccionado de las variables independientes. Sea, por ejemplo, el modelo y = + x + x + x + Podría ser de interés saber si las variables x 2 y x 3 son relevantes en el modelo. H 0 : β 2 =β 3 =0 H a : por lo menos una de β 2 y β 3 0 β β β β ε Se puede pensar en términos de dos modelos rivales: Modelo completo Modelo reducido y = β + β x + β x + β x + ε c y = β + β x + ε R Se busca establecer si: H 0 : β 2 =β 3 =0 vs. H a : por lo menos una de β 2 y β

32 El estadístico de prueba esta dado por donde C [ ] [ + ] ( SCE R SCE )/ k g F = SCE / n ( k 1) C k= número de variables independientes del modelo completo. g= número de coeficientes del modelo reducido Rechazar H o ssi F > F (α), o bien, Valor p(f) < α Para comparar el efecto de las tres ubicaciones sobre las ventas, se plantea el siguiente modelo: β + β x + β D M + β D + ε y = D esto es yˆ = x D M D D Tema 7: Multicolinealidad 32

33 Temas Multicolinealidad. Comparación de los modelos de regresión. con base en R 2, σ, R 2 ajustada, longitud del intervalo de predicción y estadística C p. Regresión por pasos y eliminación hacia atrás. Multicolinealidad Las variables independientes están relacionadas entre sí o dependen una de otra. No se trata de un problema de presencia o ausencia sino de grado. Cuando existe la multicolinealidad entre dos o más variables independientes, la principal consecuencia es que se dificulta o impide obtener estimaciones precisas de los efectos individuales de cada variable independiente sobre la dependiente. Infla los valores de los errores estándar de β j estimados. Identificación de la multicolinealidad Son varias la formas que pueden utilizarse para identificar un alto grado de multicolinealidad. La más sencilla es utilizando la matriz de correlación. - La multicolinealidad es fuerte si por lo menos uno de los coeficientes de correlación simple entre las variables independientes es mayor o igual a 0.9. Otra forma es a través de los factores de inflación de la varianza ó VIF. Existe también la regla práctica, el índice de tolerancia (TOL), entre otros. 33

34 De nuevo el ejemplo 4.2 (pp. 146 y 222). El gerente de una compañía desea evaluar el desempeño de su fuerza de ventas en el territorio de actuación. Para ello, se agregan al análisis efectuado en el capitulo anterior, la información sobre tres variables adicionales (a las cinco ya existentes), que según el criterio del gerente, podrían ejercer alguna influencia sobre las ventas. La muestra continua siendo de 25 vendedores, y ahora se plantea el siguiente modelo de regresión lineal: y = β + β x + β x + β x + β x + β x i 0 1 1i 2 2i 3 3i 4 4i 5 5i + β x + β x + β x + ε 6 6i 7 7i 8 8i i y= sales. x 1 = time. x 2 = mktpoten. x 3 = adver. x 4 = mktshare. x 5 = change. x 6 = cantidad de cuentas que maneja el representante (accts). x 7 = carga de trabajo promedio (wkload). x 6 = calificación sobre desempeño (rating). ε= termino de error aleatorio. (Ver tabla 5.1) pwcorr,sig star (.05) Matriz de correlación y valores p asociados (en Stata) (instrucción en Stata) sales time mktpoten adver mktshare change accts wkload rating sales time * mktpoten * * adver * mktshare * change * Observe que r accts,time presenta un valor moderado accts * * * * wkload rating * * *

35 Factores de Inflación de la Varianza Los factores de inflación de la varianza, FIV, (o VIF) se definen como: R j2 es el coeficiente de determinación múltiple para el modelo que relaciona x j con el resto de las variables independientes (regresión auxiliar). Si R j2 =0 entonces VIF j = 1 1 VIFj = 1 R 2 j La multicolinealidad es grave si: 1. el VIF más grande > el VIF medio es sustancialmente > 1 Ejemplo 4.2. VIF y multicolinealidad regress sales time mktpoten adver mktshare change accts wkload rating Source SS df MS Number of obs = F( 8, 16) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = sales Coef. Std. Err. t P> t [95% Conf. Interval] time mktpoten adver mktshare change accts wkload rating _cons

36 Ejemplo 4.2. (continua) vif (instrucción en Stata) Variable VIF 1/VIF accts time mktshare mktpoten adver wkload rating change Mean VIF Note que el valor mas alto de es el correspondiente a VIF accts =5.64, lo que indica que no existe un alto grado de multicolinealidad en el modelo. - Por otra parte, el promedio de los VIF es Regla práctica para detectar multicolinealidad Cuando no se tiene acceso a la matriz de correlación o a los VIF, se puede considerar la siguiente regla práctica para identificar un alto grado de multicolinealidad: Observar una R 2 ajustada alta y pocos (o ningún) coeficiente de regresión estimados significativos Índice de tolerancia (TOL) Se define como j (para j = 1, 2,... K variables) o bien 1 TOL = VIF TOL = 1 R Si TOL cercano a cero existe alta multicolinealidad. 2 j 36

37 Soluciones posibles para la alta multicolinealidad Algunos autores (Blanchard, 1998) consideran que si el objetivo final es el pronóstico no se debe hacer nada. La solución más común, aunque no siempre la mejor, eliminar una de las variables que se considere provoca el problema. Transformación de variables. Ejemplo: Datos de la NBA Se busca establecer la influencia que diferentes acciones de los jugadores de la NBA ejercen sobre el número de puntos que anotan en promedio por partido (pts). Para ello se selecciona al azar a un equipo de la NBA (Chicago Bulls) y se plantea el siguiente modelo de regresión (temporada ): PTS= β + β GP + β MIN + β AST + β STL + β BLK + β TO + β PF + ε donde 0 1 i 2 i 3 i 4 i 5 i 6 i 7 i i PTS= puntos anotados GP = partidos jugados MIN= minutos jugados AST= asistencias STL = robos de balón BLK = bloqueos TO= balones perdidos PF= faltas personales Matriz de correlación pwcorr,sig star (.05) gp min pts ast stl blk to pf gp min * pts * * ast * * * stl * * * blk * to * * * * * pf * * * * * * *

38 Regresión regress pts gp min ast stl blk to pf Source SS df MS Number of obs = F( 7, 11) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = pts Coef. Std. Err. t P> t [95% Conf. Interval] gp min ast stl blk to pf _cons VIF vif Variable VIF 1/VIF min to pf ast stl blk gp Mean VIF 5.76 Eliminando la variable min se tiene regress pts gp ast stl blk to pf Source SS df MS Number of obs = F( 6, 12) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = pts Coef. Std. Err. t P> t [95% Conf. Interval] gp ast stl blk to pf _cons

39 vif Variable VIF 1/VIF pf to ast stl blk gp Mean VIF 3.72 Construcción de modelos Qué hay que hacer para encontrar un modelo adecuado? Son diversos los criterios que la literatura señala para elegir entre modelos rivales. Dos (o más) modelos son rivales si estos presentan la misma variable dependiente aunque las variables independientes no sean las mismas. Ejemplo: sales= β + β time+ β rating+ ε sales= β + β time+ β mktpoten+ β wkload+ ε Criterios para la construcción de modelos Existen diversos criterios que se emplean para elegir entre modelos rivales con propósitos de pronóstico. Comparación de los modelos de regresión con base en R 2, σ, R 2 ajustada, longitud del intervalo de predicción y estadística C p entre otros. Todos estos criterios pretenden minimizar la SCE (o incrementar R 2 ), y salvo el primero de ellos, los demás imponen una penalización al incluir más variables independientes. 39

40 Primer criterio R 2 = (variación explicada)/(variación total) R 2 al el número de variables Segundo criterio ˆ σ = SCE n k al el número de variables, se pierden grados de libertad si al introducir otra variable independiente al modelo, el σ, no debemos sumar la variable independiente al modelo. Tercer criterio 2 2 k + 1 n 1 R = R n 1 n k al el número de variables, se pierden grados de libertad si al introducir otra variable independiente al modelo, el R 2 ajustada, no debemos sumar la variable independiente al modelo. 40

41 Cuarto criterio Estadística C (o C p ) de Mallow Considérese un modelo con k coeficientes de regresión (incluyendo la constante, i. e. β 0 ). 2 Sea σˆ el verdadero estimador s 2. Suponga que solo se ha elegido p variables independientes (incluyendo β 0 ), donde p k, y se obtiene SCE utilizando a las p variables independientes. Cuarto criterio Estadística C (o C p ) de Mallow SSE C = n k σ [ ] 2 2 ˆp Queremos que C sea pequeña. Queremos que C sea casi igual a k + 1. Si C > k, el modelo tiene un sesgo notable. Si C < k, el modelo no tiene sesgo y es deseable. Ejemplo 5.1 (p. 228). A continuación se presentan los resultados en STATA para el calculo de R-squared, el 2 estadístico C de Mallows, SEE( σˆ ) y MSE( σˆ ) para todos los posibles modelos de regresión del ejemplo 4.2 ampliado propuesto en este capítulo. Para ello se deben seguir los pasos siguientes: 41

42 Paso 1. Una vez cargado el archivo t5-1 sales territory complete.dta, escribir en la ventana de comandos findit rsquare, entrar dentro de la sección Web resources from Stata and other users a rsquare from y descargar los archivos rsquare.ado y rsquare.hlp Paso 2. Estimar el modelo: sales vs. time mktpoten adver mktshare change accts wkload rating. Paso 3. Después de la estimación, se escribe en la ventana de comandos: rsquare sales time mktpoten adver mktshare change accts wkload rating y se obtiene: Regression models for dependent variable : sales R-squared Mallows' C SEE MSE models with 1 variable e e+06 time e e+06 mktpoten e e+06 adver e e+06 mktshare e e+06 change e e+05 accts e e+06 wkload e e+06 rating R-squared Mallow's C SEE MSE models with 2 variables e e+05 time mktpoten e e+05 time adver e e+05 time mktshare e e+05 time change e e+05 time accts e e+06 time wkload e e+05 time rating e e+05 mktpoten adver e e+05 mktpoten mktshare e e+05 mktpoten change e e+05 mktpoten accts e e+06 mktpoten wkload e e+06 mktpoten rating e e+05 adver mktshare e e+06 adver change e e+05 adver accts e e+06 adver wkload e e+06 adver rating e e+06 mktshare change e e+05 mktshare accts e e+06 mktshare wkload 42

43 R-squared Mallow's C SEE MSE models with 3 variables e e+05 time mktpoten adver e e+05 time mktpoten mktshare e e+05 time mktpoten change e e+05 time mktpoten accts e e+05 time mktpoten wkload e e+05 time mktpoten rating e e+05 time adver mktshare e e+05 time adver change e e+05 time adver accts e e+05 time adver wkload e e+05 time adver rating e e+05 time mktshare change e e+05 time mktshare accts e e+05 time mktshare wkload e e+05 time mktshare rating e e+05 time change accts e e+05 time change wkload e e+05 time change rating e e+05 time accts wkload e e+05 time accts rating e e+05 time wkload rating e e+05 mktpoten adver mktshare e e+05 mktpoten adver change e e+05 mktpoten adver accts e e+05 mktpoten adver wkload e e+05 mktpoten adver rating e e+05 mktpoten mktshare change R-squared Mallow's C SEE MSE models with 3 variables e e+05 mktpoten mktshare accts e e+05 mktpoten mktshare wkload e e+05 mktpoten mktshare rating e e+05 mktpoten change accts e e+06 mktpoten change wkload e e+06 mktpoten change rating e e+05 mktpoten accts wkload e e+05 mktpoten accts rating e e+06 mktpoten wkload rating e e+05 adver mktshare change e e+05 adver mktshare accts e e+06 adver mktshare wkload e e+05 adver mktshare rating e e+05 adver change accts e e+06 adver change wkload e e+06 adver change rating e e+05 adver accts wkload e e+05 adver accts rating e e+06 adver wkload rating e e+05 mktshare change accts e e+06 mktshare change wkload e e+06 mktshare change rating e e+05 mktshare accts wkload e e+05 mktshare accts rating e e+06 mktshare wkload rating e e+05 change accts wkload e e+05 change accts rating e e+06 change wkload rating e e+05 accts wkload rating R-squared Mallow's C SEE MSE models with 4 variables e e+05 time mktpoten adver mktshare e e+05 time mktpoten adver change e e+05 time mktpoten adver accts e e+05 time mktpoten adver wkload e e+05 time mktpoten adver rating e e+05 time mktpoten mktshare change e e+05 time mktpoten mktshare accts e e+05 time mktpoten mktshare wkload e e+05 time mktpoten mktshare rating e e+05 time mktpoten change accts e e+05 time mktpoten change wkload e e+05 time mktpoten change rating e e+05 time mktpoten accts wkload e e+05 time mktpoten accts rating e e+05 time mktpoten wkload rating e e+05 time adver mktshare change e e+05 time adver mktshare accts e e+05 time adver mktshare wkload e e+05 time adver mktshare rating e e+05 time adver change accts e e+05 time adver change wkload e e+05 time adver change rating e e+05 time adver accts wkload e e+05 time adver accts rating e e+05 time adver wkload rating e e+05 time mktshare change accts e e+05 time mktshare change wkload e e+05 time mktshare change rating e e+05 time mktshare accts wkload e e+05 time mktshare accts rating e e+05 time mktshare wkload rating e e+05 time change accts wkload e e+05 time change accts rating e e+05 time change wkload rating e e+05 time accts wkload rating e e+05 mktpoten adver mktshare change e e+05 mktpoten adver mktshare accts e e+05 mktpoten adver mktshare wkload e e+05 mktpoten adver mktshare rating e e+05 mktpoten adver change accts e e+05 mktpoten adver change wkload 43

44 R-squared Mallow's C SEE MSE models with 4 variables e e+05 mktpoten adver change rating e e+05 mktpoten adver accts wkload e e+05 mktpoten adver accts rating e e+05 mktpoten adver wkload rating e e+05 mktpoten mktshare change accts e e+05 mktpoten mktshare change wkload e e+05 mktpoten mktshare change rating e e+05 mktpoten mktshare accts wkload e e+05 mktpoten mktshare accts rating e e+05 mktpoten mktshare wkload rating e e+05 mktpoten change accts wkload e e+05 mktpoten change accts rating e e+06 mktpoten change wkload rating e e+05 mktpoten accts wkload rating e e+05 adver mktshare change accts e e+05 adver mktshare change wkload e e+05 adver mktshare change rating e e+05 adver mktshare accts wkload e e+05 adver mktshare accts rating e e+05 adver mktshare wkload rating e e+05 adver change accts wkload e e+05 adver change accts rating e e+06 adver change wkload rating e e+05 adver accts wkload rating e e+05 mktshare change accts wkload e e+05 mktshare change accts rating e e+06 mktshare change wkload rating e e+05 mktshare accts wkload rating e e+05 change accts wkload rating R-squared Mallow's C SEE MSE models with 5 variables e e+05 time mktpoten adver mktshare change e e+05 time mktpoten adver mktshare accts e e+05 time mktpoten adver mktshare wkload e e+05 time mktpoten adver mktshare rating e e+05 time mktpoten adver change accts e e+05 time mktpoten adver change wkload e e+05 time mktpoten adver change rating e e+05 time mktpoten adver accts wkload e e+05 time mktpoten adver accts rating e e+05 time mktpoten adver wkload rating e e+05 time mktpoten mktshare change accts e e+05 time mktpoten mktshare change wkload e e+05 time mktpoten mktshare change rating e e+05 time mktpoten mktshare accts wkload e e+05 time mktpoten mktshare accts rating e e+05 time mktpoten mktshare wkload rating e e+05 time mktpoten change accts wkload e e+05 time mktpoten change accts rating e e+05 time mktpoten change wkload rating e e+05 time mktpoten accts wkload rating e e+05 time adver mktshare change accts e e+05 time adver mktshare change wkload e e+05 time adver mktshare change rating e e+05 time adver mktshare accts wkload e e+05 time adver mktshare accts rating e e+05 time adver mktshare wkload rating e e+05 time adver change accts wkload e e+05 time adver change accts rating e e+05 time adver change wkload rating e e+05 time adver accts wkload rating e e+05 time mktshare change accts wkload e e+05 time mktshare change accts rating e e+05 time mktshare change wkload rating e e+05 time mktshare accts wkload rating e e+05 time change accts wkload rating e e+05 mktpoten adver mktshare change accts e e+05 mktpoten adver mktshare change wkload e e+05 mktpoten adver mktshare change rating e e+05 mktpoten adver mktshare accts wkload e e+05 mktpoten adver mktshare accts rating R-squared Mallow's C SEE MSE models with 5 variables e e+05 mktpoten adver mktshare wkload rating e e+05 mktpoten adver change accts wkload e e+05 mktpoten adver change accts rating e e+05 mktpoten adver change wkload rating e e+05 mktpoten adver accts wkload rating e e+05 mktpoten mktshare change accts wkload e e+05 mktpoten mktshare change accts rating e e+05 mktpoten mktshare change wkload rating e e+05 mktpoten mktshare accts wkload rating e e+05 mktpoten change accts wkload rating e e+05 adver mktshare change accts wkload e e+05 adver mktshare change accts rating e e+05 adver mktshare change wkload rating e e+05 adver mktshare accts wkload rating e e+05 adver change accts wkload rating e e+05 mktshare change accts wkload rating R-squared Mallow's C SEE MSE models with 8 variables e e+05 time mktpoten adver mktshare change accts wkload rating 44