TEMA 2.1: MODELOS DE REGRESIÓN LINEAL MÚLTIPLE

Transcripción

1 TEMA.1: MODELOS DE REGRESIÓN LINEAL MÚLTIPLE ESTUDIO DE LA RELACIÓN DE DEPENDENCIA ENTRE UNA VARIABLE (DEPENDIENTE, EXPLICADA O REGRESADA) Y UNA O MAS VARIABLES (EXPLICATIVAS, INDEPENDIENTES, COVARIABLES O REGRESORES) A FIN DE ESTIMAR Y/O PREDECIR EL VALOR PROMEDIO POBLACIONAL DE LA PRIMERA EN TÉRMINOS DE LAS OTRAS. y = E(y/x i ) + ε y = x 1 β 1 + x β x K β K + ε FRP COMPONENTE DETERMINÍSTICO? TEORÍA PERTURBACIONES ALEATORIAS (COMPONENTE NO SISTEMATI- CO): OMISIONES, ERRORES DE MEDIDA, VARIABLES NO OBSER- VADAS O NO DISPONIBLES. FUNCIÓN DE REGRESIÓN POBLACIONAL (FRP): LOCUS DE LAS MEDIAS CONDICIONALES O VALORES ESPERADOS DE LA VARIABLE DEPENDIENTE (Y) PARA VALORES FIJOS DE LA VARIABLE EXPLICATIVA (X). OBJETIVO: ESTIMAR LOS β i, DESCONOCIDOS, A PARTIR DE DATOS DISPONIBLES VALIDAR TEORÍA PRONÓSTICO EJEMPLO 1: MODELO DE CONSUMO REAL PARA VENEZUELA C= β 1 + β Y + ε Modelos Lineales II Tema.1. 1

2 PIB CONS EJEMPLO : REMUNERACIÓN DEL CAPITAL HUMANO SALARIO= β 1 + β EDAD + β 3 EDAD + β 4 EDUCACION + ε Comando Stata (datos profesores ULA): xi: reg lsueldo edad edad i.educa Source SS df MS Number of obs = F( 5, 1790) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = lsueldo Coef. Std. Err. t P> t [95% Conf. Interval] edad edad _Ieduca_ _Ieduca_ _Ieduca_ _cons Modelos Lineales II Tema.1.

3 ESTIMACION RECUERDE QUE FRP: E(y i x i ) = ' xi β DADO QUE y i = E(y i x i ) + ε i ε i = y i - LAS ESTIMACIONES DE E(y i x i ) OBTENIDAS A PARTIR DE LA MUESTRA VIENEN DADAS POR ' xi β ŷ i = ' xi b (FRM) DE MODO QUE y i = x ' i β + ε i = ' xi b + e i ' e i =y i - ŷ i = y i - xi b y ε e FRP: α + βx FRM: a + bx E(y i x i ) = α + β x ŷ i = a + bx x OBJETIVO: ESCOGER UN VECTOR b 0 TAL QUE ŷ i = MAS POSIBLE A y i. ' xi b SE ACERQUE LO EL MÉTODO MÁS FRECUENTEMENTE UTILIZADO ES EL DE MÍNIMOS CUADRADOS ORDINARIOS (MCO): MINIMIZAR LA SUMA DE CUADRADOS DE LOS RESIDUOS Min b e 0 e 0 = (y Xb 0 ) (y Xb 0 ) = y y b 0 X y y Xb 0 + b 0 X xb 0 = y y b 0 X y + b 0 X Xb 0 Modelos Lineales II Tema.1. 3

4 e0 ' e0 b0 = X y + X Xb 0 = 0 [CPO] X y = X Xb 0 (X X) -1 (X X)b 0 = (X X) -1 X y b = (X X) -1 X y e ' e b b' = X X MATRIZ DEFINIDA POSITIVA [CSO] PROPIEDADES ALGEBRÁICAS DE LOS ESTIMADORES MCO: LA LINEA DE REGRESION QUE ELLOS GENERAN TIENE LAS SIGUIENTES PROPIEDADES: PASA A TRAVES DE LAS MEDIAS DE LOS DATOS: y = x b LA MEDIA DE Ŷ ES IGUAL A LA MEDIA DE Y LA MEDIA DE LOS RESIDUOS ES CERO, DADO QUE e i =0. Modelos Lineales II Tema.1. 4

5 ESTIMACION: METODO DE MAXIMA VEROSIMILITUD SEA Y i = β 1 + β X i + ε i CON Yi N (β 1 + β X i, σ ) LA FUNCION DE DISTRIBUCION NORMAL DE Y VIENE DADA POR f (Y i ) = σ n ( 1 n π ) exp {- ½ ( Y β1 β i ) i X σ } = FV (FUNCION DE VEROSIMILITUD) EL METODO DE MAXIMA VEROSIMILITUD (MV) CONSISTE EN ESTIMAR PARAMETROS DE MODO TAL QUE LA PROBABILIDAD DE OBSERVAR Y SEA LO MAXIMO POSIBLE MAXIMIZAR FV PARA ELLO: 1) TRANSFORMACION LOGARITMICA PARA FACILITAR EL ANALISIS Ln FV = -n/ Ln σ n/ Ln (π) ½ ( Y β1 β i ) i X σ ) IGUALAR DERIVADAS A CERO Y RESOLVER SISTEMA: Ln fv β1 Ln fv β Ln fv σ = - 1/ σ ( Yi β 1 βxi ) (-1) = 0 = - 1/ σ ( Yi β 1 βxi ) (-X i ) = 0 = -n/σ + 1/ σ 4 ( Yi β1 βxi ) = 0 = MCO βˆ BAJO EL SUPUESTO DE NORMALIDAD LOS ESTIMADORES MV SON IGUALES A LOS ESTIMADORES MCO. Modelos Lineales II Tema.1. 5

6 BONDAD DE AJUSTE DEL MODELO Relación entre demanda de gasolina y precios (Geene.) pg gas Relación entre demanda de gasolina e ingreso gas y Source SS df MS Number of obs = F(, 33) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = gas Coef. Std. Err. t P> t [95% Conf. Interval] pg y _cons Modelos Lineales II Tema.1. 6

7 LA SIMPLE SUMA DE RESIDUOS AL CUADRADO NO PUEDE CONSIDERARSE COMO MEDIDA DE LA BONDAD DE AJUSTE DEL MODELO. SE DICE QUE LA REGRESIÓN AJUSTA BIEN SI LAS VARIACIONES DE y RESPECTO A SU MEDIA SON EXPLICADAS MEJOR POR VARIACIONES DE X CON RESPECTO A SU MEDIA QUE POR LOS RESIDUOS. y i FRM Residuo (y i - ŷ i ) Total (y i - y) Modelo ( ŷi - y) Y DESCOMPOSICION DE VARIANZA: x i 1. SUMA DE CUADRADOS TOTALES (SCT): VARIACIÓN DE LOS VALORES REALES DE Y EN TORNO A SU MEDIA MUESTRAL. y i = (y i - Y ) EQUIVALENTE A y M 0 y M 0 ES MATRIZ IDEMPOTENTE nxn QUE TRANSFORMA OBSERVACIONES EN DESVIACIONES RESPECTO A LA MEDIA. SUMA DE CUADRADOS DE LA REGRESION (SCR): VARIACIÓN DE LOS VALORES ESTIMADOS DE y EN TORNO A SU MEDIA, O VARIACIÓN DE y EXPLICADA POR EL MODELO. yˆ i = ( ŷi - y) EQUIVALENTE A b X M 0 Xb 3. SUMA DE RESIDUOS (ERRORES) AL CUADRADO (SCE): VARIACIÓN DE y NO EXPLICADA POR EL MODELO. e i EQUIVALENTE A e e Modelos Lineales II Tema.1. 7

8 SCT = SCR + SCE DIVIDIENDO POR SCT SCT SCT SCR = SCT SCE + SCT 1 = SCR SCE + SCT SCT R SCR = = SCT b' X ' M y' M 0 Xb y 0 R SCE = 1 - = 1 - SCT e' e y' M 0 y PROPIEDADES DEL R : ES SIEMPRE POSITIVO, CON VALORES ENTRE 0 Y 1 NUNCA DECRECE CON EL NÚMERO DE VARIABLES EXPLICATIVAS EN EL MODELO: Modelos Lineales II Tema.1. 8

9 SUPUESTOS DEL MODELO CLÁSICO DE REGRESIÓN LINEAL SE REFIEREN A LA FORMA DEL MODELO Y LAS RELACIONES ENTRE SUS PARTES 1) LINEALIDAD EN PARÁMETROS (APLICABLE A PERTURBACIONES): y1 y = M y n y = x 1 β 1 + x β x K β K + ε x x M x x x 1 M L L L xk1 x k M β1 β M n xn xkn β k ε k nx1 nxk kx1 nx1 + ε1 ε M y = Xβ + ε OTROS MODELOS PUEDEN SER INTRÍNSECAMENTE LINEALES, COMO POR EJEMPLO: y = A x β e ε Ln y = α + β Ln x + ε (log lineal elasticidades) para α = Ln A Ln y t = ' xt β + δt + ε t (semilog tasa crecimiento) EJEMPLO 1: MERCADO DE GASOLINA EN EEUU (ELASTICIDADES) Ln(gas pc ) = f(y pc, precio gas, precio auto) Source SS df MS Number of obs = F( 4, 31) = 9. Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE =.0915 lgas Coef. Std. Err. t P> t [95% Conf. Interval] lpg ly lpc anno _cons Modelos Lineales II Tema.1. 9

10 ) MATRIZ X DE RANGO COMPLETO (CONDICIÓN DE IDENTIFICACIÓN): NO EXISTE RELACIÓN LINEAL ENTRE VARIABLES INDEPENDIENTES n k VAR (x i ) 0 NOTA: UN CONJUNTO DE VECTORES ES LINEALMENTE INDEPENDIENTE SII α 1 x 1 + α x + α 3 x α k x k =0 TIENE COMO ÚNICA SOLUCIÓN α 1 = α =α 3 = = α k =0 Rg(X) = k EJEMPLO : SEA y = β 1 + β x +β 3 x 3 +U CON x 3 = λx = β 1 + β (λx 3 )+β 3 x 3 +U = β 1 + (λβ +β 3 ) x 3 +U = β 1 + α x 3 +U NOTE QUE PODEMOS ESTIMAR α, PERO NO β Y β 3, DADO QUE α = λβ + β 3 TENEMOS UNA ECUACIÓN CON DOS INCÓGNITAS, POR TANTO EL SISTEMA NO TIENE SOLUCIÓN. SE CONFUNDEN LOS EFECTOS DE x Y x 3. EN EL ENFOQUE MATRICIAL: NO EXISTE (X X) -1 POR LO QUE NO PUEDE ESTIMARSE βˆ = (X X) -1 X Y, LOS βˆ SON INDETERMINADOS Y DE VARIANZA INFINITA. 3) ESPERANZA CONDICIONAL DE LOS RESIDUOS IGUAL A CERO (EXOGENEIDAD DE VARIABLES INDEPENDIENTES): E[ε X] = 0 E[y X] = Xβ Modelos Lineales II Tema.1. 10

11 LAS X NO APORTAN INFORMACIÓN QUE PERMITA PREDECIR E(ε.). EL VALOR ESPERADO DE LAS PERTURBACIONES ES INDEPENDIENTE DE LAS VARIABLES EXPLICATIVAS (COV(ε i, X) = 0 ) LA MEDIA NO CONDICIONAL ES IGUAL A CERO: E(ε) = E [E(ε X)] = E(0) = 0 4) PERTURBACIONES ESFÉRICAS: E[εε X] = σ Ι VAR (ε i X) = σ i=1,,,n (HOMOSCEDASTICIDAD) COV(ε i, ε j X) = 0 i j (NO AUTOCORRELACIÓN) 5) x i ES NO ESTOCÁSTICAS: LOS VALORES SON FIJOS EN REPETIDAS MUESTRAS NOTA: EL ALGUNOS CASOS X PUEDE SER ALEATORIA, PERO EL PROCESO GENERADOR DE LOS DATOS DE X NO GUARDA RELACIÓN ALGUNA CON ε. 6) LAS PERTURBACIONES SIGUEN UNA DISTRIBUCIÓN NORMAL: ε X ~ N(0, σ Ι) SUPUESTO NECESARIO PARA LLEVAR A CABO INFERENCIA, NO PARA EFECTOS DE ESTIMACIÓN. Modelos Lineales II Tema.1. 11

12 PROPIEDADES DE LOS ESTIMADORES MÍNIMO CUADRÁTICOS FACILIDAD DE CALCULO USO EXPLICITO DE LA ESTRUCTURA DEL MODELO, TAL COMO SE OBSERVA EN LOS SUPUESTOS REGRESION MINIMO CUADRATICA ES PREDICTOR LINEAL OPTIMO DE LA VARIABLE DEPENDIENTE, AUN SI EL VERDADERO MODELO NO ES LINEAL (ROBUSTEZ) LINEALIDAD: b = (X X) -1 X y = (X X) -1 X (Xβ + ε) = β + (X X) -1 X ε b ES UNA FUNCION LINEAL DE LOS RESIDUOS (ESTIMADOR LINEAL) INSESGABILIDAD (INDEPENDIENTE DE LA DISTRIBUCION DE ε): b = (X X) -1 X y = (X X) -1 X (Xβ + ε) = β + (X X) -1 X ε E[b X] = β + E[(X X) -1 X ε X] = β E[b] = β POR PROPIEDAD DE ESPERANZAS ITERATIVAS VARIANZA MINIMA VAR[b X] = E[ (b-β) (b-β) X ] = σ (X X) -1 ES MINIMA TEOREMA DE GAUSS-MARKOV: BAJO LOS SUPUESTOS DEL MCRL, EL ESTIMADOR MINIMO CUADRATICO b ES EL ESTIMADOR LINEAL DE VARIANZA MINIMA DE β, ES DECIR ES MELI (BLUE). ESTA PROPIEDAD SE MANTIENE AUN SI X ES ESTOCASTICA (TEOREMA 4.3) TEOREMA DE RAO: BAJO NORMALIDAD, LOS ESTIMADORES MCO TIENEN VARIANZA MINIMA EN LA CLASE DE LOS ESTIMADORES INSESGADOS, LINEALES O NO (SON MEI O BUE) Modelos Lineales II Tema.1. 1

13 CONSECUENCIAS DE VIOLACIÓN DE SUPUESTOS PROBLEMA CONSECUENCIAS DETECCIÓN SOLUCIÓN Multicolinealidad (Siempre presente en datos no experimentales) Perfecta: No se puede estimar No perfecta: Estimadores siguen siendo MELI pero: Pequeños cambios Situación general FIV = 1 / (1-R 3) Índice de condición (IC): Usar datos panel Transformar o eliminar variables? en datos alteran Máximo valor propio sustancialmente Variables parámetros Mínimo valor propio latentes estimados. Varianza de coeficientes puede no ser pequeña (mínima pequeña). Coeficientes pueden tener signos incorrectos. Matrices de correlación Regresiones auxiliares (componentes principales) Ridge regression b r =[X X+rD] -1 X y donde D es Heteroscedasticidad Var [ε i x i ] = σ i = σ ϖ i E[εε X] = σ Ω Estimador lineal e insesgado pero ineficiente Test de White Test de Goldfeld- Quandt Test de Breusch- Pagan/Godfrey matriz diagonal Transformación logarítmica Mínimos Cuadrados Generalizados (MCG o GLS) Wald test b g =(X Ω -1 X) -1 X Ωy Autocorrelación serial Estimador lineal e insesgado pero ineficiente R sobre-estimado Test de Breusch- Godfrey Test de Box-Pierce Test de Durbin-Watson Correcta especificación (si es la causa) Modelos en diferencia o quasi-diferencia (GLS) Modelos Lineales II Tema.1. 13

14 EJEMPLO COLINEALIDAD: UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CONS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P VIF CONSTANT INCOME WEALTH R-SQUARED RESID. MEAN SQUARE (MSE) ADJUSTED R-SQUARED STANDARD DEVIATION SOURCE DF SS MS F P REGRESSION RESIDUAL TOTAL CASES INCLUDED 10 MISSING CASES 0 UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CONS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT INCOME R-SQUARED F= 0.87 (P=0%) UNWEIGHTED LEAST SQUARES LINEAR REGRESSION OF CONS PREDICTOR VARIABLES COEFFICIENT STD ERROR STUDENT'S T P CONSTANT WEALTH R-SQUARED F= (P=0%) Modelos Lineales II Tema.1. 14

15 EJEMPLO HETEROSCEDASTICIDAD:. reg mpg hp wt vol Source SS df MS Number of obs = F( 3, 77) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = mpg Coef. Std. Err. t P> t [95% Conf. Interval] hp wt vol _cons vif Variable VIF 1/VIF wt hp vol Mean VIF 1.4. hettest Breusch-Pagan / Cook-Weisberg test for heteroskedasticity Ho: Constant variance Variables: fitted values of mpg chi(1) = 7.76 Prob > chi = imtest, white White's test for Ho: homoskedasticity against Ha: unrestricted heteroskedasticity chi(9) = Prob > chi = Mínimos Cuadrados Ponderados: vwls mpg hp wt vol Variance-weighted least-squares regression Number of obs = 0 Goodness-of-fit chi(4) = Model chi(3) = Prob > chi = Prob > chi = mpg Coef. Std. Err. z P> z [95% Conf. Interval] hp wt vol _cons reg mpg hp wt vol, robust Regression with robust standard errors Number of obs = 81 F( 3, 77) = Prob > F = R-squared = Root MSE = Robust mpg Coef. Std. Err. t P> t [95% Conf. Interval] hp wt vol _cons Modelos Lineales II Tema.1. 15

16 EJEMPLO DE AUTOCORRELACION. tsset anno time variable: anno, 1960 to reg gas pg y pnc Source SS df MS Number of obs = F( 3, 3) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = gas Coef. Std. Err. t P> t [95% Conf. Interval] pg y pnc _cons estat bgodfrey test for higher-order serial correlation Breusch-Godfrey LM test for autocorrelation lags(p) chi df Prob > chi H0: no serial correlation. estat durbinalt Durbin's alternative test for autocorrelation lags(p) chi df Prob > chi H0: no serial correlation. estat dwatson Durbin-Watson d statistic to test for first-order (equivale a dwstat) Durbin-Watson d-statistic( 4, 36) = prais gas pg y pnc Prais-Winsten AR(1) regression -- iterated estimates Source SS df MS Number of obs = F( 3, 3) = Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = gas Coef. Std. Err. t P> t [95% Conf. Interval] pg y pnc _cons rho Durbin-Watson statistic (original) Durbin-Watson statistic (transformed) Modelos Lineales II Tema.1. 16

17 . prais gas pg y pnc, corc Cochrane-Orcutt AR(1) regression -- iterated estimates Source SS df MS Number of obs = F( 3, 31) = 34.1 Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = gas Coef. Std. Err. t P> t [95% Conf. Interval] pg y pnc _cons rho Durbin-Watson statistic (original) Durbin-Watson statistic (transformed) prais gas pg y pnc, ssesearch Selecciona la transformación que permita obtener el rho que minimice la SCE. Prais-Winsten AR(1) regression -- SSE search estimates Source SS df MS Number of obs = F( 3, 3) = 50.9 Model Prob > F = Residual R-squared = Adj R-squared = Total Root MSE = gas Coef. Std. Err. t P> t [95% Conf. Interval] pg y pnc _cons rho Durbin-Watson statistic (original) Durbin-Watson statistic (transformed) Modelos Lineales II Tema.1. 17