TEMA VI: EL MODELO DE REGRESIÓN LINEAL MÚLTIPLE

ESADÍSICA II EMA VI: EL MODELO DE REGRESIÓN LINEAL MÚLIPLE VI.1.- Introducción. VI..- Hipótesis básicas del modelo de regresión lineal múltiple. VI.3.- El estimador mínimo cuadrático ordinario del modelo de regresión lineal múltiple. VI.4.- Propiedades de los estimadores mínimo cuadráticos ordinarios. VI.5.- Contrastes de hipótesis en el modelo de regresión lineal múltiple. Validación. VI.5.1.-Contraste de hipótesis para parámetros individuales. VI.5..-Contraste de significación global. VI.6.- La predicción en el modelo de regresión lineal múltiple. VI.6.1.- Fuentes de error en la predicción. 577

El modelo de regresión lineal múltiple VI.1.- Introducción. El modelo de regresión lineal múltiple es una generalización del modelo de regresión lineal simple. En el caso estudiado en el tema anterior, el modelo de regresión simple, partíamos de una variable Y que queríamos eplicar, y para ello disponíamos de una variable X. En el caso del modelo de regresión lineal múltiple (MRLM), seguiremos teniendo una variable a eplicar, Y, que será la variable endógena del modelo, pero dispondrémos no de una sino de varias variables eplicativas o eógenas, a parte del término de perturbación aleatoria. Es decir, el MRLM lo podemos representar de forma genérica como y = β t o 1 1t t 3 3t +. en donde t={1,,.,}. Como se puede observar, eisten k variables eplicativas más el valor de la ordenada en el origen representado por β o, también denominado regresor ficticio. Cada variable eplicativa, también llamadas regresores tiene dos subíndices, el primero hace referencia a la variable y el segundo al instante de tiempo. Obsérvese que si decimos que k=1, nos encontramos con el modelo de regresión simple estudiado en el tema anterior. k kt +u t La epresión completa del modelo de regresión múltiple vendrá dada por las siguientes ecuaciones, una para cada instante t 578

y1 = βo+ β1 11+ β 1+ β331+.+ βk k1+u1 y= βo+ β1 1+ β + β33+.+ βk k +u y y = β t = β o o + + +.+ 1 1t β t β3 3t βk 1 1 3 3 +. k kt k +u +u ESADÍSICA II t Este sistema de ecuaciones, que representa el MRLM, lo podemos escribir mediante el uso de matrices de la forma y1 1 y 1 = yt 1 y 1 11 1 1t 1 1 t i1 i it i β k1 o u1 k β1 u * + kt βi ut k βk u Es decir, Y = X*ß + U, en donde Y es el vector de tamaño formado por los valores de la variable endógena, X es una matriz de tamaño *(k+1) formada por los valores de las variables eógenas. Obsérvese que la primera columna de la matriz X es una columna de unos y las restantes columnas son cada una de las variables eplicativas puestas en columna. ß es un vector de tamaño (k+1) formado por todos los coeficientes de regresión del modelo, y U es un vector de tamaño formado por todas las perturbaciones del modelo. El objetivo que lo que perseguimos es estimar el vector ß para poder estimar el valor del vector Y. Debemos destacar que cada uno de los elementos del vector Y y del vector U es una variable aleatoria, en consecuencia tiene sentido calcular la media para cada uno de los valores que forman el vector U o el vector Y, así 579

El modelo de regresión lineal múltiple como la covarianza o la correlación entre u i y u j. VI..- Hipótesis básicas del MRLM Las hipótesis básicas del modelo de regresión lineal múltiple son las mismas que las que vimos para el caso del modelo de regresión lineal simple, incorporando alguna otra debido a que en este caso estamos trabajando con más de una variable eplicativa. Recordemos cuales eran estas hipótesis: 1.- Eiste una relación lineal estocástica entre la variable endógena y las variables que conforman la matriz X y la matriz U. Los elementos de la matriz ß son fijos y miden el peso de cada una de las variables eógenas en la eplicación de la variabilidad de Y..- Las variables eplicativas incluidas en la matriz X son de tal forma que ninguna de ellas se puede obtener como combinación lineal de las demás. En términos matemáticos, ello equivale a decir que el rango de la matriz X es igual a k+1, lo cual a su vez implica que (k+1)<. 3.- Las variables que forman la matriz X son no estocásticas 4.- El modelo de regresión está bien especificado, eiste permanencia estructural y las variables estimadas se miden sin errores. 5.- Hipótesis básicas sobre el comportamiento de los errores: 5.1.-El término de perturbación aleatoria tiene media cero, es decir 580

u1 0 u 0 E(U)= E = ut 0 u 0 ESADÍSICA II Es decir, si fuésemos capaces de obtener varias observaciones para el mismo instante del tiempo, las mediciones del término de perturbación aleatoria se anularían, en promedio. 5..-Los elementos de la matriz U están incorrelacionados, es decir E( ui u j )=0 i j Esto supone que los efectos debidos a la perturbación aleatoria se circunscriben al instante en el cual se produce y no se trasladan a instantes posteriores del tiempo. 5.3.-Hipótesis de homocedasticidad. La varianza de la perturbación a leatoria es constante. Es decir, E( ut ) = σ u =cte t = {1,,., Esta hipótesis implica que la variabilidad que induce el término de perturbación aleatoria en la variable endógena del modelo es siempre la misma para todo instante del tiempo. Si la hipótesis de homocedasticidad no se cumple diremos que la perturbación aleatoria es heterocedástica. } eniendo en cuenta las propiedades descritas para el término de perturbación aleatoria, y definiendo la matriz de varianzas covarianzas de un vector como la matriz formada por todas las covarianzas entre cada par posible de variables del vector, podemos demostrar que la matriz de varianzas convarianzas del vector de perturbaciones aleatorias es diagonal. 581

El modelo de regresión lineal múltiple Si denotamos por V(U) a la matriz de varianzas covarianzas del vector U, V(U) viene dado por (u1-0 ( u - 0) V(U)= E[(U- µ u )*(U - µ u )] = E * ( ut - 0) ( u - 0) [( - 0) ( -0) ( - 0) ( - 0) ] u 1 u u t u E( u1u1) E( uu1) = E( utu1) E( u u1) E( u1u ) E( u u ) E( utu ) E( u u ) E( u1ut) E(u u ) t E( utut) E( u u ) t E( u1u ) E( u u ) E(u tu ) E( u u en donde los elementos de la diagonal principal son las varianzas de cada u t y los elementos de fuera de la diagonal principal son las covarianzas entre cada par de variables contenidas en el vector U. Recordemos que según la hipótesis (5.1) los errores tienen media cero. Utilizando la hipótesis (5.) todos los elementos de fuera de la diagonal principal son cero, y con la hipótesis (5.3), los valores que presentan la diagonal principal son todos iguales debido a que la hipótesis (5.3) nos dice que las varianzas de todos los elementos de U son iguales. En consecuencia, si denotamos por σ u a la varianza de u t la matriz de varianzas covarianzas de U la podemos escribir (siempre que cumpla las hipótesis básicas del modelo) como V(U) = 1 0 * 0 0 1 0 0 0 0 0 0 = 1 σu σu * I en donde I es la matriz identidad de tamaño. 5.4.-La perturbación aleatoria se comporta como una variable normal. Si esta hipótesis se cumple, teniendo en cuenta que la media de U es el vector cero, y que la matriz de varianzas covarianzas es σ u *I podemos decir que U se comporta 58

ESADÍSICA II U N(0, σu * I ) Como consecuencia del cumplimiento de las hipótesis planteadas, tenemos dos resultados de interés: a) El valor esperado de Y es igual al producto de la matriz de eógenas por el vector de parámetros del modelo E(Y)=E(X*ß+U)= E(X*ß)+E(U)= E(X*ß)= X*ß Recordemos que X y ß son dos matrices formadas por elementos no estocásticos, en consecuencia, su producto es no estocástico y por tanto la esperanza de X*ß es la propia X*ß. Obsérvese que al estimar ß estamos haciendo inferencia sobre el valor medio de Y. b) La varianza de Y coincide con la varianza de U. Su demostración es inmediata. V(Y) = E[Y-E(Y)] = E(X*ß+U-X*ß) = E(U) = E[U-E(U)] = σ u Por tanto, cuando estimamos la varianza de la perturbación aleatoria, estimamos la varianza de la distribución que sigue la variable endógena. VI.3.- Estimador MCO de ß del MRLM Siguiendo los mismos pasos que hemos visto para el caso del MRLS podemos obtener los estimadores del vector ß. En este caso, en vez de estimar parámetro a parámetro, tal y como hacíamos en el caso del modelo de regresión lineal simple, estimaremos el vector ß completo, puesto que al 583

El modelo de regresión lineal múltiple utilizar la notación matricial esto se hace posible. En base a lo visto para el MRLS, el primer paso a dar es el definir los errores del modelo. Para ello recordamos que el modelo en su forma matricial viene dado por Y = Xß + U Sea el vector b definido como b0 b1 b = bi b k en donde b i es el estimador del parámetro ß i. En este caso el vector estimado de Y, ^ Y, vendrá dado por ^ Y = X*b y el error que cometemos, en términos de vector, lo podemos denotar por e b y se calcularía como e b = Y - ^ Y = Y - X*b siendo e1 e eb = e 584

ESADÍSICA II Recordemos que el principio de MCO toma aquel estimador que minimiza la suma de los cuadrados de los errores. Desde la notación matricial la función A a minimizar vendrá dada por A= = eb* eb=(y e b t=1 - X *b)(y - X *b) en donde e b es el vector e b transpuesto. Derivando la epresión A con respecto a b e igualando dicha derivada a cero, obtenemos la epresión de los estimadores mínimo cuadrático ordinarios de ß. Podemos escribir A como A = (Y - b X )(Y - Xb) = (Y Y - Y Xb - b X Y + b X Xb) Observando la epresión A vemos que Y Xb es la matriz transpuesta de b X Y y además tanto una como la otra son de dimensión 1*1 con lo cual b X Y = Y Xb. En consecuencia, A la podemos escribir como A = (Y Y + b X Xb - b X Y) Por tanto A (Y Y +b X Xb - b X Y) = = X Xb - X Y = 0 b b Y, despejando b obtenemos el estimador MCO de ß. La epresión final de b viene dada por b = (X X) -1 X Y 585

El modelo de regresión lineal múltiple Obsérvese que b es un vector formado por (k+1) elementos, cada uno de ellos es el estimador MCO del correspondiente parámetro del vector ß. Ejercicio: Estudiar la forma de las matrices X X y X Y VI.4.- Propiedades de los estimadores MCO. Las propiedades de los estimadores MCO son las que ya comentamos para el caso del modelo de regresión lineal simple. Es decir, los estimadores MCO son lineales en Y, son insesgados y son óptimos. El que los estimadores MCO son lineales en Y queda claro si se tiene en cuenta que en la epresión (X X) -1 X Y la podemos ecribir como C*Y. Vemos que cada valor de b lo obtenemos como una combinación lineal de los valores de Y. En consecuencia, los estimadores MCO son lineales en Y. La propiedad de insesgadez también es inmediata. Para que b sea un estimador insesgado de ß es necesario que la esperanza de b sea igual a ß. Veamos que esto se cumple: E(b)=E[(X X) -1 X Y]=E[(X X) -1 X (Xß+U)]= =E[(X X) -1 X Xß+(X X) -1 X U]= ß + (X X) -1 X E(U) = ß La tercera propiedad, el que el estimador MCO es óptimo.esta demostración la ejaremos para próimos cursos. Ejercicio. Qué significa que un estimador es óptimo? Sigamos profundizando en el estudio del b. Ya hemos visto 586

ESADÍSICA II que es una combinación lineal de los valores de Y y que además su media es igual al valor del parámetro que estima. Estudiemos ahora cual es la matriz de varianzas covarianzas de b. al y como hemos definido la matriz de varianzas covarianzas del vector U, podemos hacerlo para el vector b. De esta manera V(b), es decir, la matriz de varianzas covarianzas de b vendrá dada por V(b) = E[(b-E(b))(b-E(b)) ] Recordemos que esta matriz tiene en la diagonal principal las varianzas de cada uno de los b i y fuera de los elementos de la diagonal están las covarianzas entre cada para de estimadores. eniendo en cuenta que E(b) = ß, la matriz V(b) la podemos escribir como Por otra parte V(b) = E[(b-ß)(b-ß) ] b=(x X) -1 X Y = (X X) -1 X (Xß+U) = ß +(X X) -1 X U con lo cual (b-ß) = (X X) -1 X U y (b-ß) = U X(X X) -1 587

El modelo de regresión lineal múltiple con lo cual V(b) la podemos escribir como V(b) = E[(X X) -1 X U U X(X X) -1 ]=(X X) -1 X E(U U )X(X X) -1 Pero E(UU ) = V(U), y si se cumplen las hipótesis básicas del modelo, V(U) = σ u *I. Por tanto, la matriz de varianzas covarianzas de los estimadores MCO la podemos epresar como V(b) =σ u *(X X) -1 El problema que nos plantea esta última epresión es que no podemos conocer el valor de V(b) puesto que este depende de un parámetro poblacional, la varianza de la perturbación aleatoria. Por ello lo que haremos será estimarla. De esta manera, podemos demostrar que S e =(e e)/(-k-1) es un estimador insesgado de σ u, siendo e el vector de errores mínimo cuadráticos ordinarios. En consecuencia, la matriz de varianzas covarianzas estimadas de b vendrá epresada de la siguiente manera V(b) ˆ = Se (X X ) -1 VI.5.- Contrastes de hipotesis en el MRLM. Validación. Los resultados básicos que hemos visto hasta ahora son los siguientes: a) b = (X X) -1 X Y 588

ESADÍSICA II b) V(b) = σ u (X X) -1 c) ^ V (b) = S e (X X) -1 d) E(b) = ß Si tenemos en cuenta que el modelo de regresión viene dado por Y = Xß + U y teniendo en cuenta: 1.- U es una variable que se comporta como una variable Normal.- El estimador MCO lo podemos epresar como b = ß + (X X) -1 X U vemos que b es una combinación lineal de las variables U que a su vez son normales. Como consecuencia, b se distribuirá como una variable aleatoria Normal, cuya media será la media de b, es decir, ß, y cuya varianza será la varianza de ß, es decir σ u *(X X) -1 Por tanto nos encontramos ante el caso de una variable normal con varianza desconocida. b N( β,v(b)) = N( β, σu (X X En consecuencia, cada uno de los elementos del vector b se distribuye como una variable Normal de media ß i y varianza σ u a ii, en donde a ii es el elemento ii de la matriz (X X) -1. ) -1 ) 589

El modelo de regresión lineal múltiple Es decir, En consecuencia bi N( β bi - β Z = σu a i ii i, σ u a ii ) N(0,1) Por otra parte podemos demostrar que la variable e e Y = se distribuye como una χ de -(k+1) grados de libertad. Y además, las variables Z e Y son independientes. σ u En estas condiciones sabemos que la variable t definida como t = Z Y t -(k + 1) - Student de - (k +1) grados de libertad Si operamos en la epresión anterior y tenemos en cuenta que S e =(e e)/(-k-1), podemos escribir la variable t como b - t = Se i β i a ii la cual se distribuye como una t-student de (-k-1) grados de libertad. VI.5.1.- Contraste de hipótesis para parámetros individuales H o : ß i = ß io H 1 : H o no se cumple α, nivel de significación Estadístico de prueba: bi - β t = S e a Si H o se cumple t se distribuye como una t-student de (-k- i ii 590

ESADÍSICA II 1) grados de libertad. Regla de decisión: Si, en valor absoluto, el valor del estadístico de prueba es mayor que el valor tabulado para α/, se rechaza la hipótesis nula, en caso contrario no se puede rechazar la hipótesis nula. El planteamiento del contraste realizado es del tipo bilateral, su etensión al caso unilateral no implica ninguna dificultad adicional. El caso más utilizado del contraste individual de parámetros es el llamado contraste de nulidad del parámetro. Esto es, cuando la hipótesis nula es que el valor del parámetro es igual a cero. Fíjense que el planteamiento que hemos realizado es para cualquier valor de ß i y en consecuencia plantear el caso particular que nos ocupa es inmediato. Obsérvese también que si aceptamos la hipótesis nula del contraste de nulidad, lo que estamos aceptando es que la variable a la que hace referencia el subíndice i no tiene capacidad eplicativa sobre la variable endógena del modelo. VI.5..- Contraste de significación global. Además de estudiar la significación individual de cada una de las variables eplicativas, también estamos interesados en estudiar si conjuntamente las variables eplicativas tienen capacidad eplicativa. Esto es de nuestro interés puesto que aun en el caso de que individualmente las variables no tengan capacidad eplicativa, conjuntamente pueden eplicar parte del comportamiento de la variable endógena. 591

El modelo de regresión lineal múltiple El contraste, sin entrar en los aspectos técnicos del mismo, lo plantearíamos en los siguientes términos. H o : ß 1 =ß =.=ß k =0 H 1 : H o no se cumple. Obsérvese que si aceptamos la hipótesis nula estamos diciendo que conjuntamente las variables eplicativas no tienen capacidad eplicativa sobre Y. α, nivel de significación Estadístico de prueba - k -1 = R * 1- R k F en donde R es el coeficiente de determinación, es el número de observaciones y k es el número de variables eplicativas (ecluido el regresor ficticio). Si la hipótesis nula se cumple el estadístico F se distribuye como una F-Snedecor de (k) y (-k-1) grados de libertad. La regla de decisión sería: si el valor de F para nuestra muestra es superior al valor tabulado de la F-Snedecor, se rechaza la hipótesis nula. Es decir, conjuntamente las variables eógenas tienen capacidad eplicativa sobre la variable Y. Por el contrario, si el valor que obtenemos es menor que el valor tabulado, ello implica que no podemos rechazar la hipótesis nula y por tanto, las variables eógenas conjuntamente no tienen capacidad eplicativa. 59

ESADÍSICA II VI.6.- La predicción con un MRLM. La predicción es un paso más dentro de la inferencia realizada sobre el modelo de regresión. La predicción intenta adelantar el valor de la variable endógena para el futuro mediante el uso del modelo de regresión. Para que esto sea posible es necesario que se cumplan las hipótesis básicas del modelo para el período de predicción y disponer de los valores para el período de predicción para el conjunto de variables eógenas del modelo. Recordemos que el modelo con el que estamos trabajando es de la forma y = β t o 1 1t t 3 3t +. y la estimación del mismo se epresa como yˆ = bo + b1 t 1t +b t +b 3 3t +.+b k k kt kt +ut para el que tenemos valores de Y para t={1,,,}. Si queremos predecir lo tendremos que hacer para los instantes de tiempo +1, +,. Llamaremos predictor puntual de la variable Y en el instante +s, con s={1,,3,.} a y ˆ +s = β o 1 1(+s) (+s) 3 3(+s) +. k k(+s) VI.6.1.- Fuentes de error en la predicción. Si llamamos Y +s al valor de Y en el instante +s, el error de predicción lo podemos definir como la diferencia entre el valor de Y real menos el valor predicho por el modelo. Es decir =Y -Y e +s +s ˆ +s Desarrollando esta epresión podemos escribir 593

= Y -Yˆ El modelo de regresión lineal múltiple = X +s * β +U +s - X +s b = X ( β - b)+u e +s +s +s +s +s en donde se puede observar que el error de predicción está en función de tres elementos: 1.- X +s, los valores de las variables eógenas para el período de predicción..- (ß-b), la diferencia entre los verdaderos valores de los parámetros y las estimaciones realizadas. 3.- U +s, el efecto aleatorio que tiene lugar en el período de predicción. 594