EL MODELO DE REGRESIÓN LINEAL MÚLTIPLE Ajste mínimo-cadrático del hiperplano de regresión En el modelo de regresión múltiple qe vamos a presentar se considera qe el regresando es na fnción lineal de k- regresores y de na pertrbación aleatoria, existiendo además n regresor ficticio correspondiente al término independiente. Designando por Y t al regresando, por X t, X 3t,..., X kt a los regresores y por t a la pertrbación aleatoria, el modelo teórico de regresión lineal viene dado, para la observación genérica t-ésima, por la sigiente expresión: Modelo de regresión múltiple Yt = β+ βx t + + βkxkt+ t t =,,, T () Siendo T el tamaño de la mestra y dando valores a t desde t= hasta t=t, se obtiene el sigiente sistema de ecaciones: Y = β + β X + β X + + β X + 3 3 k k Y = β + β X + β X + + β X + 3 3 k k Y = β + β X + β X + + β X + T T 3 3T k kt T () El sistema de ecaciones anteriores se pede expresar de forma más compacta tilizando notación matricial. Así, vamos a denominar y Y Y... Y T = X X X3... Xk X X... X............... XT X3 T... XkT 3 k = β β β... βt =... T = El modelo de regresión lineal múltiple () expresado en notación matricial es el sigiente: Y X X3... Xk β Y X X3... X k β = +........................ YT XT X3 T... XkT β T T (3) Si tenemos en centa las denominaciones dadas a vectores y matrices, el modelo de regresión lineal múltiple se pede expresar de forma compacta de la sigiente forma:
y=xβ + (4) donde y es n vector T, X es na matriz T k, β es n vector T y es n vector T x. El correspondiente modelo ajstado será el sigiente ˆ ŷ=xβ (5) El vector de residos es igal a la diferencia entre valores observados y ajstados, es decir, ˆ = y-y ˆ =y-xβ ˆ (6) Denominando S a la sma de los cadrados de los residos, se tiene qe: ˆ ˆ T S = ˆˆ = [ ˆ ˆ ˆ... ] ˆ T = t... (7) t= ˆ T Teniendo en centa (6), se obtiene S = (y - Xβ)(y ˆ - Xβ) ˆ = = y'y - βˆ Xy - yxβ ˆ + βˆ XXβ ˆ = yy - βˆ Xy + βˆ XXβ ˆ (8) Para llegar a la última igaldad de la expresión anterior se ha tenido en centa qe βˆ Xy = yxβ ˆ ya qe n escalar es igal a s traspesto, es decir, ( βˆ Xy ) = yxβ ˆ Aplicar el criterio mínimo-cadrático expesto anteriormente es eqivalente a minimizar el escalar S. Para ello se calcla la primera derivada de S con respecto al vector de coeficientes mínimo-cadráticos, ˆβ, en la expresión (8) y se igala a 0 : Para la derivación de escalares, expresados mediante prodctos matriciales, respecto a n vector, véase el anexo de Econometría aplicada.
S = - X y + X Xβˆ = 0 βˆ (9) Por tanto, XXβ ˆ = X y (0) Al sistema anterior se le denomina genéricamente sistema de ecaciones normales del hiperplano. Cando k=, se obtiene el sistema de ecaciones normales de la recta; cando k=3, se obtiene el sistema de ecaciones normales del plano; finalmente, cando k>3, se obtiene específicamente el sistema de ecaciones normales del hiperplano el cál no es ssceptible de ser representado físicamente. En notación matricial expandida el sistema de ecaciones normales, es el sigiente: T T T T Xt... Xkt Yt t= t= ˆ t= β T T T T ˆ X t Xt XtXktβ X tyt t= t= t= = t= ˆ T T T β k T X kt Xkt Xt X kt XktY t t= t= t= t= () Obsérvese qe: a) XX /T es la matriz de momentos mestrales de segndo orden, con respecto al origen, de los regresores. b). Xy /T es el vector de momentos mestrales de segndo orden, con respecto al origen, entre el regresando y los regresores. Para poder resolver el sistema (0) respecto a ˆβ nívocamente, se debe cmplir qe el rango de la matriz XX sea igal a k. Si se cmple esta condici6n, se peden premltiplicar ambos miembros de (0) por[ XX ] [ ] ˆ = [ ] XX XXβ XX Xy con lo cal se obtiene la expresión del vector de estimadores mínimo-cadráticos: [ ] βˆ = XX Xy () S presenta n mínimo en ˆβ, ya qe la matriz de segndas derivadas, XX, es definida positiva. Para comprobarlo, consideremos el vector a, de orden k, distinto de cero. Entonces, 3
axxa= Xa [ ] [ Xa ] será el prodcto escalar del vector [ ] Xa s transpesto, prodcto qe no será negativo, por ser na sma de cadrados. Si el rango de XX es k, entonces qeda garantizado qe dicho prodcto es positivo. Por otra parte, al ser XX definida positiva, se sige, evidentemente, qe XX también es definida positiva.. Propiedades descriptivas en la regresión lineal múltiple Las propiedades qe se exponen a continación son propiedades derivadas exclsivamente de la aplicación del método de estimación por mínimos cadrados al modelo de regresión () en el qe se inclye como primer regresor el término independiente.. La sma de los residos mínimo-cadráticos es igal a cero: Demostración. Por definición de resido T ˆ t = 0 (3) t= ˆ = Y Yˆ = Y ˆ β ˆ β X ˆ β X t =,,, T (4) t t t t t k kt Si smamos para las T observaciones se obtiene: T T T T ˆ ˆ ˆ ˆ t = Yt Tββ Xt βk Xkt t= t= t= t= (5) Por otra parte, la primera ecación del sistema de ecaciones normales () es igal a T T T T ˆ β + ˆ β X + + ˆ β X = Y (6) t k kt t t= t= t= (3). Al comparar (5) y (6), se conclye qe necesariamente debe cmplirse Obsérvese qe, al cmplirse (3), se cmplirá también qe y, al dividir por T, T T Y ˆ t = Yt t= t= Y Yˆ = (7) 4
. El hiperplano de regresión pasa necesariamente por el pnto ( Y, X,, Xk ). En efecto, dividiendo la ecación (6) por T se obtiene: ˆ ˆ ˆk k Y = β + β X + + β X (8) 3. Los momentos de segndo orden entre cada regresor y los residos son igales a 0. Demostración. Para el conjnto de los regresores se pede expresar así: En efecto, ˆ X=0 (9) X=X ˆ ˆ = ˆ = y-xβ Xy-XXβ Xy-Xy = 0 Para llegar a la última igaldad se ha tenido en centa (6). 4. Los momentos de segndo orden entre ŷ y los residos son 0, es decir, Demostración. yˆˆ = 0 (0) En efecto, si se tiene en centa (6) y (0) reslta qe y= ˆ ˆˆ ˆ= ˆ ˆ= ˆ Xβ βx β0 = 0 3 Hipótesis estadísticas básicas del modelo I Hipótesis sobre la forma fncional Yt = β+ βx t + + βkxkt+ t t =,,, T o, en forma matricial, y=xβ + () II Hipótesis sobre el vector de pertrbaciones aleatorias La pertrbación aleatoria t es na variable aleatoria no observable. a) La esperanza matemática del vector de pertrbaciones aleatorias es cero. 5
b) Las pertrbaciones aleatorias son homoscedásticas E ( ) = 0 () E = σ t = T (3) ( t ),,, c) Las pertrbaciones aleatorias con distintos sbíndices son independientes entre sí. E( ) = 0 t s (4) t s La formlación de las hipótesis b) y c) permiten especificar la matriz de covarianzas del vector de pertrbaciones. (La matriz de covarianzas de n vector qe contiene T variables aleatorias es na matriz cadrada y simétrica de orden T T, en cya diagonal principal aparecen las varianzas de cada no de los elementos del vector y fera de la diagonal principal aparecen las covarianzas entre cada par de elementos.) En concreto, la matriz de covarianzas del vector de pertrbaciones es la sigiente: E E E E E [ ( ) ][ ( ) ] = [ 0][ 0] = [ ][ ] T T E [ T ] E = = T T T T E ( ) E ( ) E ( ) T σ 0 0 E ( ) E ( ) E ( T ) 0 σ 0 = = E ( T ) E ( T ) E ( T) 0 0 σ Para llegar a la última igaldad se ha tenido en centa qe las varianzas de cada no de los elementos del vector es constante e igal a σ de acerdo con (3) y qe las covarianzas entre cada par de elementos es 0 de acerdo con (4). El resltado anterior se pede expresar de forma sintética: E( ) = σ I (5) d) La pertrbación aleatoria tiene na distribción normal mltivariante Todas las hipótesis sobre el vector de pertrbaciones se peden formlar de la sigiente forma: ~ N( 0, σ I ) (6) 6
III Hipótesis sobre el regresor X a) La matriz de regresores, X, es na matriz fija. De acerdo con esta hipótesis, los distintos regresores del modelo toman los mismos valores para diversas mestras del regresando. Éste es n spesto ferte en el caso de las ciencias sociales, en el qe es poco viable experimentar. Los datos se obtienen por observación, y no por experimentación. Para qe dicho spesto se cmpliera, los regresores deberían ser ssceptibles de ser controlados por parte del investigador. Es importante señalar qe los resltados qe se obtienen tilizando este spesto se mantendrían prácticamente idénticos si spsiéramos qe los regresores son estocásticos, siempre qe introdjéramos el spesto adicional de independencia entre los regresores y la pertrbación aleatoria. Este spesto alternativo se pede formlar así: a*) La matriz de regresores, X, se distribye independientemente del vector de pertrbaciones aleatorias b) La matriz de regresores, X, tiene rango k. E ( X)=0 (7) ρ ( X ) = k (8) Recordemos qe la matriz de regresores contiene k colmnas, correspondientes a los k regresores del modelo, y T filas, correspondientes al número de observaciones. La hipótesis b) tiene dos implicaciones:. El número de observaciones, T, debe ser igal o mayor qe el nmero de regresores, k.. Todas las colmnas de la matriz de regresores deben ser linealmente independientes, lo cal implica qe no pede existir na relación lineal exacta entre ningún sbconjnto de regresores. En caso contrario, el rango de la matriz X sería menor qe k, y, por tanto, la matriz XX sería singlar (carecería de inversa), con lo cal no se podrían determinar los valores del vector de estimadores de los parámetros del modelo. Si se diera este caso se dice qe existe mlticolinealidad perfecta. Si existe na relación lineal aproximada es decir, no exacta, entonces se peden obtener estimaciones de los parámetros, si bien la fiabilidad de los mismos qedaría afectada. En este último caso se dice qe existe mlticolinealidad no perfecta. c) La matriz de regresores, X, no contiene errores de observación o de medida Ésta es na hipótesis qe raramente se cmple en la práctica, ya qe los instrmentos de medición en economía son escasamente fiables (piénsese en la mltitd de errores qe es posible cometer en na recogida de información, mediante encesta, sobre los prespestos familiares). Anqe es difícil encontrar instrmentos para contrastar esta hipótesis, la natraleza del problema y, sobre 7
todo, la procedencia de los datos tilizados peden ofrecer evidencia favorable o desfavorable a la hipótesis ennciada. IV Hipótesis sobre el vector de parámetrosβ El vector de parámetros β es constante. Si no se adopta esta hipótesis el modelo de regresión sería my complicado de manejar. En todo caso, pede ser aceptable qe los parámetros del modelo se mantienen estables en el tiempo (si no se trata de períodos my extendidos) o en el espacio (si está relativamente acotado). 4 Propiedades probabilísticas del modelo Distribción del regresando El regresando es fnción lineal del vector de pertrbaciones aleatorias, qe, por la hipótesis II d), sige na distribción normal. Por lo tanto, el regresando, y, segirá también na distribción normal. La esperanza matemática de y, teniendo en centa la hipótesis II a), viene dada por [ ] E( y ) = E Xβ + = Xβ + E( ) = Xβ (9) La matriz de varianzas covarianzas, teniendo en centa las hipótesis II a) a II c), serán Var( y ) = E ( )( ) = E( ) = σ y Xβ y Xβ I (30) En consecencia, e regresando, y, tiene na distribción normal mltivariante con vector de medias β y con na matriz de varianzas-covarianzas, σ I, escalar. y ~ N( Xβ, σ I ) (3) Distribción y propiedades del vector de estimadores Teniendo en centa () y (), podemos expresar el vector de estimadores ˆβ en fnción del vector de pertrbaciones: [ ] [ ] [ ] ˆ β = XX X Xβ + = β + XX X (3) Las hipótesis de los bloqes III y IV se tendrán implícitamente en centa, anqe no se mencionen. 8
Aplicando el operador esperanza a la expresión (3), teniendo en centa qe β y X son no aleatorios y aplicando (), se obtiene [ ] E( βˆ ) = β+ XX X E( ) = β (33) La matriz de varianzas-covarianzas del vector de estimadores mínimocadráticos viene dada por ˆ ˆ ˆ ˆ ˆ Var( ) E E( ) E( ) E ˆ ˆ β = = β β β β β β β β E [ XX ] XX [ XX ] [ XX ] X E[ ] X[ XX ] [ XX ] X σ IXXX [ ] σ [ XX ] XXXX [ ] σ [ XX ] = = = = = (34) En la dedcción anterior se han tenido en centa (3) y (33), además de las hipótesis de homoscedasticidad y no atocorrelación recogidas en (5). De acerdo con lo anterior, el vector de estimadores, ˆβ, tiene na distribción normal mltivariante con vector de medias β y matriz de varianzascovarianzas σ [ XX ], es decir ˆ ~ N( σ [ ] ) β β, X X (35) Las propiedades qe se van a ennciar a continación son propiedades qe se dedcen conjntamente de la aplicación del método de estimación de mínimos cadrados y de las hipótesis estadísticas básicas formladas en el epígrafe 3. Los estimadores mínimo-cadráticos, si se cmplen las hipótesis estadísticas básicas son estimadores lineales, insesgados y óptimos 3. a) El vector de estimadores, ˆβ, es n estimador lineal: El vector de estimadores, ˆβ, de acerdo con (3) se pede expresar del sigiente modo donde [ ] A= XX X β ˆ = β + A (36) Pesto qe X es na matriz de regresores fijos, según la hipótesis III a), también lo será la matriz A. Por tanto, la expresión (36) mestra qe el vector ˆβ 3 El cmplimiento de la hipótesis de normalidad no es necesario para qe los estimadores mínimocadráticos tengan estas propiedades. 9
es na combinación lineal del vector de pertrbaciones, y, en consecencia, es n estimador lineal. b) El vector de estimadores, ˆβ, es n estimador insesgado En efecto, de acerdo con (33), E ( βˆ ) = β (37) Es decir, ˆβ es n estimador insesgado, ya qe la esperanza del vector de estimadores es igal al vector parámetros qe trata de estimar. c) Dentro de la clase de estimadores lineales e insesgados, ˆβ tiene mínima varianza, es decir, ˆβ es n estimador óptimo o eficiente (teorema de Gass- Markov). Esta propiedad, qe no demostraremos, se pede ennciar de forma global para el vector de estimadores de la sigiente forma: E ˆ ˆ E β β β β β β β β (38) donde β es calqier otro vector arbitrario de estimadores qe cmpla la propiedad de ser lineal e insesgado. La propiedad anterior implica qe las varianzas de cada no de los estimadores mínimo-cadráticos son inferiores, o a lo smo igales, a las varianzas de calqiera otros estimadores qe sean lineales e insesgados. Es decir, se cmplirá qe var( ˆ βi) var( βi) i =,,, k (39) donde ˆ β y β son elementos de los vectores ˆβ y β respectivamente i i Distribción del vector de residos Teniendo en centa (6) y (), vamos a expresar el vector de residos en fnción del regresando donde [ ] [ ] ˆ = y-xβ ˆ = y-x XX Xy = = I-X XX X y My (40) [ ] M = I-X XX X (4) 0
donde M es na matriz idempotente. (Una matriz idempotente A se caracteriza por cmplir estas dos propiedades: a) A=A ; b) AA = A ) De forma alternativa se pede expresar el vector de los residos en fnción del vector de las pertrbaciones: [ ] [ ] [ ] ˆ = I-X XX X y = I-X XX X Xβ + [ ] [ ] = Xβ -X XX XXβ + X XX Xβ [ ] [ ] = Xβ -Xβ+ I X XX X = IX XX X = M (4) La esperanza del vector de residos es la sigiente: [ ˆ ] [ ] [ ] E = E M = ME = M0=0 (43) y s matriz de covarianzas viene dada por [ ˆ] = [ ˆˆ ] = [ ] = [ ] Var E E MM ME M = σ = σ = σ M IM MM M En consecencia, el vector û tiene la sigiente distribción: (44) ˆ ~ (, ) N 0 σ M (45) Estimación de la varianza de las pertrbaciones La varianza de las pertrbaciones es, de acerdo con la hipótesis II b), se mantiene constante para las T pertrbaciones aleatorias. Al igal qe el vector de coeficientes ( ˆβ ) del modelo de regresión, la varianza de las pertrbaciones ( σ ) es n parámetro desconocido. En ambos casos es necesario estimarlos. Para la estimación de ˆβ se tilizan las observaciones mestrales sobre el regresando y los regresores; para la estimación de σ se tilizan los residos obtenidos a partir de la regresión mínimo cadrática. Para ver cál es el estimador más conveniente de σ, vamos a analizar previamente las propiedades de la sma de cadrados de los residos, qe es precisamente el nmerador de la varianza residal. De acerdo con (4), la sma de cadrados de los residos los podemos expresar de la sigiente forma ˆˆ = MM = M (46)
Con objeto de tener información para poder constrir n estimador insesgado de σ, vamos a calclar la esperanza matemática de la expresión anterior: E[ ˆˆ ] = E[ M ] = tre[ M ] = E[ trm ] = Etr [ M ] = trme[ ] = trmσ I (47) = σ trm = σ ( T k) En la dedcción anterior se han tilizado las sigientes propiedades del operador traza (tr), qe se define como la sma de los elementos de la diagonal principal de na matriz cadrada: a) La traza de n escalar es el mismo escalar, ya qe n escalar se pede considerar como na matriz de orden, con lo qe coincide s diagonal principal con el propio escalar. b) tr( AB) = tr( BA ) La propiedad b) permite calclar la trm, según se ve a continación: T T k k [ ] [ ] trm = tr IT T X XX X = trit TtrX XX X = tri tri = T k (48) Del resltado obtenido en (47), despejando se obtiene qe [ ] ˆˆ E σ = T k (49) A la vista de la expresión anterior, n estimador insesgado de la varianza vendrá dado por pesto qe, de acerdo con (47), ˆˆ ˆ σ =, (50) T k ˆˆ E( ˆˆ ) σ ( T k) E( ˆ σ ) = E σ T k = = =, (5) T k T k El denominador de (50) son los grados de libertad correspondientes a la sma de cadrados de los residos qe aparecen en el nmerador. Este resltado está jstificado por el hecho de qe las ecaciones normales del hiperplano imponen k restricciones sobre los residos. Por lo tanto, el número de grados de libertad de la sma de cadrados de los residos es igal al número de observaciones (T) menos el número de restricciones (k).
Estimación de la matriz de covarianzas de los estimadores La matriz de covarianzas de los estimadores (teórica), como pede verse en (34), es fnción del parámetro desconocido σ. Cando se sstitye σ por s estimador ˆ σ se obtiene n estimador de matriz de covarianzas de los estimadores: ˆ ˆˆ Var( ˆ β) = ˆ σ [ XX ] = [ XX ] (5 T k El estimador anterior es n estimador insesgado, ya qe ˆ E( Var ˆ ( β )) = E( ˆ σ )[ XX ] = σ [ XX ] = Var( β ˆ) (53) La varianza de n coeficiente individal ˆi β, vendrá dada por ii ˆˆ ˆ σ v = v T k ii (54) ii donde v es el elemento ii-ésimo de la diagonal principal de la matriz [ XX ]. Así pes, los elementos de esta última matriz los hemos denominado de la sigiente forma: k = [ XX] k v v v v v v k k kk v v v 3