MULTICOLINEALIDAD: EXTENSIONES. Para fijar ideas, consideremos el siguiente modelo lineal:

Transcripción

1 puntes de eoría Econométrca I. Profesor: Vvana Fernández MUICOINEIDD: EXENSIONES I INRODUCCION El problema de la multcolnealdad surge cuando las varables explcatvas de un modelo econométrco presentan un grado de correlacón tal, que es dfícl dentfcar de manera precsa el efecto ndvdual de cada una de ellas sobre la varable dependente o explcada. Para fjar deas, consderemos el sguente modelo lneal: Y t = β + β X t + +β k X tk + u t () y supongamos que el sguente modelo de regresón tene un R alto: X t = δ + δ X t ++δ - X t - +δ + X t+ ++δ k- X tk + v t () En dcho caso, X t es aproxmadamente una combnacón lneal de las varables explcatvas restantes. Ello mplca que la matrz X X será aproxmadamente sngular. Sempre y cuando X X NO sea sngular, el estmador MICO será únco y NO perderá su condcón de MEI. Sn embargo, presentará los sguentes problemas: a) a solucón del sstema de ecuacones normales estará mal defnda: ( X ' β = Y (3) S ben el estmador MICO, βˆ, será únco, habrá un número de vectores ~ β, β,, que serán una solucón aproxmada a (3). ~ Como consecuenca, pequeñas varacones en el tamaño de la muestra que ntroducrán sólo leves cambos en X X y X Y se traducrán en cambos mportantes en la magntud de los componentes del vector βˆ. b) a cas sngulardad de la matrz X X se reflejará en el valor de su determnante, el cual será cercano a cero. Como consecuenca, las varanzas

2 puntes de eoría Econométrca I. Profesor: Vvana Fernández de los estmadores MICO, provenentes de la matrz Var(ˆ) β = σ (, serán grandes. Ello ncrementará el ancho de los ntervalos de confanza para el contraste de hpótess lneales. En consecuenca, tenderemos a aceptar la hpótess nula. (Es decr, caerá el poder del test: la probabldad de rechazar H 0 cuando ésta es falsa). Ejemplo En el modelo lneal smple Y t = β + β X t + u t, la exstenca de multcolnealdad equvaldría a que X t fuera aproxmadamente constante. En este caso, un aumento en la varacón de X t contrburía a una mayor precsón de los estmadores MICO de β y β II MUICOINEIDD EXC Y PROXIMD a multcolnealdad puede tomar dos formas: Multcolnealdad Exacta. Ocurre cuando una de las varables explcatvas es una combnacón lneal determnístca de todas las demás (o de un subconjunto de ellas). Es decr, la matrz X X es sngular y, por lo tanto, exsten nfntas solucones a las ecuacones normales. Multcolnealdad proxmada: Ocurre cuando una de las varables explcatvas es aproxmadamente una combnacón lneal de las restantes (o de un subconjunto de ellas). Este es el caso de la ecuacón (). En la práctca, la multcolnealdad exacta es fáclmente detectable porque X X es sngular. Por ejemplo, un conjunto de las varables explcatvas satsfacen una dentdad contable. En contraste, la multcolnealdad aproxmada es más dfícl de detectar. No obstante, ésta puede traducrse (aunque no necesaramente) en: Un R alto pero con coefcentes de baja sgnfcanca estadístca. Estmadores MICO con sgnos y/o magntudes mplausbles, producto de la poca precsón con la cual son estmados.

3 puntes de eoría Econométrca I. Profesor: Vvana Fernández 3 Estmadores MICO muy sensbles a pequeños cambos en el tamaño de la muestra.. Estmacón Bajo Multcolnealdad Exacta S ben las ecuacones normales no tenen una solucón únca, exsten determnadas combnacones lneales de los parámetros que pueden ser estmadas con toda precsón. Para lustrar este punto, veamos el sguente ejemplo (Novales). Se tene el modelo: Y t = β + β X t + β 3 X t3 + u t,,., Se sabe que exste una relacón lneal exacta entre X y X 3 para todo,,, : X t3 =λx t. Por ello, el modelo anteror es equvalente a: Y t = β + β X t + β 3 (λx t )+ u t,,., S expresamos el modelo en desvíos con respecto a las medas muestrales, se tene que: x' x = x t λ λ λ donde x t X t X, y t Y t Y. Claramente, la matrz x x tene rango gual a. Ello mplca que es sngular. Entonces, el sstema de ecuacones normales se reduce a una sola ecuacón: = x t y t = βˆ + λβˆ 3 x t la cual tene nfntas solucones para ˆβ y 3 ˆβ. Sn embargo, exste una únca solucón para la combnacón lneal β + λβ 3, dada por:

4 puntes de eoría Econométrca I. Profesor: Vvana Fernández 4 = β + t λβ3 = x t x y t Por qué? Porque el modelo se reduce a: t Y t = β + (β +β 3 λ)x t + u t,,., Entonces, podemos estmar sn problemas la combnacón lneal de los parámetros β y β 3, β + λβ 3.. Deteccón y Estmacón Bajo Multcolnealdad proxmada Señalamos anterormente que es posble que la multcolnealdad aproxmada se materalce en un R alto pero con coefcentes de baja sgnfcanca estadístca, en estmadores con sgnos y/o magntudes mplausbles que pueden ser, además, altamente sensbles al tamaño de la muestra. Sn embargo, la multconealdad aproxmada NO necesaramente conlleva a los síntomas anterormente señalados. Por ello, se han dseñados mecansmos formales para su deteccón... Método Formales de Deteccón a) Correlacón entre Varables Explcatvas Partconemos la matrz X como sgue: X = (x X ) (4) donde x es el vector columna de observacones de la -ésma varable explcatva, y X es la matrz x (k-) de observacones de las varables restantes. Entonces, la matrz X X puede escrbrse como: x X = X ( x X ) = x ' x X ' x x ' X X ' X (5)

5 puntes de eoría Econométrca I. Profesor: Vvana Fernández 5 S utlzamos la propedad de la nversa de una matrz partconada (véase apéndce), tenemos que el elemento (, ) de la matrz (X es: (x x x X (X X ) X x ) = (x M x ) donde M = I X (X X ) X. Por lo tanto, la varanza de ˆβ estará dada por: Var(ˆ β ) = σ ( x ' M x ) = σ x ' M x (6) dado que x M x es un escalar. Notemos que x M x se puede descomponer en lo sguente: x M x = x x x X (X X ) X x = x x x ˆx = x x ˆx ˆx donde xˆ = X ( X ' X ) X ' x es el vector de valores predchos de x resultante de correr una regresón de x en los regresores restantes del modelo, X. Pero, de lo anteror, x M x = x t xˆ t t t x ) = x xˆ t + x x = (x t x ) (xˆ = (x x ) ( R ) t

6 puntes de eoría Econométrca I. Profesor: Vvana Fernández 6 donde R = (xˆ (x t t x) x). Con lo cual, σ Var (ˆ β ) = (7) (x x) ( R ) t Por lo tanto, s R es alto, la varanza de ˆβ será grande. De ello, un método de deteccón de la multcolnealdad aproxmada consste en estmar regresones de cada una de las varables explcatvas en las restantes. Un R alto en alguna de estas regresones ndcaría que alguna de las varables explcatvas está causando problemas. El valor más pequeño de la expresón (7) se obtene cuando R =0. Sea 0 Var(ˆ β ) el valor de la varanza de ˆβ cuando R =0. Defnamos τ como: τ = Var(ˆ β ) Var(ˆ β ) 0 = R (8) Entonces τ es una medda de qué tan severa es la dependenca lneal de x con respecto a X. Por ejemplo, s R =0.5, τ=; s R =0.999, τ=000. En la práctca, un τ>0 (R >0.9), se consdera problemátco. b) amaño de la Matrz X X Una medda de qué tan problemátca es la multcolnealdad aproxmada es el número de condcón de la matrz. En partcular, para una matrz cuadrada,, éste se defne como: γ = λ λ max mn (9)

7 puntes de eoría Econométrca I. Profesor: Vvana Fernández 7 Para matrces no cuadradas, tal como X nxk, calculamos el número de condcón de X X. Debdo a que los valores propos son sensbles a la escala de las varables, se recomenda dvdr cada columna, x, por su norma, x ' x, a fn de que tenga un largo gual a. El hecho de que el valor propo más pequeño sea cercano a cero en relacón al más grande sgnfca que la matrz es cuas sngular. Una matrz con un número de condcón grande (>0) es dfícl de nvertr de manera exacta. Defncón: El error cuadrátco medo (ECM) de un estmador se defne como: ECM = E(ˆ β β) = Var(ˆ) β + Sesgo(ˆ) β s βˆ es un escalar = Var(ˆ) β + Sesgo( βˆ) Sesgo( βˆ )' s βˆ es un vector.. Posbles Solucones para la Multcolnealdad proxmada a) Pre-estmacón: Esto hace alusón al caso en que se cuenta con nformacón a pror que permte reducr la colnealdad entre algún par o conjunto de varables. Supongamos el sguente ejemplo para lustrar este punto: ln(y t ) = β + β ln(k t ) + β 3 ln ( t ) + u t donde Y t =nvel de produccón, K t = factor captal, t = factor trabajo. Supongamos que K t y t son altamente colneales. Sn embargo, se sabe, por estudos prevos, que la funcón de produccón presenta rendmentos constantes a escala. Esto es, β +β 3 =. Por lo tanto, el modelo puede ser smplfcado a: ln(y t / t ) = β + β ln(k t / t ) + u t Desgracadamente, en la práctca no es usual contar con este tpo de nformacón.

8 puntes de eoría Econométrca I. Profesor: Vvana Fernández 8 b) Estmador Cresta (Rdge) Una solucón que se ha propuesto para reducr el grado de colnealdad entre las columnas de X es el estmador cresta: ˆ βr = ( X ' X + rd) Y (0) donde D es una matrz dagonal que contene los elementos de la dagonal de X X y r es un escalar escogdo arbtraramente. En la práctca, r se escoge de modo tal que ˆβ r sea estable frente a pequeñas varacones en éste. (Se sugere partr de un valor de r 0.0). unque el estmador cresta es sesgado, tene una matrz varanzacovaranza menor a la de MICO: E(ˆ β ) = ( X + rd) X β r Var(ˆ β r ) = ( X + rd) X( X + rd) Ello mplca que ˆβ r puede ser preferble a MICO, térmnos de ECM. c) Método de Componentes Prncpales a dea detrás del método de componentes prncpales radca en extraer de la matrz X un número de varables que explquen la mayor parte de la varacón en X. (Esta últma se defne como tr (X, tr traza). a pregunta relevante es: qué combnacones lneales proporconan el mejor ajuste para todas las columnas de X? Defnamos Z como la matrz que reúne a estas nuevas varables. Sea, en partcular, z, vector x, el prmer componente de dcha matrz: z t = c x t + c x t + + c k x tk,,, () En notacón matrcal: z = X c ()

9 puntes de eoría Econométrca I. Profesor: Vvana Fernández 9 Normalzamos z, dado que otra combnacón lneal de c conducría al msmo R en una regresón de la -ava columna de X, x, en z : z z = (3) Supongamos que corremos una regresón de x en z, =,,, k. a suma de errores al cuadrado de dcha regresón es: uˆ ' uˆ = x '( I z( z' z) z' ) x = x '( I zz' ) x (4) dado que z z =. S tomamos todos los vectores x smultáneamente, buscamos mnmzar: k = sujeto a z z =. k u ˆ ' uˆ = x ' ( I zz' ) x = tr( ( I zz ' ) = = tr( tr( zz' Dado que tr(x no nvolucra al vector c, mnmzar la expresón anteror es equvalente a maxmzar: = tr( zz' + λ( z' z) (5) Dado que z =X c y por las propedades de traza, el lagrangeano anteror se reduce a: = c' ( c + λ( c' ( c) (6) con condcones de prmer orden: c = ( c λ ( c = 0 () λ = c '( c = 0 ()

10 puntes de eoría Econométrca I. Profesor: Vvana Fernández 0 a condcón () puede ser re-escrta como: (X c = λ c ( ) lo cual ndca que c es un vector propo de X X. hora, notemos que al pre-multplcar ambos lados de ( ) por c (X, llegamos a: c (X c = λ c (X c = λ (7) Es decr, s queremos maxmzar nuestra funcón objetvo c (X c, entonces debemos escoger el vector propo asocado al valor propo mayor. (a matrz X X es postva defnda, por lo cual sus valores propos son postvos). Por lo tanto, z es el prmer componente prncpal de X. Defnamos ahora z =Xc. Deseamos maxmzar c (X c, sujeto a que c c = y c c =0 (esto es, c y c no están correlaconados). El lagrangeano se reduce a: '( c + λ ( c '( c ) c' = c µ c (8) Después de hacer el álgebra correspondente, se llega a que: (X c = λ c Ello mplca que λ corresponde al segundo valor propo más grande y, por lo tanto, z es el segundo componente prncpal de X. Podemos contnuar análogamente para cada una de los k valores propos de X X, y reunrlos en la matrz C, donde C=(c c c k ). Con ello, Z = XC λ 0 Z' Z = C' XC = 0 λ λ k

11 puntes de eoría Econométrca I. Profesor: Vvana Fernández S el rango de X es r<k, k r valores propos son guales a cero. ún s X no es sngular, pero cas, algunos de los valores propos serán cercanos a cero. Por ello, un número menor de componentes prncpales explcará la mayor parte de la varacón en X. a dea, entonces, es utlzar un número <k de componentes prncpales, de modo tal que = k λ λ. Sea C la matrz que reúne a los vectores propos asocados a los valores propos más grandes, donde Z =XC. El paso sguente consste en correr una regresón de Y en Z, para obtener el sguente estmador: = ˆ = ( Z ' Z ) Z ' Y = Λ C ' X βˆ = C MICO ' βˆ MICO (9) dado que (X C = C Λ C (X = Λ C. Entonces Yˆ = Z ˆ = XC ˆ Xβˆ CP donde el estmador de componentes prncpales vene dado por: βˆ CP = C C ' βˆ MICO (0) El estmador de componentes prncpales es sesgado, pero tene una varanza menor a la de MICO: Var(ˆ β CP ) = σ C C ' ( C C ' () Por ello, puede ser preferble a éste, según el crtero de ECM. Sn embargo, el estmador de componentes prncpales no está lbre de problemas: Dfícl de nterpretar.(es una mezcla de los coefcentes orgnales). os componentes prncpales NO son escogdos en base a nnguna relacón entre X e Y. Como sabemos, la magntud de los valores propos es sensble a la escala de las X s, por lo cual se recomenda normalzar cada columna. Sn embargo, ello afecta la nterpretacón de los resultados.

12 puntes de eoría Econométrca I. Profesor: Vvana Fernández d) Exclusón de Varables Supongamos que tenemos el sguente modelo econométrco: Y t = β + β X t + β 3 X t3 + u t () y que X t y X t3 están altamente correlaconadas. Una posbldad es elmnar una de las varables del modelo, dgamos X t3. Sn embargo, ello generará sesgo en el estmador MICO de β provenente del modelo: Y t = β + β X t + v t (3) a menos que X sea ortogonal a X 3 : x tx t3 ~ E ( β ) = β + β3 (4) x t donde las letras mnúsculas denotan varables en desvíos. Por otra parte, ~ Var( β ) = σ x t Var(ˆ β ) = x t σ ( r 3 ) donde ˆβ es el estmador MICO provenente del modelo () y r 3 = x tx t3 x t x t3 X 3., coefcente de correlacón muestral entre X y ~ Claramente, Var( β ) < Var(ˆ β ). Por lo tanto, los estmadores deben ser comparados en térmnos de ECM: ~ ECM( β ) = + r3(tβ ) (5) 3 ECM(ˆ β )

13 puntes de eoría Econométrca I. Profesor: Vvana Fernández 3 donde t β 3 = β3 Var(ˆ β 3 ) = β σ 3 x t3 ( r 3 ). Por lo tanto, el estmador sesgado es preferble s t <. El estmador escogdo medante esta estratega se denomna estmador de pre-test, puesto que su eleccón se sustenta en un test t de una regresón preva. El problema radca en que t no es conocdo, puesto que n β 3 n σ lo son. Por lo tanto, la decsón debe basarse en tˆ. Defínase β ~ = β = βˆ s s tˆ tˆ βˆ = σˆ 3 t 3 x t ( r3) < = (6) Se ha argüdo que ˆβ es preferble a β, a menos que se crea frmemente, a pror, que t <. e) Imposcón de Restrccones neales Una forma de reducr la colnealdad aproxmada es medante la mposcón de restrccones lneales sobre un conjunto de parámetros del modelo. Sabemos que, bajo los supuestos del modelo lneal general, el estadígrafo para contrastar un conjunto de J restrccones lneales, H 0 : Rβ = q, vene dado por: F = ( Rβˆ q)' ( σˆ R( J R' ) ( Rβˆ q) = ( uˆ r ' uˆ r uˆ nr' uˆ nr ) / J uˆ ' uˆ /( k) nr nr sendo la regla de decsón: rechace H 0 s el F calculado supera a F(J, k) al ( α) % de confanza. Qué pasa s las restrccones son rechazadas estadístcamente? En dcho caso, el estmador restrngdo (es decr, aquel que ncorpora las restrccones) es sesgado. Sn embargo, es más efcente que MICO. Por lo tanto, puede ser preferble en térmnos de ECM.

14 puntes de eoría Econométrca I. Profesor: Vvana Fernández 4 Para ello, recordemos que la solucón al problema de optmzacón (véase capítulo 7, Greene): ~ Mn ~S( β ~ ) = ( Y Xβ ~ )'( Y Xβ ~ ) s.a Rβ = q β da orgen al estmador MICO restrngdo: βˆ r = βˆ Var( βˆ nr ( R' ( R( R' ) ( Rβˆ nr q) (7) r ) = βnr ) σ ( R' ( R( R' ) R( Var(ˆ donde ˆ nr β = ( X ' Y, nr ) = σ ( Var( β ˆ. En qué crcunstancas, entonces, será ˆβ r preferble a ˆβ nr, en térmnos de ECM? Este tópco fue estudado por Wallace y oro-vzcarrondo. Ellos concluyeron que s H 0 es rechazada, el estadígrafo F tene una dstrbucón F no central, F(J, k, /), donde / es el parámetro de no centraldad. os hallazgos de W-V se pueden resumr como sgue: S el F computado> F α (J, k, /), ˆβ nr es preferble a ˆβ r en térmnos de ECM. De lo contraro, ˆβ r es preferble a ˆβ nr, ya que: c' ECM( β ˆ r ) c c' ECM( βˆ nr) c ckx 0 (8) PENDICE ) Matrces Partconadas: El partconamento de una matrz consste en agrupar los elementos de ésta en sub-matrces. Por ejemplo, supongamos una matrz 3x3 que partconamos de la sguente forma: =

15 puntes de eoría Econométrca I. Profesor: Vvana Fernández 5 Esto es, =(8). 7 =, con =, = 9 4 3, ( 5), = a) Suma y Multplcacón de Matrces Partconadas Sea B B = y B =, entonces: B B + B = + B + B + B + B B = B B + + B B B B + + B B con j y B j, matrces conformables para la suma y multplcacón. b) ranspuesta ' = ' ' ' ' ' ' =. ' Por ejemplo, para el caso partcular = ( ), se tene que c) Inversa: para una matrz partconada x se tene: F = F F F donde F = ( ), F =( ) Para el caso partcular de una matrz dagonal en bloque se tene:

16 puntes de eoría Econométrca I. Profesor: Vvana Fernández = 0 0 c) Determnante = = ) Valores y Vectores Propos de una Matrz Supongamos una matrz cuadrada,, n x n. as solucones al sguente conjunto de ecuacones: c = λc () se denomnan, respectvamente, vector propo, c nx, y valor propo, λ (escalar). Dado que el vector kc tambén satsface la ecuacón anteror, donde k constante cualquera, el vector c es normalzado: c c = () a ecuacón () puede ser re-escrta como sgue: ( λi)c = 0 (3) fn de que el sstema homogéneo (3) tenga una solucón dstnta del vector 0, tene que ser el caso que la matrz λi sea sngular: λi = 0 (4) a ecuacón (4), llamada ecuacón característca es un polnomo de orden n en λ. os valores propos pueden repetrse, y no son necesaramente números reales. (Uncamente s la matrz es smétrca, los valores propos son todos reales).

17 puntes de eoría Econométrca I. Profesor: Vvana Fernández 7 Ejemplo (Greene) Sea 5 =. a ecuacón característca vene dada por: 4 λi = 5 λ 4 λ = λ 9λ + 8 = ( λ 6)( λ 3) = 0 cuyas solucones son λ=6 y λ=3. os vectores característcos pueden ser encontrados a partr de (3): 5 λ c 4 λ c 0 = 0 Para λ=6, se tene el par de ecuacones (lnealmente dependentes, por construccón): c + c = 0 c c = 0 c =c () Para λ=3, en tanto, se tene el par de ecuacones: c + c = 0 c + c = 0 c = ( /) c () fn de determnar los elementos de cada vector, se mpone la normalzacón c c= ( c + c ). Con ello, = λ=6, / / 5 c = ; λ=3, c =. / / 5. Resultados Importantes a) Sea una matrz smétrca n x n, entonces la matrz es gual: = C Λ C (5)

18 puntes de eoría Econométrca I. Profesor: Vvana Fernández 8 donde la matrz C=(c c c n ) reúne a los n vectores propos, y la matrz Λ reúne a los n valores propos (en el msmo orden) en una matrz dagonal: λ 0 Λ = 0 λ λ n a expresón (5) se denomna descomposcón espectral de. Para una matrz smétrca, los vectores propos son ortogonales. Esto es, c c j =0 j con lo cual, CC =C C=I, C =C. b) El rango de una matrz smétrca es gual al número de valores propos dstntos de cero. c) a traza de una matrz smétrca (cuadrada) es gual a la suma de sus valores propos. d) El determnante de una matrz smétrca (cuadrada) es gual al producto de sus valores propos. En partcular, s uno de los valores propos es gual a cero, la matrz es sngular. e) Para cualquer matrz smétrca no sngular,, se tene que sus potencas venen dada por: k k = CΛ C' k=, -, -, 0,,, S, además, es postva defnda (lo cual mplca que todos sus valores propos son postvos): r r = CΛ C' r, número real cualquera. Para mayores detalles, véase Greene, capítulo 3 o Johnston, capítulo 5