SOBRE INVERSAS GENERALIZADAS Y SU APLICACIÓN EN LA REGRESIÓN 0.- INTRODUCCIÓN. Sobre Matrices Inversas Generalizadas

Transcripción

1 SOBRE INVERSAS GENERALIZADAS Y SU APLICACIÓN EN LA REGRESIÓN José Carlos de Miguel Domínguez Agustín Ramos Calvo Dpto. de Métodos Cuantitativos para la Economía y la Empresa Fac. de C.C.E.E. Santiago de C. 0.- INTRODUCCIÓN El uso de Matrices Inversas Generalizadas aparece constantemente en aplicaciones estadísticas; sin embargo, su tratamiento se reduce a los lugares en que son utilizadas y resaltando -unicamente- aquellas propiedades que son necesarias para cada Ejemplo concreto. Así, unas veces su aplicación responde a fines meramente pedagógicos, mientras que en otras su interés responde a facilitar los cálculos y la comprensión. Como ejemplo de todo ello pueden citarse: 1. Método de Mínimos Cuadrados y Estimación Insesgada. 2. Estimación recursiva y Mínimos Cuadrados secuenciales. 3. Distribución Normal Multivariante y problemas predictivos asociados. 4. Problemas relativos al Análisis de la Varianza. 5. Problemas relativos al Análisis Discriminante. 6. Análisis del modelo de regresión generalizado en Métodos Econométricos. Como se establece al final de la comunicación; en un modelo lineal de regresión, la predicción, el estimador de una combinación lineal y la S.C.E. son independientes de la inversa generalizada utilizada. También es conocido el hecho de que existen distintos tipos de Matrices Inversas Generalizadas, entre las que destaca el concepto de Inversa de Moore- Penrose, que- entre otras- goza de la propiedad de su unicidad. De modo general, pueden distinguirse distintos tipos de ellas que obedecen a las siguientes condiciones: Dada una matriz A arbitraria, dependiendo de las condiciones exigidas, las distintas clases de inversas generalizadas más usuales són: φ 1 : A A - A = A (Inversa Generalizada) 1

2 φ 2 : A A - A = A ; A - A A - = A (Inv. Generalizada Reflexiva) φ 3 : A A - A = A ; A - A A - = A ; ( A A - ) = A A - (Inv. Gen. Normalizada) ( 1 ) φ 4 : A A - A = A ; A - A A - = A ; ( A A - ) = A A - ; ( A - A ) = A - A 1.- CONCEPTO Y PROPIEDADES DE LA INVERSA MP Es conocido el hecho de que la última clase de matrices recibe el nombre de Inversa de Moore - Penrose (MP) y es debida a Penrose (1955), cuyos trabajos constituyen una profundización de los primeros estudios debidos a Moore (1920). Además, dicha clase se reduce a un solo elemento, ya que la matriz que cumple dichas condiciones es única: Teorema 1.- Si son K y L dos inversas MP de A entonces K = L. Como puede observarse en la demostración se utilizan todas las propiedades enunciadas: = L. K = K A K = (KA) K = A K K = (ALA) K K = A L A K K = (LA) (KA) K = L A K A K = L A K = L (ALA) K = L (AL) A K = L A AK = LL A (AK) = L L A K A = L L A = L (AL) = L A L = Antes de obtener la inversa MP, se establecen algunos resultados que serán útiles en las demostraciones de resultados posteriores: Lema 1.- Para cualquier matriz X (mxn) se cumple; X X = 0 si y solo si X = 0. Es consecuencia inmediata de que en la diagonal principal de la matriz X X están las sumas de los cuadrados de los elementos de las columnas de la matriz X. Lema 2.- Para matrices arbitrarias P,Q : P X X = Q X X implica P X = Q X. La demostración se obtiene aplicando el lema anterior a la expresión: (PX X - QX X) (P - Q) = (PX - QX ) (PX - QX ) = 0 Lema 3.- Si para una matriz B arbitraria ocurre que BB = B, (o bien B B = B) dicha matriz es simétrica, como se comprueba trivialmente hallando traspuestas en la igualdad correspondiente. Teorema 2.- Las cuatro condiciones de la definición de inversa MP son equivalentes a las dos siguientes: i.- K A A = A ii.- A K K = K Demostración.- Para establecer la necesidad basta tener en cuenta que las condiciones i., iii. de la definición inicial implican: A = AKA = A(KA) = AA K, o bien (trasponiendo): K A A = A 1 Como se demostrará en el teorema 2, las condiciones pueden ser reducidas a solo dos. 2

3 Viceversa; Si AA K = A, pre-multiplicando por K resulta KA (KA) = KA. Como consecuencia del lema 3 la matriz KA es simétrica y así: A = AA K = A(KA) = AKA, (que es la condición i). Las condiciones ii. y iv. se obtienen igualmente a partir de 2. Lema 4.- (Descomposición espectral de una matriz) Si es A una matriz m x n de rango r, existen matrices B (m x r) y C (n x r) tales que : B B = I r ; C C = I r cumpliendo que A = B Λ C siendo Λ una matriz diagonal con elementos positivos (concretamente, la matriz formada por los autovalores de la matriz A A, que es semidefinida positiva). Salvo indicación en otro sentido, en adelante se denota A g la inversa MP de A. Teorema 3.- Se verifica que: i.- A g A y AA g son matrices idempotentes (luego semidefinidas positivas) ii.- ( A ) g = ( A g ). (la traspuesta de la inversa es la inversa de la traspuesta) iii.- rang (A) = rang (A g ) = rang (AA g ) = tr (AA g ) = rang (A g A) = tr (A g A). iv.- Si A es simétrica e idempotente, entonces A g = A v.- ( A g ) g = A. vi.- ( A A g ) g = A A g y (A g A ) g = A g A vii.- Las columnas de A g y las de A generan el mismo subespacio. Demostración.- i.- Es inmediato comprobar que ambas matrices son idempotentes (y por consiguiente semidefinidas positivas y así sus autovalores son 0 ó 1) ya que se verifica: (A g A) (A g A) = A g A A g A = A g (A A g A) = A g A (A A g ) (A A g ) = A A g A A g = (A A g A) A g = AA g ii.- Basta usar la traspuesta en las propiedades de la definición. iii.- El hecho de que el rango de las matrices señaladas sea igual a su traza es debido al hecho de que son idempotentes. Por otro lado: rang (A) = rang(aa g A) = min {rang (AA g ),rang (A)}=rang(AA g ) = rang(a g ) rang (A g ) = rang (A g AA g ) = min {rang(a g A), rang(a g )} = rang(a g A) = rang(a) iv) y v).- Es trivial establecerlos. vi.- Es consecuencia inmediata de iv). vii.- Supuesto es y un vector perteneciente al subespacio generado por las columnas de A g, entonces se podrá escribir en la forma y = A g x 1, así: y = A g x 1 = A g A A g x 1 = A (A g ) A g x 1 = A x 2 siendo x 2 = (A g ) A g x 1. 3

4 Viceversa, si es y un vector combinación lineal de las columnas de A entonces se tiene: y = A x 1 = A (A g ) A x 1 = A g A A x 1 = A g x 2 ; x 2 = A A x 1 Teorema 4.- (A A) g = A g A g. Demostración.- Se comprueban todas las propiedades. i.- (A A) (A g A g ) (A A) = A A Ag A g A A = A A A g (AA g ) A = = A A A g A A g A = A AA g A A = A A ii.- (A g A g ) (A A) (Ag A g ) = Ag (A g A ) AAg A g = A g AA g A A g A g = A g AA g A g = A g A g. iii.- (A A) (A g A g ) = A (A A g ) A g = A A g A A g = A A g = A g A. iv.- (A g A g ) (A A) = Ag (A g A ) A = Ag (AA g ) A = A g AA g A = A g A. y las dos últimas son, obviamente, simétricas. Del teorema establecido, se obtiene A g = A g AA g = A g (AA g ) = A g A g A = (A A) g A. Además, si es A una matriz tipo (m,n) de rango n (full rank), entonces la matriz A A es no singular, por lo que se tiene: Corolario.- i.- A g = (A A) g A ; ii.- A g = (A A) -1 A. Obsevación.- Es posible establecer el corolario 1 anterior sin necesidad de utilizar el teorema que le precede, bien usando la descomposición espectral de la matriz A, bien directamente como se muestra a continuación: A g = (A A) g A (1).- Para ver que A (A A) g A = A: A (A A) g A A = AA g A (A A) g A A = (AA g ) A (A A) g A A = = (A g ) A A (A A) g A A = (A g ) A A = A A g A = A. (2).- [(A A) g A ] A ([A A) g A ] = [(A A) g A A (A A) g ] A = (A A) g A (3).- [ A (A A) g A ] = A (A A) g A = A (A A) g A. (4).- [(A A) g A A] = (A A) g A A Teorema 5.- Si A es simétrica, entonces AA g = A g A. Demostración.- Ya es conocido el hecho de que (A g ) = (A ) g, luego: AA g = (AA g ) = A g A = A g A. 4

5 Teorema 6.- Si son P (m,m) y Q (n,n) dos matrices ortogonales y es A una matriz (m,n), entonces: Demostración.- ( P A Q) g = Q A g P. i.- (PAQ) Q A g P (PAQ) = PAQ Q A g P PAQ = P AA g A Q = PAQ. ii.- Q A g P (PAQ) Q A g P = Q A g P P A QQ A g P = Q A g P. iii.- (PAQ) Q A g P = PA QQ A g P = P (AA g ) P simétrica. iv.- Q A g P (PAQ) = Q A g P P A Q = Q (A g A) Q simétrica. Observación.- En general, no es cierto que ( A B ) g = B g A g aunque la igualdad sí se cumple en algunos Ejemplos. Por ejemplo, es cierto para las matrices del teorema 10 y también es cierto en las que siguen: Teorema 7.- Si son B y C del tipo (m,r) y (r,n) y rango r; entonces: = C g B g ( B C ) g Demostración.- Por los corolarios 2 y 3 anteriores: B g = (B B) -1 B ; C g = C (CC ) -1 de donde resulta: i.- (BC) C g B g (BC) = BC C (CC ) -1 (B B) -1 B = BC = ii.- C g B g (BC) C g B g = C (CC ) -1 (B B) -1 B (BC) C (CC ) -1 (B B) -1 B = C (CC ) -1 (B B) -1 B B CC (CC ) -1 (B B) -1 B = = C (CC ) -1 (B B) -1 B = C g B g. iii.- (BC)C g B g = BC C (CC ) -1 (B B) -1 B = B CC (CC ) -1 (B B) -1 B = = B (B B) -1 B, simétrica. = iv.- C g B g (BC) = C (CC ) -1 (B B) -1 B (BC) = C (CC ) -1 (B B) -1 B B C = C (CC ) -1 C, simétrica. Se exponen, a continuación, algunos resultados muy útiles para los cálculos y obtención de la solución de un sistema de ecuaciones lineales, así como en los cálculos relativos al análisis de la varianza. Teorema 8.- Si A es una matriz (m,n). Entonces: i.- I-AA g, I-A g A son simétricas e idempotentes. ii.- (I-AA g ) A = 0 ; A g (I-AA g ) = 0. iii.- (I-AA g ) AA g = AA g (I-AA g ) = 0. iv.- (I-A g A) A g A = A g A (I-A g A) = 0. 5

6 Demostración.- Por definición de inversa MP, las matrices A g A y A g A son simétricas, y por el teorema 9.i. son idempotentes, luego: i.- A g A. (I-AA g ) (I-AA g ) = I - AA g - AA g + AA g AA g = I - AA g Análogamente: (I-A g A) (I-A g A) = I - A g A - A g A + A g AA g A = I- El mismo procedimiento conduce a establecer el resto. 2.- OBTENCIÓN DE LA INVERSA MP Una primera expresión teórica de la inversa MP y algunas de sus propiedades vienen dadas en el siguiente desarrollo: 1ª Forma.- La matriz A + = C Λ -1 B es, entonces, la inversa generalizada de Penrose, ya que: A i.- A A + A = B Λ C C Λ -1 B B Λ C = B Λ C = A ii.- A + A A + = C Λ -1 B B Λ C C Λ -1 B = A + iii.- (A A + ) = (B Λ C C Λ -1 B ) = (BB ) = A A + iv.- ( A + A ) = (C Λ -1 B B Λ C ) = ( CC ) = CC = A + Con la expresión obtenida, es inmediato comprobar las siguientes propiedades generales señaladas en el teorema 3 para este caso particular de la inversa MP: a.- (A + ) + = A b.- (A + ) = (A ) + c.- A + A y A A + son idempotentes ( y, por tanto, semidefinidas positivas ) d.- ( A A ) + A = A + e.- Las columnas de A + y A generan el mismo subespacio de R n. Es posible establecer dichas propiedades con cálculos inmediatos y utilizando las propiedades enunciadas, aunque no conocemos ninguna demostración directa de la propiedad d) (para la que suele usarse siempre la expresión obtenida de C Λ -1 B ) ( 2) 2ª Forma : Supuesto la matriz buscada es de la forma K = TA para alguna matriz T, se satisface la condición i) si es que se cumple: T A A A = A (*) y como dicha condición implica i (de la definición), entonces: 2 Dicha demostración se obtiene inmediatamente como sigue: a.- A(A A) + A A = AA + A(A A) + A A = (AA + ) A(A A) + A A = A + A A (A A) + A A = A + A A = AA + A = A b.- ((A A) + A ) A ( (A A) + A ) = (A A) + A A (A A) + A = (A A) + A c.- [ A (A A) + A ] = A (A A) + A = A (A A) + A d.- [ (A A) + A A ] = (A A) + A A 6

7 A K A = A en la que pre-multiplicando por T se obtiene: la condición 2. T A K A = T A ; es decir, K K A = K, que es Se ha demostrado así que si K = TA siendo T una matriz que satisface (*) y, por consiguiente, K es la inversa de Penrose. Para obtener la matriz adecuada T basta considerar la matriz cuadrada y simétrica A A. Como consecuencia del teorema de Hamilton-Cayley ( 3) existen escalares µ 1, µ 2,..., µ t no todos nulos y cumpliendo que: µ 1 (A A) + µ 2 (A A) µ t (A A) t = 0 Por consiguiente, si es µ r el primero de dichos escalares no nulo, la matriz T buscada es: T = (-1/µ r) [ µ r+1 I + µ r+2 (A A) µ t (A A) t-r+1 ] Para demostrar que T satisface -efectivamente- la condición exigida, basta tener en cuenta que: T(A A) r+1 = (-1/µ r) [ µ r+1 (A A) r+1 + µ r+2 (A A) r µ t (A A) t ] = (-1/µ r) [ -µ 1 (A A) - µ 2 (A A) µ r (A A) r ]. Como se ha elegido µ r el primer escalar no nulo de la combinación lineal, lo anterior se reduce a: T ( A A ) r+1 = ( A A ) r Aplicando repetidamente el lema 2 a la expresión se reduce a la expresión buscada T A AA = A. 3.- SITUACIÓN PARTICULAR DE LA REGRESIÓN. El estudio de modelos lineales conduce, en muchos casos, a la resolución de las ecuaciones normales de la forma X X b = X y. De ahí que tenga especial interés el estudio de las propiedades de la inversa de la matriz X X en el caso de multicolinealedad (la matriz no es de rango pleno). Teorema 9.- Si G es una g-inversa (no necesariamente la MP) de la matriz X X entonces se tiene: 1.- G es tamién una g-inversa de X X. 2.- XGX X = X; es decir, GX es una g-inversa de X 3 Toda matriz cuadrada, satisface su propia ecuación característica 7

8 3.- XGX es invariante respecto a G. 4.- XGX es simétrica, independientemente de que G lo sea o no. Demostración Como por definición G cumple que X XGX X = X X, basta trasponer para obtener X XG X X = X X. Además, aplicando el lema 2 a esta última expresión se obtiene Supuesto es F otra g-inversa diferente de G; por el apartado 2 del enunciado se obtiene: XGX X = X = XFX X y aplicando el lema 2 a esa igualdad resulta el enunciado. 4.- Si es S una g-inversa de X X que es simétrica ( 4 ), por el apartado anterior se tiene XGX = XSX, y la última expresión es simétrica. Corolario.- Aplicando el apartado 1 del teorema al resto se obtiene: XG X X=X, X XGX =X y X XG X =X ; XG X =XGX ; y XG X es simétrica. Observación.- Es preciso insistir en que no todas las g-inversas de una matriz simétrica son simétricas; ello es consecuencia inmediata del algoritmo que se estudió al principio. Sin embargo, el teorema anterior y su corolario lo que hacen es evitar que se interprete mal esa simetría en cuanto a las g-inversas de X X. Llamando H = GX X se establece inmediatamente: Teorema H es idempotente y rg (H) = rg (X) = r 2.- rg ( H-I ) = r-p 3.- b 0 = GX y + ( H-I ) z, (z arbitrario) es una solución de las ecs normales; toda solución de dichas ecuaciones se puede escribir de esa forma. La no existencia de unicidad de la g-inversa exige usar restricciones convenientes para obtener los estimadores de b ya que b 0 es solamente una solución de dichas ecs. normales, pero bajo ningún concepto puede considerarse un estimador de b, salvo cuando X X es no singular. A pesar de esa circunstancia, que pudiera conducir a cierto desánimo en cuanto a los resultados obtenidos con el uso de la g-inversa, las propiedades señaladas para G y H conducen a situaciones menos traumáticas de lo que cabría esperar, como se expone brevemente en lo que sigue. Ejemplo 1.- Considerada una combinación lineal de los parámetros del modelo y = Xβ + ε [ se recuerda que q b es estimable si existe un vector t cumpliendo que q b = t E(y) ] resulta: Cuando q b es estimable, entoonces q b o es invariante respecto de cualquier solución de las ecs. normales ya que la ser q b = t E(y) resulta q = t X y, por consiguiente: 4 La existencia de tal g-inversa simétrica está asegurada sin más que tener en cuenta la matriz S=1/2(G+G') 8

9 q b = t X b o = X G X y y, como se ha demostrado, X G X es invariante respecto a G. Ejemplo 2.- Si se consideran los valores de predicción ( Ÿ ) para el modelo: Ÿ = Xb o = X G X y resulta Ÿ invariante en G, en el sentido de que no importa la matriz G utilizada para la predicción. Insistiendo en ello, como es H = G X X resulta: Ÿ = Xb o = X [G X y + (H -I) z ] = X G X y + (X H -X) z = XGX y + (X G X X - X) z = X G X y Ejemplo 3.- Para la estimación de la varianza del error [ o Suma de Cuadrados de Errores (S.C.E.)] en el modelo se tiene: S.C.E = (Y ij - Ÿ ij ) 2 i, j = (Y - Ÿ) (Y - Ÿ) por lo que: S.C.E = ( y - Xb o ) ( y - Xb o ) = y ( I - X G X ) ( I - X G X ) y = y ( I - X G X ) y obteniendose -nuevamente- que dicha S.C.E. es invariante en G. BIBLIOGRAFÍA Chipman J. & M. M. Rao.- The Treatement of Linear Restrictions in Regression. Minnesota Dhrymes P. J.- Econometría.- Ed. AC Dhrymes P. J.- Mathematics for Econometrics.- Springer-Verlag Penrose R. A.- Generalized Inverse for Matrices.- Cambridge Ronde Ch. A.- Special applications of the theory of Generalized Matrix Inversion.- John Hopkins Searle S. R..- Matrix Algegra Useful for Statistics.- Wiley & Sons Searle S. R..- Linear Models.- Wiley & Sons