Tema 3. El modelo lineal general multivariante

Transcripción

1 Máster en Técnicas Estadísticas Análisis Multivariante. Año Profesor: César Sánchez Sellero. Tema 3. El modelo lineal general multivariante 3.1. Presentación del modelo. En este tema vamos a tratar el modelo lineal general cuando la variable respuesta es multidimensional. Por lo demás seguimos en un modelo de diseño jo, esto es, la variable explicativa no se considera aleatoria. Asimismo, la variable explicativa puede ser multidimensional. El modelo queda formulado de esta manera: Y = XB 0 + U siendo EU = 0. En esta expresión del modelo lineal ahora permitimos que Y sea una matriz de respuestas, donde cada la representa a un individuo y cada columna a una variable. Desplegando las matrices quedaría: Y 11 Y 1d Y n1 Y nd = x 11 x 1p x n1 x np β 11 β 1d β p1 β pd + U 11 U 1d U n1 U nd Nótese que si d = 1 obtenemos el modelo lineal con respuesta univariante estudiado en la asignatura "Modelos de regresión" Estimación de los parámetros. Pretendemos estimar la matriz de parámetros B 0 y lo vamos a plantear desde el método de los mínimos cuadrados. En tal caso, escogeremos como estimador aquella matriz que produzca unos residuos "más pequeños". En el caso univariante ésto se medía a través de la suma de cuadrados de los residuos, pero ahora nos enfrentamos a una matriz de residuos o, para ser más precisos, a n vectores ddimensionales de residuos. Denotemos Θ 0 = XB 0. Θ 0 contiene las medias del vector de respuestas. Entonces, para un cierto valor del parámetro B, la matriz de residuos será Y XB = Y Θ que de nuevo se puede ver como n vectores de dimensión d. Pues bien, buscamos B tal que estos n vectores sean tan pequeños como sea posible, lo cual en términos de momentos de orden dos sería: MinY Θ Y Θ En el caso de respuesta univariante Y Θ Y Θ es la suma de cuadrados, pero ahora es una matriz muy parecida a una matriz de covarianzas. Por tanto, nos aparece un nuevo problema, como es el de dotar de un orden a las matrices de covarianzas que justique la minimización. 29

2 30 Máster en Técnicas Estadísticas Denición Sean C y D dos matrices simétricas y semidenidas positivas matrices de covarianzas. Diremos que C D si C D es semidenida positiva. Entendemos esta denición al comprobar que C D será semidenida positiva cuando y sólo cuando al proyectar en cualquier dirección guiada por un vector v R d, obtenemos v t Cv v t Dv = v t C Dv 0 esto es, que la proyección de C tiene mayor momento de orden dos varianza que la proyección de D. Nótese que la relación de orden que acabamos de denir es una relación de orden parcial. Si cada individuo puede tener una media propia sin más modelo que la restrinja, Θ M n d, entonces podemos conseguir que todos los residuos valgan cero tomando ˆΘ = Y. Si el modelo consiste en que todos los individuos tienen la misma media, entonces Θ {θ,..., θ : θ R d } se estima mediante la media muestral: Ȳ 1 Ȳ d ˆΘ = Ȳ 1 Ȳ d que a su vez es el estimador mínimo-cuadrático. Nuestra situación es intermedia, pues hay un modelo lineal que nos exige que Θ = XB, esto es, que Θ pertenezca al espacio de funciones lineales de las variables explicativas. La solución a este problema en el caso de respuesta univariante consistía en considerar la matriz de proyección ortogonal sobre dicho espacio: P Ω = X X X 1 X siendo Ω = R[X] el espacio lineal generado por las columnas de X. De este modo, los estimadores por mínimos cuadrados resultaban de proyectar el vector de respuestas sobre dicho espacio ˆΘ = P Ω Y = X X X 1 X Y = X ˆB ˆB = X X 1 X Y Vamos a ver que con esta misma expresión obtenemos el estimador por mínimos cuadrados con respuesta multivariante. En denitiva, que el problema multivariante se puede resolver a través de los d problemas univariantes dados por las d columnas de Y, Θ y B. Así, para cualquier otro valor de Θ R[X] podemos expresar Y Θ Y Θ = + ˆΘ Θ + ˆΘ Θ = + ˆΘ Θ ˆΘ Θ ya que ˆΘ Θ = P Ω Y P Ω Θ Y P Ω Y = Y Θ P Ω I n P Ω Y = 0 De esta manera, Y Θ Y Θ = ˆΘ Θ ˆΘ Θ

3 Análisis Multivariante 31 que es una matriz semidenida positiva, y esto para cualquier valor de Θ. Entonces, con la relación de orden que hemos denido, la matriz Y Θ Y Θ alcanza su mínimo en Θ = ˆΘ. Por último, si suponemos que los n vectores de error tienen una matriz de covarianzas común Σ de orden d d, podemos considerar como estimador de Σ: ˆΣ = E n p = n p Ejemplo 3.1 Vamos a ilustrar el modelo lineal multivariante y la estimación de los parámetros, mediante el siguiente ejemplo simulado. Consideramos dos variables explicativas con la siguiente distribución: X 1 y X 2 tienen distribución uniforme en el intervalo [0, 1] y son independientes. Consideramos dos variables respuesta, construidas de la siguiente manera: siendo U1 U 2 Y 1 = 1 + 2X 1 + X 2 + U 1 Y 2 = 3 + X 1 X 2 + U 2 0 N , 1 2 Vamos a extraer diez observaciones de este modelo, y en base a ellas estimar los coecientes de regresión y la matriz de covarianzas del error. Después podemos cambiar el número de observaciones aumentando de 10 a 100, y comprobar la mejoría de las estimaciones Propiedades de los estimadores. Suponemos que EU = 0. Entonces vemos que ˆΘ es un estimador insesgado de Θ 0 E ˆΘ = E P Ω Y = P Ω EY = P Ω Θ 0 = Θ 0 y que también ˆB es un estimador insesgado de B 0 E ˆB = X X 1 X EY = X X 1 X XB 0 = B 0 Suponemos que las las de U son incorrelacionadas, tienen media cero y matriz de covarianzas común Σ = σ jk j,k {1,...,d}. Vamos a calcular la matriz de covarianzas de los vectores de coecientes estimados ˆβ j = ˆβ 1j,..., ˆβ pj y ˆβ k = ˆβ 1k,..., ˆβ pk, con j, k {1,..., d}: Cov ˆβj, ˆβ k X = Cov X 1 X Y j, X X 1 X Y k = X X 1 X σ jk I n X X X 1 = σjk X X 1 ya que la matriz de covarianzas de las columnas j-ésima y k-ésima de Y es Cov Y j, Y k = σ jk I n

4 32 Máster en Técnicas Estadísticas Teorema 3.1 Sea Y = Θ 0 + U, donde las las de U están incorrelacionadas, tienen media cero y matriz de dispersión común Σ, y Θ 0 = θ 1,..., θ d. Sean φ = d j=1 b j θj y ˆΘ el estimador por mínimos cuadrados de Θ 0, sujeto a que las columnas pertenecen a Ω = R[X]. Entonces ˆφ = d j=1 b j ˆθ j es el estimador lineal insesgado de φ con varianza mínima. A continuación, vemos que ˆΣ = E/n p es un estimador insesgado de Σ. En el paso a usamos que ˆΘ = P Ω Y, en el paso b esgrimimos que P Ω Θ 0 = Θ 0 y en el paso c denotamos mediante u i a la la i-ésima de U: E = a = Y I n P Ω Y b = Y Θ 0 I n P Ω Y Θ 0 Entonces, = U I n P Ω U c = u 1,..., u n I n P Ω = n i 1 =1 i 2 =1 EE = n I n P Ω i1,i 2 u i1 u i 2 n i 1 =1 i 2 =1 u 1. u n n I n P Ω i1,i 2 δ i1,i 2 Σ = traza I n P Ω Σ = n pσ Teorema 3.2 Supongamos que las las de U son independientes y tienen distribución común N d 0, Σ, y X es una matriz n p de rango p. Entonces ˆB tiene distribución normal de media y matriz de covarianzas según hemos calculado. ˆB y E = son independientes. E Wishart d Σ, n p Demostración Bajo las hipótesis de este teorema la matriz Y tiene distribución normal múltiple. Recordamos que ˆB = X X 1 X Y donde la matriz X X 1 X es de orden p n y de rango p. En estas condiciones ˆB tiene distribución normal cuya media y matriz de covarianzas ya han sido calculadas anteriormente. Consideremos Z = I n P Ω Y, que de hecho Z contiene los residuos de la regresión. Observamos que X X 1 X I n P Ω = 0, ya que I n P Ω X = 0, por ser P Ω la matriz de proyección ortogonal sobre el espacio generado por las columnas de X. Entonces deducimos que ˆB y Z son independientes.

5 Análisis Multivariante 33 Por otro lado, podemos ver que E = Z Z y por tanto ˆB y E son independientes. Y para terminar, escribimos E de esta manera: E = U I n P Ω U y recordamos que las las de U son independientes y tienen distribución común N d 0, Σ. Dado que la matriz I n P Ω es simétrica, idempotente y de rango n p, concluimos que E Wishart d Σ, n p Teorema 3.3 Bajo el modelo del teorema anterior, con n p d, ˆΘ = X ˆB 1 y ˆΣ = n E = 1 Y n ˆΘ son los estimadores de máxima verosimilitud de Θ y Σ, respectivamente Restricciones lineales: Estimación y contrastes. Dado el modelo Y = Θ + U = XB + U, supongamos que queremos estimar B sujeto a que H 0 : AB = C siendo A una matriz conocida q p de rango q p, y C una matriz conocida de orden q d. En estas circunstancias, si buscamos un estimador de mínimos cuadrados bajo restricciones, nos hallamos ante el problema de optimización miny XB } Y XB sujeto a H 0 : AB = C La resolución de este problema sigue un camino similar al empleado en el caso univariante, y de hecho el estimador adopta la forma: ˆB H = ˆB X X [ 1 A A X X ] 1 1 A A ˆB C La matriz de covarianzas residual se obtiene así: E H = H H = Y X ˆB H Y X ˆB H El siguiente objetivo será el contraste de la hipótesis nula H 0 : AB = C. Para ello, será de utilidad el siguiente resultado. Teorema 3.4 a E H E = A ˆB C [A X X ] 1 1 A A ˆB C

6 34 Máster en Técnicas Estadísticas b Si H 0 : AB = C es cierta, entonces E Wishart d Σ, n p, H = E H E Wishart d Σ, q y además son independientes. A continuación exponemos diversos planteamientos para efectuar el contraste. Extensión del univariante Imitando las ideas que conducen al test F en el caso univariante, buscamos un estadístico que compare las matrices de covarianzas debidas al error, E, y a la hipótesis que queremos contrastar, H. Así, obtenemos el estadístico de contraste E E + H = E Λd, q, n p E H que tiene la distribución indicada cuando la hipótesis nula es cierta. Esto se deduce del teorema anterior y la denición de la distribución Λ de Wilks. Rechazaremos la hipótesis nula cuando la matriz de covarianzas debida a la hipótesis, H, sea grande en comparación con la matriz de covarianzas debida al error, E, o lo que es lo mismo, cuando el estadístico Λ de Wilks anterior sea pequeño. Así, si el nivel de signicación adoptado es α, rechazaremos la hipótesis nula cuando el estadístico sea inferior al cuantil α de la distribución Λd, q, n p. Procedimiento de unión-intersección Recordemos qué entendemos por un test de unión-intersección. Denición Un test de unión-intersección para contrastar una hipótesis H 0 = a H 0a es un test cuya región de rechazo es de la forma R = a R a, siendo R a la región de rechazo para H 0a. Esta idea se aplica en problemas de inferencia multivariante, expresando la hipótesis multivariante como intersección de hipótesis univariantes, para las cuales ya hay tests disponibles. En nuestro caso deseamos contrastar la hipótesis nula H 0 : AB = C. Sea a R d, a 0 una dirección cualquiera, y consideremos el modelo proyectado sobre esta dirección: y = Xβ + u siendo y = Y a, β = Ba y u = Ua. Entonces u 1,..., u n N0, a Σa y son independientes. Además, H 0 = a H 0a siendo H 0a : ABa = Ca, o equivalentemente H 0a : Aβ = c, con c = Ca. Aplicamos la teoría univariante para el contraste de la hipótesis nula H 0a : Aβ = c. En tal caso, ˆβ = ˆBa, ˆβ H = ˆB H a, y las sumas residuales de cuadrados se pueden expresar así: Q = y X ˆβ y X ˆβ = a Ea Q H = y X ˆβ H y X ˆβ H = a E H a

7 Análisis Multivariante 35 y el test F adopta la forma: F a = Q H Q /q Q/n p = a Ha/q a Ea/n p F q,n p que sigue la distribución F q,n p indicada si H 0a es cierta. Por tanto, el test de unión-intersección tiene como región de aceptación para la hipótesis nula H 0 = a H 0a : { } { a } Ha {F a k a} = sup F a k = sup a a a Ea k 1 = {φ max k 1 } siendo φ max el mayor autovalor de HE 1. Aquí se ha aplicado el resultado que dice: Si A es una a matriz simétrica y D es una matriz simétrica denida positiva, entonces sup Aa a a Da = γ 1 siendo γ 1 el mayor autovalor de AD 1. Nótese que las matrices AD 1, D 1 A y D 1/2 AD 1/2 tienen los mismos autovalores. Se acepta la hipótesis nula si φ max es pequeño, y se rechaza en caso contrario. Respecto de la distribución de φ max, se han realizado bastantes trabajos encaminados a su determinación o aproximación. En ocasiones, en lugar de los autovalores de la matriz HE 1, se consideran los autovalores de HE + H 1. Para ello, es preciso tener presente el siguiente resultado. Si φ 1,..., φ d son los autovalores de HE 1, entonces son los autovalores de HE + H 1, y son los autovalores de EE + H 1. θ 1 = φ φ 1,..., θ d = φ d 1 + φ d 1 1 = 1 θ 1,..., = 1 θ d 1 + φ φ d De este modo, se obtiene un test equivalente si en lugar del mayor autovalor de HE 1, que denotamos por φ max, se considera como estadístico de contraste el mayor autovalor de HE + H 1, que entonces sería φ max θ max = 1 + φ max Como la función que produce θ max a partir de φ max es creciente, el criterio sigue siendo aceptar H 0 si θ max es pequeño y rechazar esta hipótesis si es grande. Para encontrar el valor que delimita la región crítica podemos recurrir a las tablas del estadístico θ max, como la que viene en el libro de Seber Esta tabla empieza en s = mind, q = 2, ya que para s = 1 pueden ocurrir dos cosas: d = 1, en cuyo caso nos encontramos en la situación univariante y por tanto se puede utilizar la distribución F. q = 1, en este caso aproximamos la distribución así φ max d n p d+1 F d,n p d+1.

8 36 Máster en Técnicas Estadísticas Test de razón de verosimilitudes Bajo la hipótesis nula los estimadores de máxima verosimilitud de Θ y Σ son ˆΘ H y ˆΣ H = E H /n, respectivamente, mientras que bajo la alternativa los estimadores de máxima verosimilitud son ˆΘ y ˆΣ. Entonces el estadístico de razón de verosimilitudes adopta la forma λ = L ˆΘH, ˆΣ H = L ˆΘ, ˆΣ n/2 ˆΣ H ˆΣ n/2 Así, Λ = λ 2/n = ˆΣ = E ˆΣ E H H = E d E + H = 1 = 1 + φ j=1 j d 1 θ j j=1 siendo φ 1,..., φ d los autovalores de HE 1 y θ 1,..., θ d los autovalores de HE + H 1. Si H 0 : AB = C es cierta, este estadístico sigue una distribución Λ = E Λd, q, n p E + H Nótese que este test coincide con el propuesto como extensión del univariante. Otros estadísticos de contraste Se han estudiado otro tipo de estadísticos para efectuar el contraste. Destacamos los siguientes: 1. El cociente de Wilks H d E + H = θ j suponiendo que q d j=1 2. La traza de Lawley-Hotelling Tg 2 = n ptraza HE 1 d d θ j = n p φ j = n p 1 θ j j=1 j=1 3. La traza de Pillai V s = traza [ HE + H 1] = d j=1 θ j Ejemplo 3.2 Se está realizando un estudio para establecer el efecto que producen la temperatura y la humedad sobre el desarrollo de dos especies de ácaro doméstico. Se han diseñado tres valores

9 Análisis Multivariante 37 de temperatura y tres valores de humedad, y en cada uno de ellos se ha realizado el recuento de individuos de cada especie. Los resultados guran en la tabla siguiente: Temperatura Humedad Euroglyphus Dermatophagoides en grados Celsius en porcentaje maynei pteronyssinus Vamos a ajustar un modelo de regresión lineal de los recuentos de las dos especies sobre la temperatura y la humedad. Después contrastaremos la signicación de la temperatura, esto es, si la temperatura tiene inuencia sobre el vector bivariante de recuentos, lo cual se traduce en el modelo lineal en términos de que los coecientes asociados a la temperatura valgan cero Predicción. Un modelo de regresión, ya sea con respuesta univariante o multivariante, permite, en primer lugar, estimar la media de la distribución de Y para cada valor de la variable explicativa x; en segundo lugar, prever futuros valores de la variable respuesta. Por supuesto, la variable explicativa puede ser múltiple p > 1, y en este tema además la variable respuesta también puede ser múltiple d > 1. Tanto la estimación de la media, como la predicción del valor de Y se obtienen sustituyendo en el modelo de regresión el valor de x. Por tanto, sus valores numéricos son idénticos. Sin embargo, la precisión de estas estimaciones es distinta, como veremos a continuación. Estimación de la media condicionada Supongamos que se desea estimar el valor de la media de Y cuando la variable explicativa toma cierto valor x 0. Entonces el modelo de regresión postula que dicha media será EY/X = x 0 = x 0B, y sustituyendo los valores estimados de los parámetros, resulta Ỹ 0 = x 0 ˆB Como consecuencia del Teorema 3.2 en lo que se reere a la distribución de ˆB, se puede concluir que Ỹ 0 = x ˆB 0 N d x ˆB, [ 0 x 0 X X ] 1 x0 Σ Además, usando que E W d Σ, n p, según establece el mismo teorema, un pivote para

10 38 Máster en Técnicas Estadísticas construir regiones de conanza para la media condicionada sería x ˆB 0 x 0 B E 1 x ˆB 0 x 0 B Γ 2 d, n p x 0 X X 1 n p x 0 x 0 X X 1 x 0 Predicción de una nueva observación Para predecir el valor concreto que tomará la variable Y y no sólo su media, como hacíamos antes, vamos a usar el mismo valor Ỹ0, pero debemos pensar no en cómo Ỹ0 se aproxima a la media condicionada EY/X = x 0 = x 0B, sino en cómo se aproxima a la nueva observación Y 0 = x 0 B + U 0. Es fácil ver que EỸ0 = EY 0, pero ahora debemos pensar en la siguiente distribución Ỹ 0 Y 0 N d 0, 1 + x 0 X X 1 x0 Σ y el pivote x ˆB 0 Y 0 E 1 x ˆB 0 Y 0 Γ 2 d, n p 1 + x 0 X X 1 n p x x 0 X X 1 x 0 Ejemplo 3.3 Sobre el ejemplo anterior, referido a dos especies de ácaro doméstico, realizaremos una predicción del número de individuos de cada especie para una temperatura de 22 o C y una humedad del 65%, y obtendremos una región de conanza para la estimación de la media en esas condiciones y otra para la predicción, en ambos casos con un nivel de conanza del 95%. Bibliografía. Anderson, T.W An introduction to multivariate statistical analysis. Wiley. Johnson, R.A. y Wichern, D.W Applied multivariate statistical analysis. Prentice-Hall. Mardia, K.V., Kent, J.T. y Bibby, J.M Multivariate analysis. Academic Press. Seber, G.A.F Multivariate observations. Wiley.