La distribucio n normal multivariante. Estadı stica II Tema 4: Regresio n mu ltiple. Ejemplos de densidades normales en dimensio n 2

Transcripción

1 La distribucio n normal multivariante El vector aleatorio X es normal (p-dimensional) con vector de medias µ y matriz de covarianzas Σ (notacio n: X N(µ, Σ)) si tiene densidad dada por: f (x) = Σ / (π) p/ exp (x µ) Σ (x µ), x Rp Estadı stica II Tema 4: Regresio n mu ltiple Jose R Berrendero Departamento de Matema ticas Universidad Auto noma de Madrid µ= µ µ, σ σ Σ= σp µp Ejemplos de densidades normales en dimensio n Densidad de X N(µ, Σ) con µ = (, ) yσ= σ σ σp σp σp σpp Ejemplos de densidades normales en dimensio n Densidad de X N(µ, Σ) con µ = (, ) yσ=

2 Relaciona cada matriz con su conjunto de datos Estandarización multivariante 6 6 Σ = Σ = ( ) ( 7 7 ) Datos originales Un giro Σ 3 = (, 5, 5 ) Σ 4 = ( 5 ) Cambio de escala Se deshace el giro Distancia de Mahalanobis X = (X,, X p ) población con media µ y covarianzas Σ La distancia de Mahalanobis de un punto x a µ es: d M (x, µ) := (x µ) Σ (x µ) = Σ / (x µ) Distancia de Mahalanobis frente a otras distancias d M es adimensional d M tiene en cuenta las diferentes variabilidades (varianzas) de las variables 3 d M tiene en cuenta las correlaciones entre las variables 4 Para poblaciones normales se distribuye como una χ p 5 d M se corresponde con la distancia usual (eucĺıdea) entre los datos estandarizados (de forma multivariante) Ejemplo Σ = [, 5 ] [, Σ, =, 4 ] [, R = d M (x, y) = (x y) Σ (x y) =, (x y ) + 4(x y ) d E (A, O) = d E (B, O), d M (A, O) > d M (B, O) d M tiene en cuenta la diferente variabilidad de las variables A O B ]

3 Ejemplo Σ = [ ] [, Σ, 3, =,, 3 A ] [, 6, R =, 6 B ] Distancias de Mahalanobis para datos normales 3 3 d M = (x µ) Σ (x µ) d E (A, O) = d E (B, O) d M (A, O) > d M (B, O) d M incluye la correlación O Distancias de Mahalanobis para datos normales Estadísticos descriptivos para D i en el segundo ejemplo: Min st Qu Median Mean 3rd Qu Max Desviacion tipica: 9563 Comparación con la densidad χ : 3 4 Datos de la liga de fútbol 5-6 Equipo G P GF GC Barcelona RMadrid Valencia Osasuna Sevilla Celta Villarreal Deportivo Getafe AtMadrid Zaragoza 46 5 AthBilbao Mallorca Betis Espanyol RSociedad Racing Alaves Cadiz Malaga G P GF GC

4 Distancias de Mahalanobis Hist Mahalanobis Frequency La forma del histograma coincide con lo que se espera bajo normalidad (distribución χ ) La distancia de Mahalanobis media es 38 y la varianza de las distancias es 93 La mayor distancia es 9 y corresponde al Celta Cajas Mahalanobis La menor distancia es y corresponde al Deportivo Regresión múltiple Vamos a explicar el número de partidos ganados en la liga española en función del número de goles a favor y número de goles en contra Modelo: G i = β + β GF i + β GC i + ɛ i, i =,,, donde ɛ,, ɛ n son vaiid normales con esperanza y varianza σ Algunas cuestiones de interés: Estimación de los parámetros Comparación con los modelos de regresión simple Contrastes: Por ejemplo, H : β = β =, H : β + β = Medidas de influencia Análisis de residuos Salida R > reg = lm(g ~ GF + GC) > summary(reg) Coefficients: Estimate Std Error t value Pr(> t ) (Intercept) * GF *** GC *** Residual standard error: 9 on 7 degrees of freedom Multiple R-Squared: 8475, Adjusted R-squared: 896 F-statistic: 474 on and 7 DF, p-value: 4e-7 Sólo GF en el modelo: Estimate Std Error t value Pr(> t ) (Intercept) GF e-6 *** Residual standard error: 36 on 8 degrees of freedom Multiple R-Squared: 743, Adjusted R-squared: 6879 F-statistic: 488 on and 8 DF, p-value: 3739e-6

5 Extracción de información > coef(reg) (Intercept) GF GC > anova(reg) Analysis of Variance Table Response: G Df Sum Sq Mean Sq F value Pr(>F) GF e-8 *** GC *** Residuals > confint(reg) 5 % 975 % (Intercept) GF GC > vcov(reg) (Intercept) GF GC (Intercept) GF GC Tabla ANOVA en R Supongamos un modelo de regresión con, por ejemplo, k = 3 variables regresoras: x, x y x 3 Df Sum Sq Mean Sq F value x SC SC SC /MCE x SC SC SC /MCE x3 SC 3 SC 3 SC 3 /MCE Residuals n k SCE MCE = SCE/(n k ) SC = SCE SCE, donde (M ) es Y = β + ɛ y (M) es Y = β + β x + ɛ SC = SCE SCE, donde (M ) es Y = β + β x + ɛ y (M) es Y = β + β x + β x + ɛ SC 3 = SCE SCE, donde (M ) es Y = β + β x + β x + ɛ y (M) es Y = β + β x + β x + β 3 x 3 + ɛ Elipses de confianza Elipses de confianza para (β, β ) correspondientes a los nivles α = 95, α = 9 y α = 5 Tabla ANOVA para comparar dos modelos > anova(reg,reg) Analysis of Variance Table GC Model : G ~ GF Model : G ~ GF + GC ResDf RSS Df Sum of Sq F Pr(>F) *** F = SCE SCE p SCE n k = = 596 GF

6 Modelo Variables introducidas Variables eliminadas Método gc, gf a Introducir a Todas las variables solicitadas introducidas Salida SPSS b Variable dependiente: g Colinealidad: ejemplo Resumen del modelo b Modelo R R cuadrado R cuadrado corregida Error típ de la estimación,9 a,848,83,87 a Variables predictoras: (Constante), gc, gf b Variable dependiente: g Modelo Regresión Residual Total a Variables predictoras: (Constante), gc, gf b Variable dependiente: g Modelo (Constante) gf gc a Variable dependiente: g ANOVA b Suma de Media cuadrados gl cuadrática F Sig 469,3 34,656 47,43, a 84, , ,75 9 Coeficientes a Coeficientes no estandarizados Coeficientes estandarizad os B Error típ Beta t Sig 3,85 4,84,86,,54,5,57 4,933, -,56,64 -,463-3,995, library(mass) x = mvrnorm(,c(,),matrix(c(,99,99,),)) x = x[,] x = x[,] y = x + x + rnorm() print(round(cbind(y,x,x),)) y x x [,] x [,] [3,] [4,] [5,] [6,] [7,] [8,] [9,] [,] [,] [,] [3,] [4,] [5,] [6,] [7,] [8,] [9,] [,] - 5 pairs(cbind(x,x,y)) x y > reg = lm(y~x+x) > summary(reg) Call: lm(formula = y ~ x + x) Coefficients: Estimate Std Error t value Pr(> t ) (Intercept) x x Residual standard error: 843 on 7 degrees of freedom Multiple R-Squared: 836, Adjusted R-squared: 88 F-statistic: 3968 on and 7 DF, p-value: 3945e-7 # regsimple = lm(y~x) summary(regsimple) Call: lm(formula = y ~ x) Coefficients: Estimate Std Error t value Pr(> t ) (Intercept) x e-8 *** Residual standard error: 833 on 8 degrees of freedom Multiple R-Squared: 8, Adjusted R-squared: 8 F-statistic: 86 on and 8 DF, p-value: 387e-8 Página Análisis de influencia: ejemplo Experimento para estudiar la cantidad de cierto medicamento en el hígado de una rata, tras recibir una dosis oral La dosis recibida fue de 4 mg por kg de peso corporal Tras cierto tiempo se sacrifican las ratas y se mide la cantidad de medicamento en su hígado Hay 9 observaciones, tres variables regresoras y una variable respuesta: BodyWt: Peso de la rata en g LiverWt: Peso del hígado en g Dose: Dosis relativa recibida por la rata (fracción de la máxima dosis DrugInLiver: Proporción de la dosis en el hígado Modelo: DrugInLiver = β + β BodyWt + β LiverWt + β 3 Dose + ɛ

7 Diagramas de dispersión Regresión múltiple y regresiones simples BodyWt LiverWt Estimate Std Error t value Pr(> t ) (Intercept) BodyWt Estimate Std Error t value Pr(> t ) (Intercept) LiverWt Dose DoseInLiver Estimate Std Error t value Pr(> t ) (Intercept) Dose Estimate Std Error t value Pr(> t ) (Intercept) BodyWt LiverWt Dose Observaciones Las tres regresiones simples muestran ausencia de relación entre la respuesta y las variables (también el gráfico) La regresión múltiple, sin embargo, indica que conjuntamente BodyWt y Dose son significativas Lo mismo ocurre si eliminamos LiverWt del modelo Pero BodyWt y Dose miden esencialmente lo mismo Por qué se produce la paradoja? Potencial de un punto El potencial (leverage) de un punto, h i, es el correspondiente elemento de la diagonal matriz sombrero H Los potenciales determinan la varianza de los residuos: Var(e i ) = σ ( h i ) El potencial está estrechamente relacionado con la distancia de Mahalanobis: h i = n + n d M (x i, x) Aquí, x i y x no incluyen la coordenada (igual a uno) correspondiente a β Interpretación del potencial: Por debajo de, el potencial es bajo; valores entre y 5 pueden ser peligrosos; los puntos cuyo potencial es superior a 5 deben ser analizados

8 Distancia de Cook La distancia de Cook mide cómo cambia el vector de estimadores ˆβ cuando se elimina cada observación Para ello, se utiliza la distancia de Mahalanobis (estandarizada) entre ˆβ y ˆβ(i) Si recordamos que la matriz de covarianzas de ˆβ se puede estimar con S R (X X ), tenemos que la distancia de Cook es: D i = [ ˆβ ˆβ(i)] X X [ ˆβ ˆβ(i)] (k + )S R Algunas propiedades de D i Para calibrar los valores obtenidos se compara con las tablas de la distribución F k+,n k En general observaciones tales que D i pueden ser relevantes Se puede escribir en términos de los valores ajustados: D i = n j= (Ŷ j (i) Ŷ j ) (k + )S R También está relacionado con el potencial y los residuos: h i D i = k + r i, h i donde r i = e i /(S R hi ) son los residuos estandarizados Medidas de influencia con R Análisis de influencia en el ejemplo Sea reg el resultado de un ajuste mediante el comando lm Para calcular las principales medidas de influencia relacionadas con el ajuste se usan los comandos siguientes: cooksdistance(reg): Distancias de Cook rstandard(reg): Residuos estandarizados rstudent(reg): Residuos estudentizados hatvalues(reg): h ii (elementos de la diagonal de H = X (X X ) X ) Potencial Distancia de Cook

9 Análisis de influencia en el ejemplo BodyWt LiverWt Dose DoseInLiver Resultados sin la tercera observación Coefficients: Estimate Std Error t value Pr(> t ) (Intercept) BodyWt[-3] LiverWt[-3] Dose[-3] Residual standard error: 785 on 4 degrees of freedom Multiple R-squared: 6, Adjusted R-squared: -887 F-statistic: 4 on 3 and 4 DF, p-value: 9585 Una única observación hace que cambien totalmente las conclusiones respecto a si las variables son o no significativas