Métodos Estadísticos Multivariados

Transcripción

1 Métodos Estadísticos Multivariados Victor Muñiz ITESM Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

2 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

3 Una técnica para analizar la relación entre una variable dependiente y varias variables independientes. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

4 Una técnica para analizar la relación entre una variable dependiente y varias variables independientes. Consideremos un conjunto de n observaciones y (respuesta), las cuales suponemos, dependen de cierta cantidad d de variables x (predictores) que consideramos fijas. En el modelo de regresión clásico, cada respuesta y como una función lineal de las x s mas un error aleatorio ɛ: y 1 = β 0 + β 1 x 11 + β 2 x β d x 1d + ɛ 1 y 2 = β 0 + β 1 x 21 + β 2 x β d x 2d + ɛ 2... y n = β 0 + β 1 x n1 + β 2 x n2 + + β d x nd + ɛ n Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

5 O en forma más compacta como y 1 y 2. y n y = Xβ + ɛ (1) 1 x 11 x 12 x 1d β 0 ɛ 1 = 1 x 21 x 22 x 2d β ɛ 2., 1 x n1 x n2 x nd β n ɛ n donde hacemos los siguientes supuestos: E(ɛ) = 0 cov(ɛ) = σ 2 I Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

6 Los anteriores supuestos implican que: Ey = Xβ, es decir, el modelo es lineal y no se necesitan más términos para predecir y. Cualquier otra variación en y es aleatoria. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

7 Los anteriores supuestos implican que: Ey = Xβ, es decir, el modelo es lineal y no se necesitan más términos para predecir y. Cualquier otra variación en y es aleatoria. cov(y) = σ 2 I, lo que implica que las y s están decorrelacionadas, consecuencia de que los errores también tienen esta característica. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

8 Cómo estimar los parámetros β? Mínimos cuadrados Máxima verosimilitud (supuestos distribucionales en ɛ) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

9 Cómo estimar los parámetros β? Mínimos cuadrados Máxima verosimilitud (supuestos distribucionales en ɛ) Resultado (Estimación por mínimos cuadrados) Sea X una matriz de rango completo d + 1 n, entonces, la estimación por mínimos cuadrados de β está dada por La demostración en clase... ˆβ = (X T X) 1 X T y Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

10 Estimación por máxima verosimilitud Supongamos que ɛ N (0, Σ) e independiente de X, la log-verosimilitud para y está dada por (recordar notas anteriores): l(β, Σ) = n 2 log 2πΣ 1 2 tr(y Xβ)Σ 1 (y Xβ) T Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

11 Resultado Los estimadores de máxima verosimilitud, según la función de log-verosimilitud dada anteriormente están dados por donde P = I X(X T X) 1 X T La demostración en clase... ˆβ = (X T X) 1 X T y ˆΣ = 1 n (yt Py)I Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

12 Algunos resultados importantes sobre el modelo de regresión lineal. Resultado El estimador ˆβ es insesgado para β Cov(ˆβ) = σ 2 (X T X) 1 E(ˆɛ) = 0, Cov(ˆɛ) = σ 2 (I H), donde H = X(X T X) 1 X T es la llamada hat matrix. Recuerda que ˆɛ = y ŷ. E(SSE) = E(ˆɛ T ˆɛ) = σ 2 (n q 1), donde q d, y d es la dimensión de x. Define s 2 = SSE n q 1, entonces s2 es un estimador insesgado de σ 2. Si asumimos que ɛ N (0, σ 2 I), el estimador por mínimos cuadrados para β es también el estimador de máxima verosimilitud. Bajo el supuesto anterior, ˆβ y ˆɛ son normales multivariadas e independientes. Las demostraciones se incluirán en la tarea (son fáciles) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

13 Algunos resultados importantes sobre el modelo de regresión lineal. Resultado (Gauss-Markov) Considera el modelo de regresión lineal (1) y los supuestos dados sobre el modelo. El estimador por mínimos cuadrados ˆβ es de varianza mínima entre todos los estimadores lineales insesgados. Para una demostración, ver Multivariate Analysis de Mardia, Kent & Bibby, Academic Press.2 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

14 Observa también que, como el modelo es lineal en los coeficientes β, podemos incluir transformaciones de las variables de entrada x, por ejemplo, x t para cualquier t o (x ij ) (x ik ). Nuestra matriz de covariables (o matriz de diseño) será entonces de la forma 1 x 11 x 12 x 1q 1 x 21 x 22 x 2q X = x n1 x n2 x nq para q 1 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

15 El esquema general para el análisis de regresión múltiple podriamos escribirlo en la siguiente forma: 1 Crear la matriz de diseño X apropiada. 2 Estimar los coeficientes de regresión ˆβ y la varianza σ 2. 3 Verificar el impacto de cada variable (a través de su coeficiente respectivo) en la respuesta y. 4 Verificar el ajuste del modelo. 5 Seleccionar el modelo adecuado ( podemos reducir el número de variables predictoras?). Usualmente esto requiere algunas iteraciones entre el paso anterior y este. 6 Realizar predicciones de nuevas observaciones. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

16 1. Crear la matriz de diseño X apropiada. Podemos empezar con las variables con las que disponemos y utilizar métodos exploratorios para verificar las relaciones entre las covariables y las respuestas (scatterplot matrix, boxplots, etcétera). Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

17 1. Crear la matriz de diseño X apropiada. Podemos empezar con las variables con las que disponemos y utilizar métodos exploratorios para verificar las relaciones entre las covariables y las respuestas (scatterplot matrix, boxplots, etcétera). Es lógico suponer interacciones entre las variables? Podria mejorar esto el ajuste? Son lógicas las interacciones? Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

18 1. Crear la matriz de diseño X apropiada. Podemos empezar con las variables con las que disponemos y utilizar métodos exploratorios para verificar las relaciones entre las covariables y las respuestas (scatterplot matrix, boxplots, etcétera). Es lógico suponer interacciones entre las variables? Podria mejorar esto el ajuste? Son lógicas las interacciones? Por supuesto, para contestar lo anterior hace falta ajustar un modelo tomando en cuenta las interacciones, pero la persona que investiga el fenómeno puede recurrir a su experiencia e información apriori para responder algunas de estas preguntas. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

19 2. Estimar los coeficientes de regresión ˆβ y la varianza σ 2. Ya vimos usando mínimos cuadrados obtenemos el mejor estimador para β. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

20 2. Estimar los coeficientes de regresión ˆβ y la varianza σ 2. Ya vimos usando mínimos cuadrados obtenemos el mejor estimador para β. También tenemos un estimador insesgado para σ 2 = SSE n q 1 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

21 3. Verificar el impacto de las variables en la respuesta y. Un aspecto importante respecto al impacto de las variables es averiguar primero si estas nos ayudan a predecir y, considerandolas todas en conjunto. Usando el supuesto de normalidad en los errores, podemos establecer una prueba de hipótesis al respecto, junto con su estadístico de prueba correspondiente. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

22 3. Verificar el impacto de las variables en la respuesta y. Un aspecto importante respecto al impacto de las variables es averiguar primero si estas nos ayudan a predecir y, considerandolas todas en conjunto. Usando el supuesto de normalidad en los errores, podemos establecer una prueba de hipótesis al respecto, junto con su estadístico de prueba correspondiente. Partiendo de la definición de SSE podemos expresar la suma de cuadrados total (SST) alrededor de la media como donde SST = y T y nȳ 2 SST = SSR + SSE SSR = (ŷ nȳ 2 ) = ( ˆβ T X T y nȳ 2 ), es la suma de cuadrados de la regresión y SSE es la suma de cuadrados del error. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

23 3. Verificar el impacto de las variables en la respuesta y. Ahora, para probar la hipótesis podemos usar el estadístico F = H 0 : β = 0, SSR/q SSE/(n q 1), el cual puede mostrarse que tiene una distribución de probabilidad F q,n q 1 bajo la hipótesis nula. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

24 3. Verificar el impacto de cada variable en la respuesta y. Si suponemos que los errores ɛ son iid con distribución normal, podemos obtener un estadístico para la prueba de hipótesis: H 0 : β i = 0 para i = 1, 2,..., q Bajo el supuesto de normalidad en los errores (van a mostrar que), los coeficientes ˆβ tienen una distribución normal multivariada con matriz de covarianzas S β = s 2 (X T X) 1, por lo tanto, s ˆβ = diag(s β ) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

25 3. Verificar el impacto de cada variable en la respuesta y. Si suponemos que los errores ɛ son iid con distribución normal, podemos obtener un estadístico para la prueba de hipótesis: H 0 : β i = 0 para i = 1, 2,..., q Bajo el supuesto de normalidad en los errores (van a mostrar que), los coeficientes ˆβ tienen una distribución normal multivariada con matriz de covarianzas S β = s 2 (X T X) 1, por lo tanto, s ˆβ = diag(s β ) También, puede mostrarse que ˆβ i β i s ˆβ i t n q 1, bajo la hipótesis nula, es decir, cuando β i = H 0. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

26 3. Verificar el impacto de cada variable en la respuesta y. Si suponemos que los errores ɛ son iid con distribución normal, podemos obtener un estadístico para la prueba de hipótesis: H 0 : β i = 0 para i = 1, 2,..., q Bajo el supuesto de normalidad en los errores (van a mostrar que), los coeficientes ˆβ tienen una distribución normal multivariada con matriz de covarianzas S β = s 2 (X T X) 1, por lo tanto, s ˆβ = diag(s β ) También, puede mostrarse que ˆβ i β i s ˆβ i t n q 1, bajo la hipótesis nula, es decir, cuando β i = H 0. Esta prueba de hipótesis ya la conocemos! Recuerden los intervalos de confianza simultáneos. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

27 4. Verificar el ajuste del modelo Una medida para verificar qué tan bien se ajusta nuestro modelo está dada por la cantidad de variación que es explicada por nuestro modelo. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

28 4. Verificar el ajuste del modelo Una medida para verificar qué tan bien se ajusta nuestro modelo está dada por la cantidad de variación que es explicada por nuestro modelo. Recordemos que, la predicción más sencilla (y la menos exacta también) que podemos hacer sobre y es mediante el promedio, si es que no tuvieramos ninguna otra covariable. Entonces, qué tanto mejora nuestra predicción respecto al promedio al agregar más covariables? Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

29 4. Verificar el ajuste del modelo Una medida para verificar qué tan bien se ajusta nuestro modelo está dada por la cantidad de variación que es explicada por nuestro modelo. Recordemos que, la predicción más sencilla (y la menos exacta también) que podemos hacer sobre y es mediante el promedio, si es que no tuvieramos ninguna otra covariable. Entonces, qué tanto mejora nuestra predicción respecto al promedio al agregar más covariables? ŷ nȳ 2 y T y nȳ 2 = SSR SST = R2 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

30 4. Verificar el ajuste del modelo Una medida para verificar qué tan bien se ajusta nuestro modelo está dada por la cantidad de variación que es explicada por nuestro modelo. Recordemos que, la predicción más sencilla (y la menos exacta también) que podemos hacer sobre y es mediante el promedio, si es que no tuvieramos ninguna otra covariable. Entonces, qué tanto mejora nuestra predicción respecto al promedio al agregar más covariables? ŷ nȳ 2 y T y nȳ 2 = SSR SST = R2 La medida R 2 es llamado coeficiente de determinación. También puede escribirse como R 2 = 1 SSE SST, y nos da la proporción de la variación total en la respuesta atribuible a la introducción de los predictores X Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

31 4. Verificar el ajuste del modelo R 2 ajustada: Una medida de ajuste que toma en cuenta los grados de libertad de la variación y evita dar una medida alta de ajuste R 2 que podria deberse, por ejemplo, a introducir más covariables en el modelo R 2 adj = 1 MSE MST donde, MSE y MST son los errores cuadrados promedio según la tabla anova: Source df SS MS Total n 1 SST MST = SST /n 1 Regression q SSR MSR = SSR/q Residual n q 1 SSE MSE = SSE/n q 1 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

32 5. Seleccionar el modelo adecuado Supongamos que tenemos un modelo reducido, denotado por β r, y un modelo con todas las variables, donde hay algunas de ellas que queremos eliminar, el cual denotaremos con β d. Entonces β = (β r, β d ) T, y queremos probar H 0 : β d = 0 Para esto, ajustamos el modelo con todas las variables y el modelo reducido. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20

33 5. Seleccionar el modelo adecuado El modelo reducido es y = X r β r + (ɛ y hacemos la comparación ˆβ T X T y = ˆβ T r X T r y = SSR F SSR r La prueba de hipótesis se realiza mediante F = SSR F SSR r /h SSE F /(n q 1) F h,n q 1, donde h es el número de parámetros a eliminar Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 20