Métodos Estadísticos Multivariados

Transcripción

1 Métodos Estadísticos Multivariados Victor Muñiz ITESM Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

2 Partial Least Squares Regression Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

3 Introducción Consideremos el modelo de regresión lineal múltiple con X de N p y Y de N K. La solución está dada por Y = XB + E (1) ˆB = (X T X) 1 X T Y (2) Algunos problemas que pueden encontrarse en X T X: Es singular debido a que p > N, por ejemplo, en imágenes. Es singular debido a colinearidad entre las variables. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

4 Introducción Una solución es eliminar variables redundantes o reducir su efecto mediante regularización (por ejemplo, LASSO). Los métodos de encogimiento (shrinkage methods) proporcionan una solución a este problema. En estos métodos la dimensión del problema se reduce sustituyendo las variables originales por un conjunto reducido de componentes obtenidas mediante combinaciones lineales de las originales, luego, la regresión se realiza en estas nuevas componentes obtenidas. Ejemplos: Ridge Regression (RR), Principal Component Regression (PCR) (PCR) y Partial Least Squares Regression (PLS). PCR y PLS utilizan un número pequeño de combinaciones lineales Z m, m = 1,... M de las variables originales, que son usadas como las variables para realizar la regresión. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

5 PCR Consideremos la descomposición SVD de X centrada: X = UΛV T (3) con U y V ortogonales de N p y p p respectívamente. Λ diagonal de p p que contiene los valores propios (no negativos y en forma descendente) de X. Las columnas de entrada se forman mediante z m = Xv m. Luego se realiza la regresión de y en z 1, z 2,..., z M para algún M p. Se obtienen una secuencia de modelos de regresión ŷ 0... ŷ M. Como las z s son ortogonales, la regresión es la suma de regresiones univariadas: donde ˆθ m = z m, y / z m, z m. ŷ = ȳ + M ˆθ m z m (4) m=1 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

6 PLS Al igual que PCR, construye un conjunto de combinaciones lineales de las variables de entrada, pero además de usar X, usa también y para construirlas. Algoritmo PLS: Standardize each xj to have mean zero and variance one. Set ŷ (0) = 1ȳ and x (0) j = x j, j = 1,... p. for m = 1, 2..., p z m = p j=1 ˆϕ m,jx (m 1) j, where ˆϕ m,j = x (m 1) j, y. ˆθm = z m, y / z m, z m ŷ (m) = ŷ (m 1) + ˆθ mz m Orthogonalize each x (m 1) j with respect to z m Output the sequence of fitted vectors {ŷ (m) } p 1. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

7 Análisis de PCR y PLS (Frank y Friedman, 1993) PLS y PCR tratan de obtener los coeficientes de regresión lejos de las soluciones dadas por mínimos cuadrados ordinarios (OLS) hacia direcciones de mayor dispersión en el espacio de los predictores. Análisis: construir un espacio m dimensional del espacio p dimensional original para realizar la regresión, con la restricción: β = M β k α k m=1 con {α k } M 1 expandiendo el subespacio y α 2 = 1. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

8 Análisis de PCR y PLS (Frank y Friedman, 1993) Para OLS: Para PCR: α OLS = máx α corr2 (y, Xα) (5) s. a. α 2 = 1 α m (PCR) = máx var(xα) (6) α s. a. α 2 = 1 v T l Sα = 0, l = 1,..., m 1 Para PLS: α m (PLS) = máx α corr2 (y, Xα)var(Xα) (7) s. a. α 2 = 1 ˆϕ T l Sα = 0, l = 1,..., m 1 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

9 Análisis de PCR y PLS (Frank y Friedman, 1993) El criterio OLS (5) es invariante a la escala de la combinación lineal Xα y proporciona estimadores insesgados. Los criterios asociados a PCR y PLS incluyen la escala de Xα mediante su varianza muestral, por lo tanto producen estimaciones sesgadas. El efecto de este sesgo es empujar la solución lejos de la solución OLS hacia direcciones donde los datos proyectados (predictores) tengan amplia dispersión, es decir, hacia valores mayores de var(xα). El grado de este sesgo está controlado por M, la dimensión del subespacio restringido construido. En PLS además, depende en forma conjunta de la estructura de covarianza de X y la solución de OLS, que a su vez depende de los valores de las variables de respuesta. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

10 Análisis de PCR y PLS (Frank y Friedman, 1993) Una conclusión de Frank y Friedman es que la propiedad común de PCR y PLS sirve principalmente para reducir la varianza de sus estimaciones. En PLS los aspectos de varianza tienden a dominar y PLS se comporta muy parecido a PCR. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

11 Análisis de PCR y PLS (Frank y Friedman, 1993) Un ejemplo (en R para verlo en clase...) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

12 PLS multirespuesta las variables de respuesta Y y los predictores X son agrupados en bloques (Wold, 1984) y son tratados de manera común en forma más o menos simétrica. Una matriz de rango R puede escribirse como una suma de R matrices de rango 1 y a su vez, cada una de estas matrices de rango 1 pueden escribirse como el producto de dos vectores: un vector de scores y un vector de loadings. X = φ 1 p T φ R p T R = ΦP T Partiendo de SVD: X = ΦP T + E (8) donde Φ = UΛ es la matriz de scores, P = V es la matriz de loadings y E es la matriz de residuales. Para Y: Y = ΩQ T + F (9) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

13 PLS multirespuesta Puede mostrarse que PLS busca pesos (φ, ω) tales que (Frank y Friedman, 1993): cov(φ, ω) = máx cov(xg, Yh) (10) g 2 = h 2 =1 Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

14 PLS multirespuesta Algoritmo PLS-C2A Center and standardize X and Y m = 1 X m = X, Y m = Y Compute the first pair of singular vectors of X T m Y m: g m and h m. φm = X mg m ωm = Y mh m Regress X m on φ m, Y m on ω m obtaining rank-one approximations of the data matrices: ˆX m(φ m) = φ mp T m Ŷ m(ω m) = ω mq T m where p T m = (φt m φm) 1 X mφ m and q T m = (ωt m ωm) 1 Y mω m are the regression coefficients. Substract the rank-one approximations to obtain remainder matrices: X m+1 = ˆX m ˆX m(φ m) Y m+1 = Ŷ m Ŷ m(ω m) IF X T m+1 Y m+1 = 0 EXIT ELSE m = m + 1, Go to step 4 Después de cada iteración se actualizan Φ, Ω, G, H, P y Q Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

15 PLS multirespuesta Del algoritmo obtenemos: Direcciones (o variables latentes) {φm, ω m } M 1 Matrices residuales {X m, Y m } M 1 mediante una deflación de X y Y. Vectores de coeficientes (saliences) {g m, h m } M 1 : g m cov(x m, ω m ), h m cov(y m, φ m ) (11) es decir, g m mide la importancia de X m en relación a la variable latente para Y m y h m mide la importancia de Y m en relación a la variable latente para X m. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

16 Predicción PLS puede verse como un problema de regresión ordinal con predictores (ortogonales) Φ. Es decir, predecimos mediante (los scores de) X. Relación entre los scores φ y ω: Ω = ΦD + O (12) donde D es una matriz diagonal de coeficientes: d mm = ω T mφ m /φ T mφ m. O es la matriz de residuales. Entonces, podemos escribir Y = ΦDQ T + OQ T + F (13) = ΦJ T + F donde J T = DQ T es la matriz de coeficientes de regresión y F = OQ T + F es la matriz de residuales. Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

17 Predicción Para la regresión, (13) se redefine en términos de los predictores originales X utilizando la siguiente relación (R. Manne, 1987): Φ = XG ( P T G ) 1 donde P es la matriz de loadings de X. Utilizando esta relación y sustituyendo en (13) obtenemos: Y = XB + F (14) donde B = G ( P T G ) 1 Φ T Y (15) Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

18 Ejemplo: Imágenes funcionales del cerebro Esquema Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19

19 Ejemplo: Imágenes funcionales del cerebro Estudio PET rcbf para comparar decodificación y reconocimiento de rostros: 10 sujetos 10 tareas para realizar face matching y encoding matching. Lo veremos en clase Victor Muñiz (ITESM) Métodos Estadísticos Multivariados Agosto-Diciembre / 19