Análisis de Datos Análisis lineal discriminante Profesor: Dr. Wilfrido Gómez Flores 1
Introducción Para reducir el error de clasificación algunas veces es necesario identificar el subconjunto de características que aporta información discriminatoria relevante. La extracción de características es un enfoque de reducción de dimensionalidad para generar un subconjunto de nuevas características aplicando una función de mapeo a las características existentes, tal que se preserve la información o mejore la estructura del espacio original. El problema de extracción de características se define como: dado un espacio de características XX R 2 R M D, encontrar un mapeo Y xxxxxxxxxxxxxxxxx, = f(x) :R D! R E con E<D, tal que el espacio transformado Yxxxxxx 2 R E preserve la información o estructura en R M. R D 2
Introducción Dependiendo del criterio evaluado por la función de mapeo, las técnicas de extracción de características se dividen en dos categorías: Representación: mejorar la representación de los patrones de entrada en un espacio de baja dimensionalidad (análisis de componentes principales, PCA) Clasificación: mejorar la discriminación interclase en un espacio de baja dimensionalidad (análisis lineal discriminante, LDA). x 2 Representación (PCA) Clasificación (LDA) x 1 3
Análisis lineal discriminante El LDA fue desarrollado por R. A. Fisher en 1936*, también conocido como discriminante lineal de Fisher, es una técnica supervisada utilizada para clasificación de patrones en términos de reducción de dimensionalidad. Determina la combinación lineal de variables que mejor separe las clases al maximizar la relación entre las varianzas inter e intraclase. Sea X={x 1,,x N } un conjunto con N observaciones, donde cada muestra, xk = [x 1,,x D ] T, es un vector de patrones D-dimensional que pertenecen a la clase ω i, para i=1,2,,c. LDA transforma de xxxxxx, X! Y Y={y 1,,y N }, a través de la proyección de las muestras de X sobre un hiperplano con dimensión C 1. Por tanto, reduce la dimensionalidad de los datos de xx a xxxxx, de modo que para el caso de C=2 los patrones se proyectan sobre una recta. R D R C 1 *R. A. Fisher, The use of multiple measurements in taxonomic problems, Annals of Eugenics, vol. 7, no. 2, pp. 179-188, 1936. 4
Regresión lineal y proyecciones Una función de regresión lineal en el espacio 2D f (x k ;w) = w T x k, k (1) proyecta cada punto del conjunto de muestras x k en R Dd a una recta que es paralela a un vector de proyecciones w que pasa por el origen. y k x 2 x k w x 1 Un punto x k en R 2 es proyectado ortogonalmente en R como y k = w T x k. 5
Regresión lineal y proyecciones Considerando que el conjunto de datos está dividido en dos clases, si se varía el vector w se obtienen diferentes niveles de separación entre las clases de lo puntos proyectados. Optimizar la proyección indica que se debe encontrar el vector w que maximice la separación entre las clases proyectadas. LDA realiza una reducción de dimensionalidad preservando tanto como sea posible la información discriminatoria entre las clases. x 2 w x 1 x 2 w x 1 Dos vectores w que generan una mala separación (izquierda) y una separación óptima (derecha) entre dos clases proyectadas. 6
LDA para dos clases Sea y=w T x un punto proyectado que pertenece a la clase ω i, con i=1,2. Entonces, los vectores de medias para la clase ω i con N i elementos en los espacios original y proyectado son: y m i = 1 N i N i, i = 1,2 (2) k=1 x k N i!m i = 1 y N k = 1 w T x i N k i k=1 N i k=1 = w T m i (3) Para encontrar el vector de proyecciones óptimo, se puede definir una función objetivo que maximice la distancia entre las medias de las clases de los datos proyectados: J(w) = (!m 1!m 2 ) 2 (4) 7
LDA para dos clases x 2!m 1 m 1 buena separación, menor distancia m 2!m 2 distribución de los datos proyectados mayor distancia, mala separación La función objetivo J(w) basada en la distancia interclase no considera la dispersión de los datos. x 1 8
LDA para dos clases Para solucionar este inconveniente, la distancia interclase es normalizada por la dispersión intraclase como: J(w) = (!m 1!m 2 )2!s 1 2 +!s 2 2 (5) donde la varianza proyectada de la clase ω i con N i elementos es N i, i = 1,2 (6)!s i 2 = 1 N i (y k!m i ) 2 k=1 Por otro lado, la matriz de dispersión intraclase en el espacio original es S W = S 1 + S 2 (7) y se computa a partir de la matriz de covarianza de cada clase: S i = 1 N i N i (x k m i )(x k m i ) T, i = 1,2 (8) k=1 9
LDA para dos clases Entonces, la dispersión de los datos proyectados se puede definir en función de la matriz de dispersión en el espacio original como: N i N i k=1!s 2 i = (y k!m i ) 2 = (w T x k w T m i ) 2 k=1 N i k=1 = w T (x k m i )(x k m i ) T w = w T S i w, i = 1,2 por tanto!s 2 1 +!s 2 2 = w T S W w (10) De manera similar, la diferencia entre las medias proyectadas se puede expresar en términos del espacio original: (!m 1!m 2 ) 2 = (w T m 1 w T m 2 ) 2 = w T (m 1 m 2 )(m 1 m 2 ) T w = w T S B w donde S B es la matriz de dispersión interclase. (9) (11) 10
LDA para dos clases Finalmente, el discriminante lineal de Fisher en términos de S W y S B se define como: J(w) = wt S B w w T S W w (12) Para optimizar J(w) se deriva con respecto de w y se iguala a cero: J(w) w = S B w J(w)S W w = 0 y resolviendo el problema generalizado de valores propios S W 1 S B w = λw se tiene que el vector de pesos óptimo es (13) (14) w* = arg max w w T S B w w T S W w (15) 11
LDA para dos clases En el caso particular de dos clases, no es necesario resolver para los vectores propios y valores propios de S 1 W S B debido a que SBw siempre tiene en la misma pendiente que el vector m 1 m 2. Por tanto, dado que el factor de escala λ para w no es importante (sino sólo su orientación), se puede encontrar una solución inmediata para w que optimice J(w): w = S W 1 (m 1 m 2 ) (16) Por tanto, se obtiene w para el discriminante lineal de Fisher, de modo que se obtiene la máxima relación de dispersión interclase a dispersión intraclase. 12
LDA para dos clases x 2 m 1!m 1 m 2!m 2 w * Se busca la proyección donde los datos de una misma clase sean proyectados de manera compacta y al mismo tiempo que las medias proyectadas de clases distintas se encuentren lo más distante posible. x 1 13
LDA para dos clases Ejemplo: computar la proyección LDA para el siguiente conjunto de datos 2D con dos clases: ω 1 :[4,2] T,[2, 4] T,[2,3] T,[3,6] T,[4, 4] T ω 2 :[9,10] T,[6,8] T,[9,5] T,[8,7] T,[10,8] T Los estadísticos de ambas clases son: m 1 = [3.0,3.8] T y m 2 = [8.4,7.6] T S 1 = 0.80 0.20 0.20 1.76 y S 2 = 1.84 0.04 0.04 2.64 Las matrices de dispersión inter e intraclase son: S B = 29.16 20.52 20.52 14.44 y S W = 2.64 0.24 0.24 4.40 y la inversa de S W es: S W 1 = 0.38 0.03 0.03 0.22 14
LDA para dos clases Método 1: la proyección LDA se obtiene resolviendo el problema generalizado de valores propios en (14): S 1 W S B w = λw det( S 1 W S B λi ) = 0 1. Obtener las raíces del polinomio característico: det 11.52 λ 8.11 5.29 3.72 λ = 0 (11.52 λ)(3.72 λ) 42.90 = 0 λ 2 15.24λ 0.04 = 0 λ 1 = 15.24 y λ 2 = 0.00 2. Resolver el sistema de ecuaciones lineales homogéneas (S W 1 S B λi)w=0 para cada raíz: w 1 = [0.90,0.41] T y w 2 = [0.57, 0.81] T 3. Maximizar el discriminante lineal de Fisher J(w) con los vectores de pesos encontrados: J(w 1 ) = 15.25 y J(w 2 ) = 3.62 10 16 15
LDA para dos clases Método 2: la proyección LDA se obtiene de manera directa como: w = S W 1 (m 1 m 2 ) = 0.38 0.03 0.03 0.22 = [ 2.13, 0.98] T 3.0 3.8 8.4 7.6 p(y) x 2 ω 1 ω 2 Método 1 Método 2 x 1 y Izquierda: Vector de proyecciones óptimo en el espacio original. Derecha: Proyecciones LDA y sus densidades para cada clase. 16
LDA para C clases La generalización del LDA para C clases realiza C 1 proyecciones, de xi=[x 1,,x D ] a y i =[y 1,,y C 1 ], utilizando C 1 vectores de proyecciones, W=[w 1,, w C 1 ]. W 1 W 2 Distribuciones 3D con tres clases proyectadas en un espacio 2D, descrito por los vectores normales W 1 y W 2, donde W 1 obtiene la separación óptima entre las tres clases. 17
LDA para C clases La matriz de dispersión intraclase se define como: C S W = S i (17) donde la matriz de covarianza de la i-ésima clase es: i=1 S i = 1 N i N i k=1 y su respectivo vector de medias: (x k m i )(x k m i ) T, i = 1,,C (18) m i = 1 N i N i, i = 1,,C (19) La matriz de dispersión interclase se define como: S B = C i=1 k=1 x k N i (m i m)(m i m) T donde m es la media global de todo el conjunto de datos: m = 1 N N (21) k=1 x k (20) 18
LDA para C clases De manera similar, los vectores de medias y las matrices de dispersión de los datos proyectados se definen como: N i!m i = 1 y N k y SW! = (y k!m i )(y k!m i ) T i!m = 1 N N k=1 k=1 y k C i=1 C i=1 N i k=1 y! SB = N i (!m i!m)(!m i!m) T El discriminante lineal de Fisher en términos de S W y S B es: ( ) ( ) J(W) = det( S! B ) det( S! W ) = det W T S B W det W T S W W (22) (23) La matriz de proyecciones óptima es aquella cuyas columnas son los vectores propios generalizados que corresponden con los valores propios más grandes en S W 1 S B w i = λ i w i, i = 1,,C 1 (24) 19
p(y 1 ) LDA para C clases p(y) y 1 Proyecciones LDA del conjunto de datos Iris (3 clases y 4 atributos) creado por Fisher, así como sus distribuciones de densidad correspondientes. A la izquierda, proyección sobre la primera componente. A la derecha, proyección sobre las dos primeras componentes. y 1 y 2 20
Limitaciones del LDA LDA es un método paramétrico, ya que asume que los patrones presentan distribución normal, de modo que si las distribuciones son significativamente no-gaussianas, LDA no preservará ninguna estructura compleja de los datos. LDA fallará cuando la información discriminatoria no se encuentra en la media sino en la varianza de los datos. LDA produce a lo más C 1 proyecciones, de modo que si el estimado del error de clasificación establece que se requieren más características, se deben utilizar otros métodos que provean estas características adicionales. 21
Kernel LDA El LDA puede generalizarse al caso no lineal mediante el método del kernel, tal como se aplica en la SVM. Para realizar proyecciones no lineales, se realiza un mapeo no lineal a un espacio de alta dimensionalidad, H, y después se computa LDA en H. Sea Φ una función de mapeo no lineal hacia algún espacio H; para encontrar el discriminante lineal en H se maximiza J(w) = wt S Φ B w (25) w T S Φ W w Φ Φ w 2 H S B S W donde wwww y y son las matrices de dispersión en H: S B Φ = (m 1 Φ m 2 Φ )(m 1 Φ m 2 Φ ) T (26) S W Φ = N i i=1,2 k=1 (Φ(x k ) m i Φ )(Φ(x k ) m i Φ ) T (27) N i k=1 m i Φ = 1 N i Φ(x k ) (28) 22
Kernel LDA Si H es de muy alta, o inclusive infinita dimensionalidad, es imposible resolver el LDA directamente. En vez del mapeo explícito, los datos se mapean implícitamente hacia H mediante una función kernel como: K(a, b) = Φ(a) Φ(b) (29) donde las funciones kernel más comunes son las funciones Gaussiana y polinomial, definidas como: K(a, b) = (a T b + 1) q K(a, b) = exp( γ a b 2 2 ) donde las constantes q>0 y γ>0. (30) (31) El criterio de Fisher J(w) en el espacio H debe formularse en términos de productos escalares de los patrones de entrenamiento los cuales serán reemplazados por una función kernel. 23
Kernel LDA Para el caso de dos clases, encontrar el vector de proyecciones no lineal LDA a partir del conjunto de patrones de entrenamiento (y i,x i ), para i=1,,n y XXXXXXX. y i 2 { 1, 1} La proyección de un patrón arbitrario z sobre wwww 2 H está dada por: N i=1 w T Φ(z) = α i K(x i, z) = α T K(X, z) de modo que el criterio de Fisher se reescribe como: J(α) = αt S K B α α T S K W α = w T S Φ B w w T S Φ W w (32) (33) K K donde S B y S W son las matrices de dispersión inter e intraclase, respectivamente, mapeados implícitamente por una función kernel. 24
Kernel LDA Dado que el problema de optmización es encontrar el vector α óptimo, entonces una solución directa está dada por: α = (BK t + λi ) 1 y T (34) donde y=[y 1,,y N ] es el vector de salidas deseadas, K t es la matriz kernel de los datos de entrenamiento, λ es un parámetro de regularización, I es la matiz identidad y xxxxxxxxxxxxxxxxx B = M M + M donde M es una matriz diagonal computada como: 2N N si y M (35) ii = i = +1 2N + N si y i = 1 donde N + y N son el número de patrones en las clases +1 y 1, y las matrices M + y M se computan como: M ij + = M ij = 2N (NN + ) si y i = y j = +1 0 otro caso 2N + (NN ) si y i = y j = 1 0 otro caso (36) 25
Kernel LDA p(y) x 2 x 1 Izquierda: conjunto de datos 2D no linealmente separable. Derecha: función de densidad de los datos proyectados mediante LDA con kernel Gaussiano. Nótese que en el espacio proyectado a 1D las clases son linealmente separables. y 26
Clasificación con LDA Hasta ahora LDA se ha empleado como una técnica de reducción de dimensionalidad; aunque puede extenderse fácilmente para clasificar patrones. Para el caso de dos clases, se genera un hiperplano de decisión que sea ortogonal al vector de proyecciones w y que sea equidistante a las medias de cada clase m 1 y m 2. La función discriminante lineal está dada por: g(x) = (x 1 2 (m 1 + m 2 ))T S W 1 (m 1 m 2 ) (37) donde la regla de decisión es: Decidir ω 1 si g(x) > 0 ω 2 otro caso (38) 27
Clasificación con LDA g(x) = 0 x 2 x 2 w x 1 Clasificación con LDA para clases linealmente separables (izquierda) y no linealmente separables (derecha). x 1 28
Clasificación con KLDA Cuando el problema de clasificación no pueden ser resuelto usando funciones discriminante lineales directamente sobre el espacio de características original se pueden utilizar el método kernel LDA (KLDA). La regla de clasificación KLDA para un patrón arbitrario x' es: y = sgn(α T K(X, x ) b) (39) donde sgn( ) es la función signo, X es el conjunto de patrones de entrenamiento y el bias se calcula como: b = 1 2 αt K t e (40) donde K t es la matriz kernel de los datos de entrenamiento y el vector e=[e 1,,e N ] T se expresa como: e i = 1 N + si y i = +1 1 N si y i = 1 (41) 29
Clasificación con KLDA x 2 x 2 x 1 Clasificación con KLDA para clases no linealmente separables utilizando kernel Gaussiano (izquierda) y polinomial de orden 2 (derecha). x 1 30