Tema 9. Análisis factorial discriminante

Transcripción

1 Máster en Técnicas Estadísticas Análisis Multivariante. Año Profesor: César Sánchez Sellero Introducción. Tema 9. Análisis factorial discriminante Supongamos que están denidos I grupos, y queremos construir una regla discriminante que permita clasicar en alguno de los grupos en función del resultado de un vector aleatorio X. Consideramos π 1,..., π I la distribucion a priori sobre los I grupos, y f 1,..., f I las funciones de densidad o probabilidad de X condicionadas a cada uno de los grupos. La regla discriminante óptima consistirá en Clasicar en el grupo g si π g f g (x) = max i {1,...,I} π if i (x) (9.1) Esta regla es la que clasica en el grupo con mayor probabilidad a posteriori, y es la regla de máxima verosimilitud si se omiten las probabilidades a priori. Pensemos que los grupos tienen las mismas probabilidades a priori, y que la distribuciones f i son normales de medias µ 1,..., µ I, y con la misma matriz de covarianzas Σ. Entonces la regla anterior se reduce a Clasicar en el grupo g si (x µ g ) Σ 1 (x µ g ) = min i {1,...,I} (x µ i) Σ 1 (x µ i ) esto es, se clasica la observación x en el grupo cuya media está más próxima, bajo la distancia de Mahalanobis. Cuando sólo hay dos grupos, hemos visto que esta regla es equivalente a efectuar la transformación lineal λ x (siendo λ = Σ 1 (µ 1 µ 2 )) y clasicar en el grupo 1 si λ x está más próximo a λ µ 1 que a λ µ 2. Cuando hay varios grupos, la regla discriminante también se convierte en un criterio lineal, aunque necesitaremos más de una transformación lineal. Además, será posible reducir la dimensión, escogiendo únicamente unas pocas transformaciones lineales, que permitan discriminar lo mejor posible entre los grupos. Los métodos que vamos a exponer han sido desarrollados por Fisher, y se les conoce como análisis factorial discriminante Clasicación óptima de varias poblaciones normales. Pensemos que se dispone de una muestra procedente de cada grupo X 11 X 1 n1 de una población N d (µ 1, Σ 1 ) X I1 X I ni de una población N d (µ I, Σ I ) Nótese que partimos de un modelo de análisis multivariante de la varianza con matrices de covarianzas desiguales. Debemos decir también que se ha cambiabo la notación de las observaciones, 89

2 90 Máster en Técnicas Estadísticas que eran Y ij en el tema de análisis multivariante de la varianza, para mantener coherencia con la notación del análisis discriminante. En esta situación, suponiendo unas probabilidades a priori π 1,..., π I, la regla óptima dada por la expresión (9.1), se puede reducir a Clasicar en el grupo g si d Q g (x) = max i {1,...,I} dq i (x) siendo d Q i (x) = 1 2 log Σ i 1 2 (x µ i) Σ 1 i (x µ i ) + log π i i {1,..., I} Las funciones d Q i (x) se pueden denominar funciones de clasicación, pues para clasicar a un individuo con observación x, se calculan las funciones de clasicación que le corresponden en cada grupo, d Q i (x), y se asigna al grupo cuya función sea más grande. El superíndice Q en d Q i (x) se debe a que estas funciones son cuadráticas, pues como ya vimos en el tema anterior, si las matrices de covarianzas son diferentes dentro de cada grupo, entonces la regla óptima es cuadrática. La muestra anterior servirá para estimar la regla discriminante, sustituyendo en las funciones de clasicación los vectores de medias y las matrices de covarianzas por sus análogos empíricos, ˆd Q i (x) = 1 2 log S i 1 2 ( ) ( ) x Xi S 1 i x Xi + log πi i {1,..., I} Si se puede suponer que las matrices de covarianzas dentro de cada grupo son iguales, esto es, Σ 1 = = Σ I = Σ, entonces en las funciones de clasicación se puede suprimir la parte cuadrática, pues es la misma para todos los grupos, y resultan las siguientes funciones de clasi- cación lineales: que se estiman mediante d i (x) = µ iσ 1 x 1 2 µ iσ 1 µ i + log π i i {1,..., I} ˆd i (x) = X i S 1 x 1 2 X i S 1 Xi + log π i i {1,..., I} donde S = (n I) 1 I i=1 (n i 1)S i es la estimación de la matriz de covarianzas común. En estas funciones lineales los coecientes vienen dados por los vectores X i S 1 y las constantes se obtienen de log π i 1 2 X i S 1 Xi Factores discriminantes. En la sección anterior vimos la solución óptima y su estimación para la discriminación entre varias poblaciones normales. Además de lo anterior, el procedimiento de clasicación entre poblaciones normales se puede presentar desde un enfoque más intuitivo o descriptivo. Situémonos en el modelo de análisis multivariante de la varianza, con la misma matriz de covarianzas dentro de cada grupo. Recordemos que en este contexto la matriz de covarianzas (mejor

3 Análisis Multivariante 91 dicho, de sumas de cuadrados y sumas de productos) que mide la variabilidad entre grupos se calcula así: I n i ( H = Xi X ) ( Xi X ) i=1 j=1 mientras que la variabilidad dentro de cada grupo se calcula así: E = I (n i 1) S i = i=1 I n i ( Xij X ) ( i Xij X ) i i=1 j=1 Nótese que la matriz de covarianzas dentro de los grupos se estima mediante S = E/(n I). Supongamos que se desea reducir la dimensión del problema, y construir una regla de clasicación basada únicamente en el valor que adopte un factor, calculado proyectando todas las variables en cierta dirección. Entonces la idea es tomar esa dirección como aquella que mantiene la mayor separación posible entre los grupos, haciendo grande la variabilidad entre grupos (entre sus medias) en comparación con la variabilidad dentro de cada grupo. Esta idea se puede formalizar en el siguiente problema de optimización Max α Hα α Eα El vector α en el que se alcance el máximo será el autovector de la matriz E 1 H asociado a su mayor autovalor. Si lo estandarizamos de la siguiente manera b 1 = n Iα/(α Eα), conseguiremos que b 1 Sb 1 = 1. En este momento denimos el primer factor discriminante como Z 1 = b 1X, siendo X el vector aleatorio constituido por las variables que sirven para la clasicación. Nótese que b 1 Sb 1 sirve como estimación de la varianza que presenta el primer factor discriminante, condicionado a cada grupo. Por tanto, al imponer que b 1 Sb 1 = 1 estamos obteniendo un factor cuya varianza intra-grupo valdría uno. Por supuesto, esto es válido en la medida en que los datos de entrenamiento cumplan el modelo homocedástico. Se pueden calcular las puntuaciones de los individuos que componen la muestra de entrenamiento, sin más que proyectar en la dirección b 1, lo cual se obtiene así Z 1ij = b 1 X ij. Las puntuaciones de un grupo concreto, por ejemplo el g, serían Z 1gj con j {1,..., n g } y por lo que dijimos anteriormente, este conjunto de puntuaciones deberían tener varianza muestral parecida a uno. No será exactamente porque S no es exactamente igual a S i. Para una futura observación de la que se conoce el valor de las variables, x, se puede calcular su puntuación z 1 = b 1x. Además, si hubiera que construir una regla discriminante basada en este valor z 1 = b 1x, la idea sería clasicar al nuevo individuo en el grupo cuya media proyectada b X 1 i le quede más cercana (en distancia usual). Aquí no hay que tener en cuenta diferentes varianzas, porque el factor está estandarizado para tener varianza intra-grupo igual a uno, y en principio se supone que las probabilidades a priori son iguales. Claro está que esta reducción de dimensión en la regla discriminante puede conducir a pérdidas considerables en las probabilidades de asignación correcta. En cualquier caso, esta primera dimensión es la que permite mantener más separados los datos de la muestra de entrenamiento, y sería la mejor opción si hubiera que optar por una regla basada en la proyección sobre una única dirección.

4 92 Máster en Técnicas Estadísticas Ahora bien, para no perder capacidad de discriminación, se puede avanzar en los autovalores de la matriz E 1 H. Así, se puede denir el segundo factor discriminante como Z 2 = b 2 X, siendo b 2 autovector de E 1 H asociado a su segundo mayor autovalor y normalizado de modo que b 2 Sb 2 = 1. Además verica que b 2 Sb 1 = 0. La consecuencia es que el par formado por los dos primeros factores principales (Z 1, Z 2 ) tiene como matriz de covarianzas dentro de cada grupo algo parecido a la identidad. No será exactamente igual a la identidad en la medida en que S i no sea igual a S. Pero esta propiedad permite construir una regla discriminante basada en los dos primeros factores discriminantes, y que consistiría en obtener las puntuaciones de una nueva observación x en los dos primeros factores principales (z 1, z 2 ) = (b 1, b 2 ) x y clasicarlo en el grupo cuya media en el espacio de factores (esta media sería (b 1, b 2 ) Xi ) le quede más cercana, con la distancia usual. Se puede emplear la distancia usual porque en el espacio de factores la matriz de covarianzas intra-grupo es la identidad, y por tanto la distancia de Mahalanobis coincide con la distancia usual. Como resultado obtenemos que los dos factores discriminantes constituyen el plano sobre el que se deben proyectar las observaciones de la muestra de entrenamiento para mantener la mayor separación entre los grupos, y la regla anterior es la mejor opción para la clasicación basada en la proyección sobre un plano. El proceso de construcción de factores discriminantes puede continuar hasta que se alcance, o bien el número de variables d (pues las matrices H y E son matrices d d) o el rango de la matriz H, que es (I 1). Denotemos entonces s = min{d, I 1} al número de factores discriminantes. Si se emplean los s factores discriminantes, tendríamos las puntuaciones de los individuos de la muestra de entrenamiento en los factores, Z ij = B X ij, siendo B = (b 1, b 2,..., b s ) la matriz cuyas columnas son los autovectores normalizados. Asimismo, se pueden obtener las puntuaciones medias de cada grupo, en ocasiones denominadas como centroides: Zi = B Xi. Ahora la regla de clasicación para una nueva observación consistiría en calcular sus puntuaciones z = B x y Clasicar en el grupo g si z Zg 2 = min z Zi 2 i {1,...,I} siendo z Z g 2 el cuadrado de la distancia usual entre z y Z g. Se puede demostrar que este procedimiento coincide con la regla discriminante presentada en la sección anterior, basada en funciones lineales discriminantes, en el caso de que las probabilidades a priori sean todas iguales. En el caso más general, en que las probabilidades a priori son cualesquiera π 1,..., π I, con la única condición de que π 0 y π π I = 1, y permitiendo además que las matrices covarianzas intra-grupo sean diferentes, también se puede construir la regla de clasicación utilizando las puntuaciones en los factores discriminantes. Para ello, se calculan las probabilidades a posteriori, de la siguiente manera: siendo P ( Procede del grupo g /x) = π g D g 1/2 exp{ d 2 g/2} I i=1 π i D i 1/2 exp{ d 2 i /2} g {1,..., I} D i = B S i B la matriz de covarianzas de los factores dentro del grupo i, y d 2 i = ( z Z ) ( ) i D 1 i z Zi

5 Análisis Multivariante 93 la distancia de Mahalanobis de z al centroide Z i respecto de la matriz D i. Las probabilidades a posteriori, además del interés que poseen en sí mismas, se pueden emplear para clasicar, siendo el críterio el de asignación al grupo con mayor probabilidad a posteriori. Ejemplo 9.1 Sobre los datos de los lirios de Fisher construiremos reglas discriminantes para clasicar entre las tres especies. Bibliografía. Everitt, B. (2005). An R and S-Plus companion to multivariate analysis. Springer. Johnson, R.A. y Wichern, D.W. (2007). Applied multivariate statistical analysis. Pearson Education. Peña, D. (2002). Análisis de datos multivariantes. McGraw-Hill. Pérez, C. (2004). Tecnicas de análisis multivariante de datos: Aplicaciones con SPSS. Pearson Educación, S.A.