Clasificación. Aurea Grané. Análisis Discriminante

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Clasificación. Aurea Grané. Análisis Discriminante"

Andrea Castro Farías
hace 6 años
Vistas:

1 Diplomatura en Estadística 1 Diplomatura en Estadística 2 Análisis discriminante Análisis Discriminante y Clasificación Aurea Grané Departamento de Estadística Universidad Carlos III de Madrid Supongamos que tenemos g poblaciones conocidas Ω 1,...,Ω g yen cada una de ellas observamos una muestra de cierto vector de interés X =X 1,...,X p ). El análisis discriminante se ocupa de describir, mediante las variables X i, los rasgos diferenciales entre las poblaciones. Se trata de encontrar funciones discriminantes o reglas de decisión h = hx 1,...,x p ) cuyos valores en los distintos grupos o poblaciones) estén lo más separados posible. Es decir, buscamos funciones h sencillas que permitan asignar cada uno de los individuos a una población concreta Ω α, α =1,...,g, minimizando la tasa de error en dicha asignación. La más conocida es la regla discriminante lineal de Fisher, donde h es una función lineal de x =x 1,...,x p ). Diplomatura en Estadística 3 Diplomatura en Estadística 4 1. Discriminador lineal Clasificación en dos poblaciones Clasificación Dado un nuevo individuo ω, cuya población de procedencia se desconoce, y sobre el cual se pueden medir las variables, X 1,...,X p, es decir, x =x 1,...,x p ), donde x i = X i ω), para i =1,...,p,el problema de clasificación trata de asignar éste individuo a alguna de las poblaciones Ω α, para α =1,...,g. Para ello se utilizan las funciones discriminantes construidas a partir de la muestra. Sean μ 1, μ 2 los vectores de medias de las poblaciones Ω 1, Ω 2, respectivamente. Sea Σ la matriz de covarianzas común para ambas poblaciones. Sea ω el individuo a clasificar, para el cual se ha observado x =x 1,...,x p ) El criterio geométrico, consiste en asignar el individuo ω ala población más próxima, utilizando la distancia de Mahalanobis: δ 2 M x, μ i )=x μ i ) Σ 1 x μ i ), i =1, 2. La regla de decisión es la siguiente: ω seasignaaω 1 si δ 2 M x, μ 1) <δ 2 M x, μ 2), ω seasignaaω 2 en caso contrario.

2 Diplomatura en Estadística 5 Diplomatura en Estadística 6 A partir de la diferencia δm 2 x, μ 2) δm 2 x, μ 1), se construye la función discriminante lineal Lx) = x 1 2 μ 1 + μ 2 )) Σ 1 μ 1 μ 2 ) y se expresa la regla de decisión en función de ésta: ω seasignaaω 1 si Lx) > 0, en caso contrario, se asigna ω aω 2. Esta función discriminante es el discriminador lineal de Fisher. Clasificación cuando los parámetros son estimados En las aplicaciones prácticas, μ 1, μ 2 y Σ son desconocidas y se deberán estimar a partir de muestras de tamaños n 1, n 2 de las dos poblaciones Ω 1 yω 2. Sean x 1, x 2 y S 1, S 2 los vectores de medias y las matrices de covarianzas muestrales. La versión muestral del discriminador lineal de Fisher es ˆLx) = x 1 ) 2 x 1 + x 2 ) S 1 p x 1 x 2 ), donde S p =n 1 S 1 + n 2 S 2 )/n 1 + n 2 2), es la pooled within matrix. Diplomatura en Estadística 7 Diplomatura en Estadística 8 Ejemplo 1: Problema 9.4 Un enólogo analiza dos componentes X 1 y X 2 en sendas muestras de dos tipos de vinos Datos de Newman et al., 1998). Vino 1 Vino 2 X 1 X 2 X 1 X x Vino 1 Vino x 1 Clasificar mediante el discriminador lineal de Fisher la nueva observación x =13.05, 515).

3 Diplomatura en Estadística 9 Diplomatura en Estadística 10 Calculamos los vectores de medias y las matrices de covarianzas muestrales. Para el primer tipo de vino: x 1 = , ), S 1 =, y para el segundo tipo de vino: x 2 = , ), S 2 = La matriz de covarianzas ponderada es: S p =20S 1 +15S 2 )/33 = El valor del discriminador lineal de Fisher para la nueva observación x =13.05, 515) es: ˆLx) = x 1 2 x 1 + x 2 ) ) S 1 p x 1 x 2 )= = Puesto que ˆLx) < 0, asignaremos la nueva observación al segundo tipo de vino. Observad que nos hemos creído una hipótesis que no hemos comprobado cuál es? qué contraste deberíamos realizar? Diplomatura en Estadística 11 Diplomatura en Estadística Regla de máxima verosimilitud Criterio geométrico: la regla del discriminador lineal de Fisher equivale a asignar el nuevo individuo a la población más próxima según la distancia de Mahalanobis: δ 2 M x, x i )=x x i ) S 1 p x x i ), i =1, 2. En nuestro caso, tenemos que: δ 2 M x, x 1 )= , δ 2 M x, x 2 )= Puesto que δ 2 M x, x 2) <δ 2 M x, x 1), la nueva observación se asigna al segundo tipo de vino. Sean Ω 1 yω 2 dos poblaciones y X =X 1,...,X p ) un vector con distribución de probabilidad conocida, dependiente de un parámetro θ que toma el valor θ 1 si X Ω 1 y θ 2 si X Ω 2. Sea x =x 1,...,x p ) el vector de observaciones de X sobre un individuo ω. La probabilidad o verosimilitud de la observación x en Ω i es L i x) =fx 1,...,x p ; θ i ). La regla discriminante de máxima verosimilitud consiste en asignar ω alapoblación Ω i para la cual la verosimilitud de la observación es mayor. Esta regla tiene asociada la siguiente función discriminante V x) =logl 1 x) log L 2 x). Si V x) > 0, ω se asigna a Ω 1. En caso contrario, ω se asigna a Ω 2.

4 Diplomatura en Estadística 13 Diplomatura en Estadística Regla de Bayes En ciertas situaciones, se conocen las probabilidaddes a priori de que ω pertenezca a cada una de las poblaciones: q 1 = P ω Ω 1 ), q 2 = P ω Ω 2 ), q 1 + q 2 =1. Una vez se dispone de las observaciones x =x 1,...,x p ),la probabilidad a posteriori de que ω pertenezca a las poblaciones teorema de Bayes) es: q i L i x) P ω Ω i x) =, i =1, 2. q 1 L 1 x)+q 2 L 2 x) La regla discriminante de Bayes consiste en asignar ω alapoblación Ω i para la que P ω Ω i x) esmáxima. La regla de Bayes tiene asociada la siguiente función discriminante, que se conoce como discriminador de Bayes: Bx) =logl 1 x) log L 2 x)+logq 1 /q 2 ), Si Bx) > 0, ω seasignaaω 1 y, en caso contrario, se asigna ω aω 2. Propiedades: 1. Cuando q 1 = q 2 =1/2, entonces Bx) =V x). 2. La regla de Bayes minimiza la probabilidad de clasificación errónea. Diplomatura en Estadística 15 Diplomatura en Estadística 16 Clasificación en poblaciones normales Supongamos ahora que: X =X 1,...,X p ) N p μ 1, Σ 1 )enω 1 X =X 1,...,X p ) N p μ 2, Σ 2 )enω 2, es decir: L i x) = Σ i 1/2 exp 2 π) p/2 { 1 } 2 x μ i) Σ 1 i x μ i ), i =1, 2. Caso 1: Si μ 1 μ 2 y Σ 1 = Σ 2 = Σ, entonces: a) Los clasificadores de máxima verosimilitud y lineal coinciden: V x) = logl 1 x) log L 2 x) = 1 ) x μ 2 2 ) Σ 1 x μ 2 ) x μ 1 ) Σ 1 x μ 1 ) = Lx). b) Si x R p proviene de alguna de las poblaciones Ω i, para i =1, 2, entonces el discriminador lineal de Fisher tiene distribución normal: Lx) = x 1 2 μ 1 + μ 2 )) Σ 1 μ 1 μ 2 )=x μ) a = a x μ), donde a = Σ 1 μ 1 μ 2 )yμ =μ 1 + μ 2 )/2. Su varianza y esperanza son: varlx)) = var a x μ)) = a Σa= M 2, 1 ELx)) = a 2 Ex μ) = a μ 1 μ 2 )= 1 2 M 2, si x Ω 1, 1 2 a μ 1 μ 2 )= 1 2 M 2, si x Ω 2, Por tanto, Lx) N 1 2 M 2,M 2) si x Ω 1,Lx) N 1 2 M 2,M 2) si x Ω 2.

5 Diplomatura en Estadística 17 Diplomatura en Estadística 18 Puesto que Lx) tiene distribución de probabilidad conocida, puede calcularse la probabilidad de clasificación errónea. Se dice que el individuo x se clasifica erróneamente cuando se asigna alapoblación Ω 1 y en realidad proviene de Ω 2, o bien, cuando se asignaalapoblación Ω 2 y en realidad proviene de Ω 1. Luego la probabilidad de clasificación errónea es: 1 2 P Lx) > 0/x Ω 2)+ 1 2 P Lx) < 0/x Ω 1)=Φ M ), 2 donde Φ es la función de distribución de la ley N0, 1). c) Si conocemos las probabilidades a priori q 1 = P ω Ω 1 ), q 2 = P ω Ω 2 ), con q 1 + q 2 = 1, entonces el discriminador de Bayes es: Bx) =Lx)+logq 1 /q 2 ). Caso 2: Si μ 1 μ 2 y Σ 1 Σ 2, entonces: a) La regla de máxima verosimilitud proporciona el discriminador cuadrático: V x) = logl 1 x) log L 2 x) = 1 2 x Σ 1 2 Σ 1 1 )x + x Σ 1 1 μ 1 Σ 1 2 μ 2 ) μ 2 Σ 1 2 μ μ 1 Σ 1 1 μ log Σ log Σ 1 = Qx), b) Si conocemos las probabilidades a priori q 1 = P ω Ω 1 ), q 2 = P ω Ω 2 ), con q 1 + q 2 = 1, entonces el discriminador de Bayes es: Bx) =Qx)+logq 1 /q 2 ).

Documentos relacionados

Tema 8: Análisis Discriminante. Clasificación. Aurea Grané Departamento de Estadística Universidad Carlos III de Madrid. Análisis discriminante

Aurea Grané. Máster en Estadística. Universidade Pedagógica. 1 Aurea Grané. Máster en Estadística. Universidade Pedagógica. 2 Análisis discriminante Tema 8: Análisis Discriminante y Clasificación Aurea