ANÁLISIS DISCRIMINANTE (AD)

Transcripción

1 discrim_predictivo.doc 30//05 vgg ANÁLISIS DISCRIMINANTE (AD) Regresión con respuesta categórica Y Cómo depende Y de las variables X, X,... X p? cualitativa cuantitativas Planteamiento Predictivo del AD: Cómo predecir Y a partir de los valores observados X, X,... X p? Planteamiento Descriptivo del AD: Y determina k grupos, a caracterizar en términos de X, X,... X p Qué variables cambian más a través de los grupos? Qué características tiene cada grupo? INTRODUCCIÓN Ejemplo: Caracterización de especies. Mediante la longitud y anchura de pétalos y sépalos vables cuantitativas X, X, X 3 y X 4 -. Cómo distinguir (discriminar) tres especies de Iris (Setosa, Versicolor y Virginica) -vble Y-? Ejemplo: Diagnóstico automático. Por los resultados de diferentes pruebas diagnósticas -vables cuantitativas X X p - Cómo reconocer una enfermedad distinguiéndola de otras similares -vble Y-? Ejemplo3: Reconocimiento de formas o textos. A partir de diferentes medidas - vables cuantitativas X X p - de una imagen capturada Cómo identificar una pieza (reconocimiento de formas) o una letra (rec. de textos) -vble Y-? Cómo identifica google a una persona (reconocimiento de imagen) en una fotografía? Ejemplo 4: Valoración de riesgos. Una entidad financiera desea valorar el riesgo de una posible operación crediticia personal catalogándola como muy segura, segura, normal, algo insegura o muy insegura -vble Y-. Para ello dispone de información sobre el cliente, relativa a otras operaciones realizadas con la entidad, declaraciones de renta y patrimonio, etc -vables X Xp- Ejemplo 5: Control de fraude fiscal. La Agencia Tributaria va a revisar declaciones de renta sospechosas de fraude. Para seleccionarlas utiliza las declaraciones de los últimos años - vables X Xp- y los resultados de las inspecciones realizadas en ejercicios anteriores correcta, fraude leve, fraude grave, fraude muy grave-.

2 discrim_predictivo.doc 30//05 vgg. Análisis Discriminante / Plantemiento Predictivo Objetivo: Asignar grupo a nuevos individuos. Observamos las variables X i o en varios individuos de cada grupo (observaciones de calibración) o y en otros individuos sin catalogar (observaciones a asignar). Un nuevo individuo del cual sólo conocemos los valores X i debe asignarse a un grupo. o desconocemos a qué grupo pertenece o tomamos una decisión basándonos en la información que proporcionan las denominadas observaciones de calibración o aprendizaje (individuos para los que conocemos tanto los valores X i como el grupo al que pertenecen).. Análisis Discriminante / Plantemiento Descriptivo Objetivo: Caracterizar los grupos En qué difieren? Variables originales: detectamos las variables X i de más poder discriminante, aquellas que mejor diferencian los grupos. Variables artificiales (Análisis Discriminante Factorial): Buscamos aquellas combinaciones lineales de las X i que mejor recogen las diferencias entre grupos. Las interpretamos y las utilizamos para representar gráficamente los grupos, detectando características más complejas que los diferencian..3 Datos en AD:.4 Análisis Discriminante y Clasificación En AD los grupos están definidos y se conocen para las observaciones de calibración; se estudian sus características y se asigna grupo a nuevos individuos. En Clasificación Automática, por el contrario, los posibles grupos no se conocen y es la propia estructura de los datos quien los determina.

3 discrim_predictivo.doc 30//05 vgg 3 Un primer paso: MANOVA previo al AD La longitud y anchura media de los pétalos cambian de una variedad a otra? Los valores medios de las pruebas analíticas difieren según la enfermedad? Las medias de las características que observo sobre cada imagen captada, varían al cambiar de objeto? Observadas p variables conjuntamente para individuos dentro de cada grupo, podemos analizar mediante un MANOVA si las media p-dimensional (de las variables X, X,... X p ) es cambiante através de los k grupos, o por el contrario, no se aprecia efecto grupo. MANOVA de factor Y (grupo), con variables explicativas X, X,... X p (cuantitativas) Cada nivel del factor Y define un grupo. H 0 : NO EFECTO. La media p-dim se mantienen a través de los k grupos: = = = k Nota recordatoria: El Manova requiere normalidad y homocedasticidad. Obviamente, tiene sentido realizar un Análisis Discriminante que estudie las diferencias entre grupos sólo cuando se rechaza H 0 Cuando el MANOVA rechaza la igualdad de medias a través de los grupos, el ADD caracteriza las diferencias entre grupos (Planteamiento Descriptivo) ADP predice el grupo de individuos sin catalogar (Planteamiento Predictivo) 3 ADP ANÁLISIS DISCRIMINANTE / planteamiento PREDICTIVO Indice de la Sección 3 3. DOS poblaciones N p ( i, i ) 's iguales: Función Lineal Discriminante de Fisher i y conocidas enfoque poblacional i desconocidas; conocida enfoque muestral i y desconocidas asumimos enfoque muestral 3. DOS poblaciones N p ( i, i) 's diferentes: Función Discriminante Cuadrática i y i conocidas enfoque poblacional i ó i desconocidas SIN asumir enfoque muestral 3.3 k poblaciones N p ( i, i) 3. DOS poblaciones N p ( i, i ) 's iguales Función Lineal Discriminante de Fisher p= p= Enfoque Poblacional (densidades conocidas)

4 discrim_predictivo.doc 30//05 vgg 4 i y conocidas (caso - enfoque poblacional - Población : x ~ N p (, ) Población : x ~ N p (, ) diferencia entre las dos medias p-dim = - distancia de Mahalanobis entre ellas t - - ) t - - ) Nuevo elemento, de población desconocida: x 0 0 x 0 ~ N p ( 0, ) Problema: 0 ó 0? Idea: Discriminar mediante una combinación lineal L(x) a t x Optimo: qué dirección a separa mejor los grupos? x / a t x > k x / a t x < k Búsqueda de la dirección a óptima a efectos de discriminación: Para cada a, a t x 0 es una c.l. de sus componentes: a t x 0 ~ N (a t 0, a t a) Busco la dirección a que mejor discrimina entre los dos grupos, es decir, que maximiza la separación (homogeneizada) entre las medias transformadas: a t, a t f.objetivo: (a μ - a μ ) (a δ ) (a Σ Σ δ ) a Σa. δσ δ = δ Σδ= a Σa a Σa a Σa a Σa t t t t / -/ t - () - a t t t t () resulta de aplicar la desigualdad de Cauchy Schwarz a los dos vectores / -/ u Σ a y v Σ δ la igualdad () sólo se alcanza cuando los vectores u y v son colineales, es decir, / -/ Σ a = λ Σ δ, de donde obtenemos la solución a, única salvo factor escala () Solución: a = - - ( - ) (ó a, puesto que Valor máximo de = Δ 0 ) a : t - =, dist de Mahalanobis entre y. Datos proyectados, a t x, sobre esta dirección a óptima: Para esta a, a a t x = ( - ) t - x L(x) La función L recibe el nombre de Función Lineal Discriminante de Fisher (que se utiliza para construir diferentes reglas de clasificación) λa

5 discrim_predictivo.doc 30//05 vgg 5 Regla de clasificación A partir de L(x 0 ) (valor que toma la función lineal discriminante L para la nueva observación x 0 ), decido a qué población se asigna la nueva observación x 0 : t x 0 si a x 0 > k para ello utilizo una Regla de clasificación : [] t x 0 si a x 0 < k Errores al aplicar una regla de clasificación []: Error tipo : Error tipo : t - t - k - δσ μ Probabilidades: e = ( - k + δσ μ ) e = ( ) Qué k elijo? La k que dé alguna propiedad deseable; por ejemplo e = e : ) Igual probabilidad de clasificación errónea: e = e = ( ) k 0 = ½ t - ( + ) = ½ ( t - - t - ) punto medio Regla de discriminación lineal de Fisher: x 0 si a t x 0 > k 0, es decir x 0 si ( - ) t - x 0 - ( t - - t - ) > 0 [] equivalentemente, x 0 si t - x 0 - t - > t - x 0 - t - Otros criterios ) Mínima Distancia: asigno a la población de cuya media diste menos. Regla MD: x 0 si (x 0, ) < (x 0, ): (x 0 - ) t - (x 0 - ) < (x 0 - ) t - (x 0 - ) Es fácil ver que coincide con la regla de discriminación lineal. 3) Razón de verosimilitud: asigno a la población con función de densidad mayor Regla RV: en este caso también coincide con la regla de discriminación lineal 4) Bayes. Modifico la regla incorporando información a priori y costes. Probabilidades a priori: q q Costes de clasificación errónea: c c Regla de Bayes: coincide con la de Fisher para k= k 0 + d con d= c q / c q - - Nota: esta regla produce e e e = ( d Δ ) e = ( d Δ )

6 discrim_predictivo.doc 30//05 vgg 6 i desconocidas; conocida (caso - enfoque muestral - Enfoque Muestral (densidades con parámetros desconocidos) Observo n individuos en la población ; media muestral x n individuos en la población ; media muestral x Sustituyo en [] las i, ahora desconocidas por sus estimaciones por x i y tengo una nueva versión de la regla de discriminación lineal de Fisher: x 0 si ( x - x ) t - x 0 - ( x t - x - x t - x ) > 0 [3] Nota: Sigue coincidiendo con la regla DM, pero con la RV sólo si n = n. Aproximaciones asintóticas (Okamoto) para e y e (valores teóricos) e ( ) + a / n + a / n e ( ) + a / n + a / n Δ +(p-) Δ - 4 (p-) siendo a = Φ (Δ), a = Φ (Δ) 6Δ 6Δ Estimación de errores: e y e se pueden estimar por dos procedimientos a) sustituyendo, desconocido, por ˆΔ en las aproximaciones de Okamoto: t - ˆΔ= (x- x ) Σ (x- x ) b) jacknife: Se toma una observación de y se le aplica la regla de discriminación lineal como si desconociéramos a qué grupo pertenece. Calculo la media muestral omitiendo esta observación x i y se utiliza esta media muestral x (i) en [3] para asignar grupo a la observación omitida. Vemos si la asignación es correcta. Se aplica la regla una tras otra a todas las observaciones de cada grupo. Utilizamos la proporción de asignaciones erróneas para estimar e y e : m m ê= ê= donde m i representa el nº de individuos de i mal asignados. n n

7 discrim_predictivo.doc 30//05 vgg 7 i y desconocidas (caso -enfoque Muestral- Estimador pooled de a partir de las desviaciones a la media muestral de cada grupo: S p = n n [ (xt t i x)(x- i x)+ (x n + i - x)(x n + i - x)] f, con f= n +n - i= i= Esta versión [4] de la regla de discriminación lineal de Fisher utiliza S p en lugar de que ahora se desconoce: x 0 si ( x - x ) t S - p x 0 - ( x t - S p x - x t - S p x ) > 0 [4] Nota: coincide con la regla DM, pero con la RV sólo si n = n : x 0 si d - (x 0, x ) < d - (x S 0, x ) (regla RV) p Sp + + n n Aproximaciones asintóticas (Okamoto) para e y e e ( ) + a / n + a / n + a 3 / f e ( ) + a / n + a / n + a 3 / f siendo a y a las expresiones de 3.. y a 3 = Δ (p-) Φ (Δ) 4 Estimación de errores: e y e se estiman por los mismos procedimientos que en 3..: a) sustituyendo en las aproximaciones de Okamoto, desconocido, por ˆΔ f-p- t - ˆΔ = (x- x)s(x- p x) f b) jacknife: Como en 3.. pero utilizando S p en lugar de desconocida). Nota: a) es mejor que b) bajo normalidad, pero b) es mejor que a) cuando utilizo esta regla de discriminación lineal sobre datos que NO son normales.

8 discrim_predictivo.doc 30//05 vgg 8 3. DOS poblaciones N p ( i, i ) 's diferentes Función Discriminante Cuadrática i y i conocidas ( ) - enfoque poblacional - Criterio de Mínima Distancia (MD): asigno a la población de cuya media diste menos. Regla MD: x 0 si (x 0, ) < (x 0, ): (x 0 - ) t - (x 0 - ) < (x 0 - ) t - (x 0 - ) x / (x, ) < (x, ) x / (x, ) < (x, ) i ó i desconocidas (SIN asumir - enfoque muestral Cuando se desconocen los parámetros, los sustituimos por estimadores: Regla MD x 0 si ˆΔ (x 0, ) < ˆΔ (x 0, ): (x 0 - x ) t - S (x 0 - x ) < (x 0 - x ) t S - (x 0 - x ) Las probabilidades de clasificación errónea, e y e, se estiman por jacknife.

9 discrim_predictivo.doc 30//05 vgg k poblaciones N p ( i, i) 3.3. Asumiendo k (desconocida) - enfoque muestral x i : vector media muestral basado en n i observaciones de la población i. k S p matriz de covarianzas muestral pooled con f= n- k i= i g.de l. Nuevo elemento: x 0 ~ N p ( 0, ) Regla MD de Mínima Distancia (también RV): x 0 i si d (x, x ) - d (x, x ) j - S p 0 i S 0 j p Regla de Discriminación lineal: (es lineal en x o ) x 0 i si xsx- xsx sup xsx- xsx t - t - t - t - i p 0 i p i j... k j p 0 j p j [5] Carecemos de expresiones para las probabilidades de clasificación errónea; se estiman por métodos jacknife Sin asumir k (desconocidas) - enfoque muestral Asignamos de forma similar que en 3.3., pero utilizando en la regla [5] cada S i en lugar del estimador común pooled S p : x 0 i si xsx- xsx sup xsx- xsx t - t - t - t - i i 0 i i i j... k j j 0 j j j [6] Población y muestra Densidades conocidas muestras Muestras de densidades desconocidas Si conocemos las distribuciones teóricas, podemos utilizar las correspondientes versiones poblacionales, con las covarianzas teóricas i en lugar de las estimadas S i.

10 discrim_predictivo.doc 30//05 vgg Métodos no paramétricos Existen métodos alternativos para situaciones en que las variables discriminantes no son Np dentro de cada grupo. Los más conocidos son los métodos de vecinos próximos y los basados en estimación no paramétrica de la densidad Vecinos próximos El criterio se basa en medir proximidad a base de acumular las distancias del individuo con grupo desconocido a los t individuos más próximos de cada grupo y asignarlo finalmente al grupo más cercano. Para asignar un individuo x i a un grupo, el método de t vecinos localiza dentro de cada grupo los t individuos más próximos al aspirante x i. Son los llamados vecinos más próximos. La suma de estas t distancias se utiliza como indicador de la separación entre el aspirante y el grupo. El individuo se asigna al grupo más próximo. SAS/Discrim permite computar distancias de Mahalanobis con la matriz de covarianzas específica de cada grupo o bien con la pooled S p Estimación de densidades Como primer paso, aplicamos métodos no paramétricos de estimación de la densidad y a partir de las observaciones de calibración obtenemos un estimador dentro de cada grupo. Después construyo reglas de asignación similares a las del apartado 3, sólo que en lugar de utilizar densidades normales multivariantes, empleamos estas estimaciones obtenidas por métodos no paramétricos. Así, obtengo nuevas reglas de discriminación por el método de máxima verosimilitud o por el de Bayes cuando incorporamos información a priori sobre la probabilidad de pertenencia a cada grupo: Grupo k probs a priori p() p() p(k) densidades f(x/) f(x/) f(x/k) (conocidas o estimadas) p(i) f(x/i) probs a posteriori p(/x) p(/x) p(k/x) con p(i/x)= k p(j) f(x/j) SAS/Discrim ofrece el método Núcleo con núcleo uniforme, normal, epanechnikov y parámetro de suavizado común para todos los grupos o específico para cada grupo. j=