Selección de Atributos. Dr. Jesús Ariel Carrasco Ochoa Oficina 8311

Transcripción

1 Selección de Atributos Dr. Jesús Ariel Carrasco Ochoa Oficina 8311

2 Contenido Introducción Estrategias de selección Técnicas filter Técnicas wrapper Técnicas híbridas

3 Selección de atributos Selección de variables (feature selection) Preprocesamiento Clasificación Supervisada Regresión Agrupamiento Caracterización Atributos característicos

4 Selección de atributos Selección de variables (feature selection) Preprocesamiento Clasificación Supervisada Regresión Agrupamiento Caracterización Atributos característicos

5 Selección de atributos Por qué hacer selección de atributos en clasificación supervisada Mejorar los resultados de la clasificación Reducir el costo de la clasificación Acelerar el proceso de clasificación Mejorar el entendimiento del modelo y resultados de la clasificación

6 Selección de atributos El objetivo es seleccionar un subconjunto reducido de atributos útiles para la clasificación eliminando Atributos irrelevantes Atributos redundantes

7 Selección de variables Variables descartadas M x i... x k O 1 x i (O 1 )... x k (O 1 ) : O m x i (O m )... x k (O m ) Muestra reducida Muestra M x 1.. x s M x 1 x 2... x n O 1 x 1 (O 1 ).. x s (O 1 ) O 1 x 1 (O 1 ) x 2 (O 1 )... x n (O 1 ) : : Selecctor O m x 1 (O m ).. x s (O m ) O m x 1 (O m ) x 2 (O m )... x n (O m )

8 Estrategias de Selección filter.- La selección se hace con un criterio independiente del clasificador. wrapper.- La selección se hace usando información del mecanismo de clasificación. Híbridos.- Combinan estrategias filter y wrapper

9 Estrategias filter Usualmente ordenan las variables por algún criterio (ranking). La selección se hace en el orden establecido con algún criterio de corte. Comúnmente un número de variables a seleccionar predefinido por el usuario (parámetro).

10 Estrategias de ordenamiento Entropía Ganancia de información Índice de Gini Rough Set Theory/Teoría de Testores Algoritmo Relief

11 Algoritmo RELIEF Dada una muestra de objetos descritos por n atributos numéricos normalizados. Inicializar en 0 el peso w i de cada variable x i Repetir m veces Seleccionar aleatoriamente un objeto O de la muestra de entrenamiento Buscar en vecino más cercano (O NN ) de O en su misma clase Buscar en vecino más cercano (O NE ) de O fuera de su clase Para cada atributo x i tomar: w i = w i ( x i ( O) x i ( O NN / m + ( x ( O) ( O Ordenar los atributos descendentemente de acuerdo a su peso w )) 2 i x i NE )) 2 / m

12 Estrategias wrapper Evalúan subconjuntos de atributos utilizando un clasificador. Para evitar la búsqueda exhaustiva siguen alguna estrategia de búsqueda. Comúnmente estrategias ávidas o aleatorias

13 Estrategias wrapper Para n variables, el espacio de búsqueda es de tamaño 2 n

14 Estrategias wrapper Búsqueda exhaustiva Búsqueda secuencial Hacia atrás (backward) Hacia adelante (forward) Flotante (floating) Búsqueda aleatoria Algoritmos genéticos Búsqueda tabú.

15 Búsqueda exhaustiva El tamaño del espacio de búsqueda es 2 n Si se busca un número predefinido de variable el espacio de búsqueda es de tamaño Para seleccionar 20 variables de 50 el espacio de búsqueda es de tamaño n k <<

16 Sequential Forward Selection Sea F en conjunto de todas las variables S=Ø Repetir x S = = max( q( S x F \S S { x} { x})) Hasta S =k / q(s)<q(s\{x}) / q(s)>t

17 Sequential Forward Selection

18 Sequential Bacward Selection Sea F en conjunto de todas las variables S=F Repetir x S = = max( q( S x S S \{ x} \{ x})) Hasta S =k / q(s)<q(s {x}) / q(s)>t

19 Sequential Backward Selection

20 Sequential Floating Forward Selection S=Ø Repetir x = S = S max( q( S x F \S Repetir { x} x = { x})) max( q( S x S S = S \{ x} \{ x})) Hasta q(s)<q(s {x}) S {x} Hasta S =k / q(s)>t

21 Sequential Floating Backward Selection S=Ø Repetir x = S = max( q( S x S S Repetir \{ x} x = \{ x})) max( q( S x F \S S = S { x} { x})) Hasta q(s) q(s\{x}) S\{x} Hasta S =k / q(s)>t

22 Selección usando Algoritmos Genéticos Individuos (suponiendo n variables) x 1 x 2... x n 0 1 0/1... 0/1 1

23 Selección usando Algoritmos Genéticos Cruza (combinación de individuos) Punto de cruza Punto de cruza

24 Selección usando Algoritmos Genéticos Mutación (alteración de individuos) Elemento a mutar Elemento mutado

25 Selección usando Algoritmos Genéticos Generar población inicial P Para i=1,..., numgeneraciones evalúa(p) P2 = cruza(p) evalúa(p2) P3 = mutación (P P2) evalúa(p3) P = selecciona(p P2 P3) salida = mejorelemento(p)

26 Evaluación de selectores de variables Utilizando un clasificador Seleccionar un conjunto de bases de datos Utilizar algún método de validación aplicando selección+clasificación Utilizar alguna medida de evaluación de calidad de clasificación Utilizar datos sintéticos en los cuales se conozca cuáles son los atributos importantes