Selección de atributos

Transcripción

1 Selección de atributos Series Temporales Máster en Computación Universitat Politècnica de Catalunya Dra. Alicia Troncoso Lora 1

2 Contenido Introducción Clasificación de las técnicas Esquema General Evaluadores Subconjuntos Ranking Métodos de Búsqueda Referencias 2

3 Introducción (I) Los algoritmos de selección de características tienen dos objetivos principales: Reducir el coste computacional asociado tanto al aprendizaje como al propio modelo de conocimiento generado (eliminando atributos irrelevantes o redundantes) Aumentar la precisión de dicho modelo (eliminando atributos perjudiciales para el aprendizaje). 3

4 Introducción (II) Para llevar a cabo su objetivo, los métodos de selección realizan una búsqueda supervisada sobre el espacio de características, aplicando una función criterio que evalúa la calidad del subconjunto seleccionado. Dicha búsqueda suele ser heurística, ya que una búsqueda exhaustiva supone un problema combinatorio, resultando ésta enormemente costosa. Para su mejor funcionamiento precisa de una limpieza previa de los datos (outliers, valores ausentes, ruido, ) 4

5 Clasificación de las Técnicas Según la función criterio o Evaluador: Wrappers: la función criterio utilizada es el propio conjunto de reglas generadas por el algoritmo de aprendizaje que posteriormente se usará en la clasificación. Filtros: la función de criterio es independiente del algoritmo de aprendizaje, usando medidas de distancia, información o dependencia. Según el resultado: Individual: genera un ranking de atributos con todos Subconjunto: genera un subconjunto de atributos 5

6 Esquema General EVALUADOR: Individual (Ranking) Subconjunto MÉTODO DE BÚSQUEDA: En función del Evaluador 6

7 Esquema General (Weka [1]) Subconjuntos (-SubsetEval) Ranking (-AttributeEval) 7

8 Evaluadores - Subconjuntos (I) CFS [2]: Filtro Evaluador basado en correlaciones: Maximiza la correlación con la clase y minimiza la intercorrelación del subconjunto WEKA: AttributeSelection CfsSubsetEval ClassifierSubsetEval: Wrapper Usa un clasificador para evaluar los diferentes conjuntos que se obtienen con el método de búsqueda sin hacer validación cruzada WEKA: AttributeSelection ClassifierSubsetEval WrapperSubsetEval: Wrapper Igual que el anterior pero con validación cruzada de n folds (n es un parámetro que por defecto es 5) WEKA: AttributeSelection WrapperSubsetEval 8

9 Evaluadores - Subconjuntos (II) ConsistencySubsetEval: Filtro TODOS ATRIBUTOS DISCRETOS O DISCRETIZADOS Elige el subconjunto más consistente respecto a la clase: Inconsistencia: Quita un atributo y si hay ejemplos iguales con distinta clase, hay inconsistencia, luego el atributo es importante. Inconveniente: Atributos como el DNI son seleccionados por ser de consistencia máxima WEKA: AttributeSelection ConsistencySubsetEval 9

10 Evaluadores Ranking RELIEF: Mira el k-vecino más cercano y el k-enemigo más cercano (10 vecinos por defecto) y pondera los atributos mediante una fórmula (depende de la versión) WEKA: AttributeSelection ReliefFAtributeEval Ganancia de Información (atributos discretos): Ganancia(Class, Atrib) = H(Class) - H(Class Attribute) WEKA: AttributeSelection InfogainAttributeEval Razón de Ganancia (atributos discretos): GainR(Class, Attribute) = (H(Class) - H(Class Attribute)) / H(Attribute) WEKA: AttributeSelection GainRatioAttributeEval Chi2 (atributos discretos): Usa estadístico Chi-cuadrado WEKA: AttributeSelection ChiSquaredAttributeEval 10

11 Métodos de Búsqueda El método de búsqueda va a depender del evaluador seleccionado previamente. Si es un Evaluador Individual (Ranking), el único método de búsqueda es Ranker Si es un Evaluador de Subconjuntos: Greedy (GreedyStepwise): Coge el mejor de todos, luego la mejor pareja que lo incluye, luego el mejor trío que incluye a los anteriores. Así hasta que no hay mejora. Primero el mejor (BestFirst): Lo mismo que Greedy pero aplicando Backtracking con un número máximo de regresos (5 por defecto) Exhaustiva (ExhaustiveSearch): Todos los posibles subconjuntos Aleatoria (RandomSearch) Algoritmo Genético (GeneticSearch) Y muchos más. 11

12 Aplicación a Precios de la energía eléctrica 24 horas del dia d Selección atributos-precios horas del día d

13 Aplicación a Precios de la energía eléctrica 24 horas del día d Selección de Atributos-Precios horas del día d

14 Ejercicio 1: Glass2 Eliminar valores perdidos Ejecute los 4 evaluadores de subconjuntos con el método de búsqueda BestFirst sin validación cruzada ( Use full training set) CfsSubsetEval ClassifierSubsetEval (clasificador IB1 y UseTraining = true) WapperSubsetEval (clasificador IB1) ConsistencySubsetEval Anotar en la tabla los atributos seleccionados Clasificar con 1 vecino más cercano anotando en la tabla el error obtenido con las 5 bases de datos (la original y las cuatro nuevas). 14

15 Ejercicio 1: Glass2 Evaluador CfsSubsetEval ClassifierSubsetEval WapperSubsetEval ConsistencySubsetEval Ninguno Atributos seleccionados Todos IB1 (10-CV) 15

16 Ejercicio 2: Repetir el ejercicio 1 con las bases de datos de la UCI autos colic iris wine 16

17 Ejercicio 3: Demanda de energía eléctrica Descripción 24 atributos correspondientes a la demanda de energía de las 24 horas antes (h1,,h24) a la que se quiere predecir que corresponde con el atributo clase (h25) 1) Establecer una comparación entre los atributos seleccionados usando distintos Evaluadores de subconjuntos y distintos métodos de búsqueda. 2) Obtener modelos de regresión lineal CON y SIN selección de atributos (WEKA:ClassifierFunctionsLinearRegression) 3) Usar esos modelos para predecir, comparando los errores de predicción 17

18 Referencias [1] Ian H. Witten and Eibe Frank. Data Mining: Practical Machine Learning Tools and Techniques Morgan Kaufmann, June [2] Mark A. Hall. Correlation-based Feature Selection for Machine Learning. PhD thesis, Waikato University, Hamilton, NZ, [3] Kira, Kenji and Rendell, L.A.: A Practical Approach to Feature Selection. ICML International Conference on Machine Learning, pages , 1992 [4] A. Blum, P. Langley. Selection of relevant features and examples in machine learning. In: R. Greiner, D. Subramanian (Eds) Artificial Intelligence on Relevance: pp , [5] H. Liu, L. Yu. Toward integrating feature selection algorithms for classification and clustering. IEEE Transactions on Knowledge and Data Engineering, Vol. 17, pp. 1-12, [6] R. Ruiz, J. C. Riquelme, J. S. Aguilar-Ruiz. Incremental wrapper-based gene selection from microarray expression data for cancer classification. Pattern Recognition, Vol. 39, pp ,