Tareas de la minería de datos: clasificación. PF-5028 Minería de datos Prof. Braulio José Solano Rojas UCR

Transcripción

1 Tareas de la minería de datos: clasificación PF-5028 Minería de datos Prof. Braulio José Solano Rojas UCR

2 Tareas de la minería de datos: clasificación Clasificación (discriminación) Empareja o asocia datos a grupos predefinidos (aprendizaje supervisado). Encuentra modelos (funciones) que describen y distinguen clases o conceptos para futuras predicciones. Probablemente la tarea más familiar y más popular de la minería de datos. 2 de 26

3 Tareas de la minería de datos: clasificación Ejemplos de aplicación: Calificación de crédito (credit scoring), reconocimiento de imágenes y patrones, diagnóstico médico, detección de fallos en aplicaciones industriales, clasificar tendencias de mercados financieros,... Métodos: Análisis discriminante, árboles de decisión, reglas de clasificación, redes neuronales. 3 de 26

4 Tareas de la minería de datos: clasificación Ejemplo simple: En EE.UU. los maestros clasifican a los estudiantes en A, B, C, D o F según sus notas. Utilizando simplemente límites (60, 70, 80, 90), las siguientes clasificaciones son posibles: 90 <= nota A 80 <= nota <= 90 B 70 <= nota <= 80 C 60 <= nota < 70 D Nota < 60 F 4 de 26

5 Clasificación contra predicción En alguna literatura de minería de datos se considera a la clasificación como el emparejamiento contra clases (etiquetas de valores), mientras que la predicción está asociada a valores continuos. Es decir, en el conjunto de entrenamiento la variable objetivo es una variable continua. Finalmente, clasificación y predicción vienen siendo lo mismo, aunque se pueden hacer la diferenciación según el tipo de variable. 5 de 26

6 Clasificación: aprendizaje 6 de 26

7 Clasificación: pruebas 7 de 26

8 Preparación de los datos para clasificación y predicción Limpieza de los datos Tratamiento del ruido y de valores faltantes. Análisis de relevancia Algunos atributos en los datos pueden ser irrelevantes o redundantes. Eliminar dichos atributos mejora la eficiencia y la eficacia. Transformación de datos Se pueden hacer generalizaciones de los datos a conceptos de mayor nivel. También se pueden normalizar los datos. 8 de 26

9 Evaluación de métodos de clasificación Precisión en la predicción Capacidad de predecir correctamente. Eficiencia Costos computacionales. Robustez Habilidad para funcionar con ruido y ausencia de ciertos valores. Escalabilidad Habilidad para trabajar con grandes cantidades de datos. Interpretabilidad Entendimiento y comprensión que brinda. 9 de 26

10 Clasificación: definición formal Dada una base de datos D = {t 1, t 2,, t n } de tuplas (elementos, registros) y un conjunto de clases C = {C 1,, C m }, el problema de clasificación trata de definir un mapeo f : D C donde cada t i se asigna a una clase. Una clase C j contiene precisamente aquellas tuplas mapeadas a ella; esto es, C j = { t i f(t i ) = C j, 1<=i<=n y t i ϵ D }. 10 de 26

11 Clasificación: algoritmos Estadísticos Regresión simple, regresión múltiple, bayes,... Distancia k vecinos más cercanos,... Árboles de decisión ID3, C4.5, CART,... Redes neuronales Retropropagación,... Reglas Reglas de asociación, de 26

12 Clasificación por inducción de árboles de decisión El aprendizaje por árboles de decisión es un método comúnmente utilizado en minería de datos. El objetivo es crear un modelo que prediga el valor de una variable objetivo basándose en varias variables de entrada. Se muestra un ejemplo en las dos filminas siguientes. Cada nodo interior corresponde a a una de las variables de entrada. Hay aristas hacia un hijo para cada uno de los posibles valores de dicha variable de entrada. Cada hoja representa un valor de la variable objetivo dados los valores de las variables entrada representadas por el camino de la raíz a la hoja. 12 de 26

13 Clasificación por inducción de árboles de decisión edad ingreso estudiante calificación_crédito clase:compra_computador <=30 alto no suficiente no <=30 alto no excelente no alto no suficiente sí >40 medio no suficiente sí >40 bajo sí suficiente sí >40 bajo sí excelente no bajo sí excelente sí <=30 medio no suficiente no <=30 bajo sí suficiente sí >40 medio sí suficiente sí <=30 medio sí excelente sí medio no excelente sí alto sí suficiente sí >40 medio no excelente no 13 de 26

14 Clasificación por inducción de árboles de decisión 14 de 26

15 Clasificación por inducción de árboles de decisión Un árbol puede ser aprendido separando el conjunto fuente en subconjuntos basados en una prueba de valor de atributo. Este proceso es repetido en cada subconjunto derivado de una manera recursiva llamada particionamiento recursivo. La recursión termina cuando el subconjunto en un nodo tiene para todos sus miembros el mismo valor de la variable objetivo o cuando separar ya no agrega valor a la predicción. 15 de 26

16 Clasificación por inducción de árboles de decisión Los datos vienen en registros de la forma: (x,y) = (x 1, x 2, x 3,..., x k, Y) La variable dependiente Y es la variable objetivo que se está tratando de explicar, clasificar o generalizar. El vector x está compuesto de las variables de entrada x 1, x 2, x 3, etc., que son usadas para la tarea de minería. 16 de 26

17 Clasificación por inducción de árboles de decisión 17 de 26

18 Clasificación por los k vecinos más cercanos (KNN) Esquema de clasificación común, basado en el uso de medidas de distancia. Es un tipo de aprendizaje por analogía. La técnica asume que el conjunto completo de entrenamiento incluye no sólo los datos sino también la clasificación deseada. Los datos de entrenamiento son entonces el modelo. 18 de 26

19 Clasificación por los k vecinos más cercanos (KNN) Cuando se va a clasificar un nuevo elemento (t) se determina su distancia contra todos los elementos en el conjunto de entrenamiento. Luego sólo se consideran los K elementos más cercanos al nuevo elemento (t). El nuevo elemento (t) es entonces clasificado en la clase mayoritaria de los vecinos cercanos. 19 de 26

20 Clasificación por los k vecinos más cercanos (KNN) De manera más formal: El conjunto de entrenamiento es descrito por atributos numéricos n-dimensionales. Cada individuo representa un punto en un espacio n-dimensional. Así, el conjunto de entrenamiento es almacenado en un espacio patrón n-dimensional. Cuando se clasifica un individuo nuevo se busca en el espacio patrón los k individuos más cercanos al nuevo individuo. 20 de 26

21 Clasificación por los k vecinos más cercanos (KNN): ejemplo 22 de 26

22 Clasificación por los k vecinos más cercanos (KNN): algoritmo 23 de 26

23 Clasificación por los k vecinos más cercanos (KNN) La técnica KNN es muy sensible a la escogencia de k. Una regla práctica es k menor o igual a la raíz del número de elementos de entrenamiento. Los clasificadores de vecinos más cercanos son aprendizaje basados en instancia o aprendizaje flojo (lazy learning). Tienen mayor eficiencia en el entrenamiento. Sin embargo, los costos computacionales pueden ser caros en la clasificación si los individuos de entrenamiento (el modelo) son muchos. 24 de 26

24 Clasificación por redes neuronales Ver artículos.

25 Gracias por su atención! Preguntas?