Tareas de la minería de datos: clasificación CI-2352 Intr. a la minería de datos Prof. Braulio José Solano Rojas ECCI, UCR
Tareas de la minería de datos: clasificación Clasificación (discriminación) Empareja o asocia datos a grupos predefinidos (aprendizaje supervisado). Encuentra modelos (funciones) que describen y distinguen clases o conceptos para futuras predicciones. Probablemente la tarea más familiar y más popular de la minería de datos. 2 de 33
Tareas de la minería de datos: clasificación Ejemplos de aplicación: Calificación de crédito (credit scoring), reconocimiento de imágenes y patrones, diagnóstico médico, detección de fallos en aplicaciones industriales, clasificar tendencias de mercados financieros,... Métodos: Análisis discriminante, árboles de decisión, reglas de clasificación, redes neuronales.
Tareas de la minería de datos: clasificación Ejemplo simple: En EE.UU. los maestros clasifican a los estudiantes en A, B, C, D o F según sus notas. Utilizando simplemente límites (60, 70, 80, 90), las siguientes clasificaciones son posibles: 90 <= nota A 80 <= nota <= 90 B 70 <= nota <= 80 C 60 <= nota < 70 D Nota < 60 F
Clasificación contra predicción En alguna literatura de minería de datos se considera a la clasificación como el emparejamiento contra clases (etiquetas de valores), mientras que la predicción está asociada a valores continuos. Es decir, en el conjunto de entrenamiento la variable objetivo es una variable continua. Finalmente, clasificación y predicción vienen siendo lo mismo, aunque se pueden hacer la diferenciación según el tipo de variable.
Clasificación: aprendizaje 6 de 33
Clasificación: pruebas 7 de 33
Preparación de los datos para clasificación y predicción Limpieza de los datos Tratamiento del ruido y de valores faltantes. Análisis de relevancia Algunos atributos en los datos pueden ser irrelevantes o redundantes. Eliminar dichos atributos mejora la eficiencia y la eficacia. Transformación de datos Se pueden hacer generalizaciones de los datos a conceptos de mayor nivel. También se pueden normalizar los datos. 8 de 33
Evaluación de métodos de clasificación Precisión en la predicción Capacidad de predecir correctamente. Eficiencia Costos computacionales. Robustez Habilidad para funcionar con ruido y ausencia de ciertos valores. Escalabilidad Habilidad para trabajar con grandes cantidades de datos. Interpretabilidad Entendimiento y comprensión que brinda. 9 de 33
Clasificación: definición formal Dada una base de datos D = {t 1, t 2,, t n } de tuplas (elementos, registros) y un conjunto de clases C = {C 1,, C m }, el problema de clasificación trata de definir un mapeo f : D C donde cada t i se asigna a una clase. Una clase C j contiene precisamente aquellas tuplas mapeadas a ella; esto es, C j = { t i f(t i ) = C j, 1<=i<=n y t i ϵ D }. 10 de 33
Clasificación: algoritmos Estadísticos Regresión simple, regresión múltiple, bayes,... Distancia k vecinos más cercanos,... Árboles de decisión ID3, C4.5, CART,... Redes neuronales Retropropagación,... Reglas Reglas de asociación,... 11 de 33
Clasificación por inducción de árboles de decisión El aprendizaje por árboles de decisión es un método comúnmente utilizado en minería de datos. El objetivo es crear un modelo que prediga el valor de una variable objetivo basándose en varias variables de entrada. Se muestra un ejemplo en las dos filminas siguientes. Cada nodo interior corresponde a a una de las variables de entrada. Hay aristas hacia un hijo para cada uno de los posibles valores de dicha variable de entrada. Cada hoja representa un valor de la variable objetivo dados los valores de las variables entrada representadas por el camino de la raíz a la hoja. 12 de 33
Clasificación por inducción de árboles de decisión edad ingreso estudiante calificación_crédito clase:compra_computador <=30 alto no suficiente no <=30 alto no excelente no 31...40 alto no suficiente sí >40 medio no suficiente sí >40 bajo sí suficiente sí >40 bajo sí excelente no 31...40 bajo sí excelente sí <=30 medio no suficiente no <=30 bajo sí suficiente sí >40 medio sí suficiente sí <=30 medio sí excelente sí 31...40 medio no excelente sí 31...40 alto sí suficiente sí >40 medio no excelente no 13 de 33
Clasificación por inducción de árboles de decisión 14 de 33
Clasificación por inducción de árboles de decisión Un árbol puede ser aprendido separando el conjunto fuente en subconjuntos basados en una prueba de valor de atributo. Este proceso es repetido en cada subconjunto derivado de una manera recursiva llamada particionamiento recursivo. La recursión termina cuando el subconjunto en un nodo tiene para todos sus miembros el mismo valor de la variable objetivo o cuando separar ya no agrega valor a la predicción. 15 de 33
Clasificación por inducción de árboles de decisión Los datos vienen en registros de la forma: (x,y) = (x 1, x 2, x 3,..., x k, Y) La variable dependiente Y es la variable objetivo que se está tratando de explicar, clasificar o generalizar. El vector x está compuesto de las variables de entrada The vector x is composed of the input variables x 1, x 2, x 3, etc., que son usadas para la tarea de minería. 16 de 33
Clasificación por inducción de árboles de decisión 17 de 33
Clasificación por los k vecinos más cercanos (KNN) Esquema de clasificación común, basado en el uso de medidas de distancia. Es un tipo de aprendizaje por analogía. La técnica asume que el conjunto completo de entrenamiento incluye no sólo los datos sino también la clasificación deseada. Los datos de entrenamiento son entonces el modelo. 18 de 33
Clasificación por los k vecinos más cercanos (KNN) Cuando se va a clasificar un nuevo elemento (t) se determina su distancia contra todos los elementos en el conjunto de entrenamiento. Luego sólo se consideran los K elementos más cercanos al nuevo elemento (t). El nuevo elemento (t) es entonces clasificado en la clase mayoritaria de los vecinos cercanos. 19 de 33
Clasificación por los k vecinos más cercanos (KNN) De manera más formal: El conjunto de entrenamiento es descrito por atributos numéricos n-dimensionales. Cada individuo representa un punto en un espacio n-dimensional. Así, el conjunto de entrenamiento es almacenado en un espacio patrón n-dimensional. Cuando se clasifica un individuo nuevo se busca en el espacio patrón los k individuos más cercanos al nuevo individuo. 20 de 33
Clasificación por los k vecinos más cercanos (KNN) La cercanía es usualmente definida en términos de la distancia euclidiana, donde la distancia entre dos puntos, X=(x 1, x 2,, x n ) y Y=(y 1, y 2,, y n ) es d ( X,Y )= i=1 n (x i y i ) 2 El nuevo individuo es asignado a la clase más común o mayoritaria entre sus k vecinos más cercanos. Cuando k=1 se asigna la clase del elemento más cercano. 21 de 33
Clasificación por los k vecinos más cercanos (KNN): ejemplo 22 de 33
Clasificación por los k vecinos más cercanos (KNN): algoritmo 23 de 33
Clasificación por los k vecinos más cercanos (KNN) La técnica KNN es muy sensible a la escogencia de k. Una regla práctica es k menor o igual a la raíz del número de elementos de entrenamiento. Los clasificadores de vecinos más cercanos son aprendizaje basados en instancia o aprendizaje flojo (lazy learning). Tienen mayor eficiencia en el entrenamiento. Sin embargo, los costos computacionales pueden ser caros en la clasificación si los individuos de entrenamiento (el modelo) son muchos. 24 de 33
Regresión lineal simple 25 de 33
Regresión lineal simple 26 de 33
Regresión lineal simple 27 de 33
Regresión lineal simple 28 de 33
Regresión lineal simple 29 de 33
Clasificación bayesiana ingenua Sea X un conjunto de datos cuya clase es desconocida. Sea H alguna hipótesis tal que el conjunto de datos pertenece a una clase C. Se desea entonces determinar P(H X), la probabilidad de que la hipótesis H sea válida dados los datos observados en X. P(H X) es la probabilidad posterior, o la probabilidad a posteriori, de H condicionada en X. 30 de 33
Clasificación bayesiana ingenua El teorema de Bayes es útil en el hecho de que provee una manera de calcular la probabilidad posterior, P(H X), de P(H), P(X) y P(X H). El teorema de Bayes adaptado a la clasificación es: P(H X )= P ( X H ) P(H ) P( X ) 31 de 33
Clasificación bayesiana ingenua: ejemplo edad ingreso estudiante calificación_crédito clase:compra_computador <=30 alto no suficiente no <=30 alto no excelente no 31...40 alto no suficiente sí >40 medio no suficiente sí >40 bajo sí suficiente sí >40 bajo sí excelente no 31...40 bajo sí excelente sí <=30 medio no suficiente no <=30 bajo sí suficiente sí 31...40 medio sí suficiente sí <=30 medio sí excelente sí >40 medio no excelente sí >40 alto sí suficiente sí 31...40 medio no excelente no 32 de 33
Gracias por su atención! Preguntas?