Módulo Minería de Datos Diplomado. Por Elizabeth León Guzmán, Ph.D. Profesora Ingeniería de Sistemas Grupo de Investigación MIDAS

Transcripción

1 Módulo Minería de Datos Diplomado Por Elizabeth León Guzmán, Ph.D. Profesora Ingeniería de Sistemas Grupo de Investigación MIDAS

2 Error de clasificación Algoritmo de aprendizaje h Entrenamiento DATOS Evaluación Test

3 Error de clasificación Error de entrenamiento: e(modelo, datos) Número de ejemplos de entrenamiento clasificados incorrectamente Conocido como error de re-substitución o error aparente Error de generalización: e (modelo, datos) Error esperado del modelo en ejemplos no usados en el entrenamiento. Un buen modelo debe tener errores de entrenamiento y generalización bajos

4 Sobre-ajuste (Overfitting) Cuando el algoritmo de aprendizaje se ajusta tanto a los datos de entrada que pierde su capacidad de generalizar

5 Epresividad limitada con subajuste Epresividad limmitada con sobreajuste Epresividad mayor con buen ajuste

6 Sobre-ajuste Sobre-ajuste: Bajo error de entrenamiento pero error de generalización alto. Sub-ajuste (underfitting): Errores de entrenamiento y generalización altos

7 Causas sobreajuste Presencia de ruido

8 Sobreajuste Falta de ejemplos representativos

9 Métodos de Estimación Holdout Muestreo Aleatorio Validación Cruzada (Cross validation) Muestreo Estratificado Bootstrap

10 Evaluación de un clasificador Holdout Method Conjunto particionado en 2 conjuntos disjuntos (entrenamiento y prueba) Evaluación con respecto al conjunto de prueba El modelo puede tener dependencia de la composición de la partición Pequeño tamaño del conjunto de entrenamiento varianza alta Mantener un porcentaje de instancias (2/3) para entrenamiento y el resto (1/3) para pruebas Se sugiere que el de entrenamiento sea mayor que el de pruebas

11 Evaluación de un clasificador Random subsampling (muestreo aleatorio) Repite el método holdout muchas veces y calcular estadísticos sobre dicho proceso La eactitud del modelo es dada por el promedio Se sugiere repetir como mínimo 30 veces No hay control sobre los ejemplos que ya han sido usados para entrenamiento

12 Evaluación de un clasificador Cross-validation (validación cruzada) Partir el conjunto de datos en k subgrupos disjuntos k-fold: entrenar con k-1 subgrupos, validar con el restante. Repetir usando cada grupo en validación Cada ejemplo es usado el mismo numero para entrenamiento y una vez para pruebas. 10 fold crossvalidation Leave one out

13 Cross-validation (validación cruzada) Aprendizaje h1 Entrenamiento Test Evaluación Aprendizaje hn Test Evaluación

14 Evaluación de un clasificador Bootstrap Ejemplos de entrenamiento son seleccionados permitiendo remplazo (muestreo con remplazo) El muestreo es realizado b veces para generar b muestras Muchas variaciones de bootstrap: calculo de la eactitud. Ej: bootstrap (eactitud combinando las eactitudes de cada muestra con la del conjunto orignal)

15 Matriz de confusion Clase Predicha Class= Si Class=No Clase verdadera Class=Si a (TP) b (FN) Class=No c (FP) d (TN) Eactitud= a d a b c d = TP TN TP TN FP FN

16 Matriz de confusión Problema de 2 clases

17 Curva ROC At threshold t: TP=0.5, FN=0.5, FP=0.12, FN=0.88

18 Matrices de Confusión Mas de 2 clases

19 Consideremos este problema de dos clases Número de ejemplos de la clase 0 = 9990 Número de ejemplos de la clase 1 = 10 Si el modelo predice todo de la clase 0, la eactitud es 9990/10000 = 99.9 % La medida no es correcta por que no se detectan ejemplos de la clase 1

20 Matriz de Costos Clase predicha C(i j) Clase=Si Clase=No Clase real Clase=Si C(Si Si) C(No Si) Clase=No C(Si No) C(No No) C(i j): Costo de no clasificar ejemplos de la clase j como clase i

21 Matriz De costo Clase predicha Clase real C(i j) Modelo M 1 Clase predicha Modelo M 2 Clase predicha Clase real Clase real Accuracy = 80% Cost = 3910 Accuracy = 90% Cost = 4255

22 Multiclasificadores Ensambladores Original D Training data Step 1: Create Multiple Data Sets... D 1 D 2 D t-1 D t Step 2: Build Multiple Classifiers C 1 C 2 C t -1 C t Step 3: Combine Classifiers C *

23 Multiclasificadores Ensambladores Bagging Boosting