III JORNADAS DE DATA MINING

Transcripción

1 III JORNADAS DE DATA MINING EN EL MARCO DE LA MAESTRÍA EN DATA MINING DE LA UNIVERSIDAD AUSTRAL VISIÓN DE MODELOS PREDICTIVOS COMO RANKEADORES Gustavo Denicolay, Socio Gerente Adaptive, Profesor Maestría en Data Mining de la Universidad Austral. IAE - Pilar, 12 y 13 de agosto de 28

2 Visión de modelos predictivos como rankeadores 1

3 Motivación Clasificación: dado un nuevo registro, asignar la etiqueta positivo o de negativo Rankear: dados un conjunto de nuevos registros, ordenar a los positivos antes que los negativos. Estimación de Probabilidad: dado un registro nuevo asignarle la probabilidad que sea positivo. Existe alguna jerarquía entre las tres tareas? 2

4 Motivación Mejor clasificación no implica mejor ranking Pos Neg 3 errores ranking 3 errores clasificación Pos Neg 6 errores ranking 2 errores clasificación, MEJOR 3

5 Motivación Mejor probabilidades no implica mejor ranking 1.5 errores ranking.25 mean squared error errores ranking.125 mean squared error, MEJOR 4

6 Motivación Si el dataset es muy desbalanceado, es trivial obtener un clasificador con gran accuracy asi como asignar probabilidades con un mean squared error muy bajo. SIN EMBARGO no es trivial obtener un buen rankeador. Un buen rankeador captura la esencia de SEPARAR las clases. 5

7 Motivación Rankear cumple un rol fundamental. Un mejor rankeador implica un mejor clasificador y un una mejor estimación de probabilidades. Una mejor estimación de probabilidades no implica un mejor rankeador. Pero utilizando la Cascara Convexa de la Curva ROC y reparando concavidades de puede mejorar la estimacion de probabilidades. 6

8 Curva ROC 7

9 ROC : Receiver Operating Characteristic El término se comenzó a utilizar luego del ataque japones a Pearl Harbor en 1941 para incrementar la exactitud en la detección de aviones japoneses a partir de las señales de radar. En 1998 Foster Provost, Tom Fawcett y Ron Kohavi publican The case against Accuracy Estimation for comparing Induction Algorithms En 23 Charles X. Ling, Jin Huang, Harry Zhang demuestran formalmente la superioridad del la métrica AUC sobre la métrica Accuracy AUC: a Statistically Consistent and more Discriminating Measure than Accuracy Hoy, 28, muchos practicantes del data mining aun no utilizan regularmente la curva ROC para comparar algoritmos y continuan utilizando la metrica de accuracy... 8

10 Curva ROC de Predicados 9

11 3 2 var b Negativos 1 neg= var a 1

12 3 pos= 3 2 var b Positivos var a 11

13 3 2 var b Negativos Positivos var a 12

14 3 Predicado 1 = (.5 < a < 2) and (1.5 < b < 3 ) Pos=113 Neg = 75 2 var b Negativos Positivos var a 13

15 Positivos 15 P 1 Azar Negativos 14

16 3 Pos=15 Neg = Predicado 2 = (1<a<3) and (1<b<3) and (a+b >4) 2 var b Negativos Positivos var a 15

17 Positivos 15 P 1 Azar P Negativos 16

18 3 2 var b Negativos Positivos var a 17

19 Pos = 225 Neg = Pos = 75 Neg = 1 Pos = Neg = 3 18

20 Construcción de la Curva ROC Region Azul Verde Rojo Neg 3 1 Pos Region Rojo Verde Azul Neg 1 3 Pos Vacio Rojo Verde Azul Universo Acum Neg Acum Pos

21 Positivos 15 Modelo Azar P Negativos 2

22 Curva ROC de Arbol de Decisión 21

23 3 2 var b Negativos Positivos var a 22

24 var a Pos= Neg=2 var b 1 var a Pos=15 Neg= var b Pos=75 Neg= 5 4 Pos= Pos=75 Neg=1 Neg=

25 Hoja Neg Pos Neg Acum Pos Acum Vacio

26 var b 15 Arbol Azar var a 25

27 Construccion Curva ROC Rankeador Generico 26

28 Empezar en (,) 2. Mientras existan puntos por leer, ir al siguiente punto del ranking 1. Si es positivo, moverse arriba 2. Si es negativo, moverse a la derecha

29 Curva ROC caso clases completamente separables 28

30 DataSet 3 2 var B Neg Pos var A 29

31

32 Curva ROC un caso mas difuso 31

33 var b Neg 4 datos Normal( 1, 1 ) Neg var a 32

34 3 2 var b Pos 3 datos Normal( 3, 1 ) 1 Pos var a 33

35 var b 1.5 Neg Pos var a 34

36 Pos 15 ROC optima Azar Neg 35

37 Comparacion de Modelos utilizando curvas ROC 36

38 A 1 B 5 El modelo A es mejor que el modelo B A domina a B

39 3 25 C 2 15 A 1 5 El modelo A es mejor que el modelo C en cierta region. C es mejor que A en otra region

40 El modelo A es bueno detectando los positivos. El modelo C es bueno detectando los negativos. La diferencia entre los modelos A y C se debe a que los algoritmos que los generaron buscaron de forma distinta en el espacio de busqueda de todos los modelos. Ningun modelo es superior al otro para todos los puntos. 39

41 La Cascara Convexa ( Convex Hull ) 4

42 3 C 25 2 H 15 A

43 Clasificador Hibrido H H es tangente a las curvas A y C No necesariamente H es paralela a la recta del azar. Dado un umbral que implique un corte a la curva ROC en el intervalo H, se determina p de la siguiente forma d 1 d 2 d 1 p= d 1 + d 2 A h H C punto de corte 42

44 Clasificador Hibrido H Supongamos un punto h, del segmento H, que esta a distancia p del punto de tangencia con A ( y a distancia 1-p de punto de tangencia con C ) H(h) = Dado un nuevo registro a clasificar generar una variable aleatoria uniforme entre y 1 Si es menor o igual a p invocar al clasificador A En caso contrario invocar al clasificador C 43

45 Relacion metrica de clasificacion Accuracy y curvas ROC 44

46 Dado un Clasificador, la metrica Accuracy es el porcentaje de registros correctamente clasificados. El accuracy determina un sentido en el plano de las rectas paralelas a la recta positivos = negativos que solamente coincide con el sentido de la recta del azar en el unico caso que el dataset este perfectamente balanceado ( # registros positivos = # registros negativos ) 45

47 A 1 B

48 y si las clases estan mas desbalanceadas que sucede? 47

49

50 En el caso de las clases desbalanceadas se observa la GRAN FALLA de la metrica accuracy, producto de hacer el cociente entre positivos y negativos. 49

51 Estimacion de Probabilidad y Cascara Convexa de la curva ROC 5

52 Los Arboles de Decision generan una buena asignacion de probabilidades. Naive Bayes, Support Vector Machines y AdaBoost no generan una estimacion de probabilidad, y deben CALIBRADOS. La CALIBRACION de un clasificador se puede lograr entre otros metodos por: Estimacion Parametrica Binning Regresion Isotonica no parametrica. algoritmo Pool Adjacent Violators PAV 51

53 La CALIBRACION por medio el algoritmo e Pool Adjacent Violators PAV es EQUIVALENTE a reparar concavidades de una curva ROC utilizando la Convex Hull. ( Tom Fawcett, 27 ) Dado un dataset, y un clasificador, a partir del ranking, reparando concavidades en su Curva ROC, se RECALIBRAN las probabilidades, maximiza el AUC (area bajo la curva ROC) y maximiza el mean squared error de las probabilidades para cualquier eleccion de umbral de clasificacion y costos de misclasificacion. 52