NEWTON TREES. Árboles de Estimación Estocástica de Probabilidades:

Transcripción

1 Tesis de Máster en Ingeniería del Software, Métodos Formales y Sistemas de Información Árboles de Estimación Estocástica de Probabilidades: NEWTON TREES Autor: Fernando Martínez Plumed 1 Directores: Cèsar Ferri Ramirez María José Ramírez Quintana

2 2 ÍNDICE 1. Introducción 2. Newton Trees 3. Valores Faltantes 4. Experimentación 5. Conclusiones y Trabajo Futuro

3 1 1.1 Minería de Datos 1.2 Tareas y Técnicas 1.3 Árboles de Decisión 1.4 PET s 1.5 DBDT 1.6 Motivación Introducción 3

4 4 Introducción 1.1 Minería de Datos Definiciones: Proceso de extracción de información y patrones de comportamiento que permanecen ocultos entre grandes cantidades de información. Proceso que a través del descubrimiento y cuantificación de relaciones predictivas en los datos, permite transformar la información disponible en conocimiento útil.

5 5 Introducción 1.1 Minería de Datos Información Relaciones CONOCOMIENTO ÚTIL Y PATRONES OCULTOS

6 6 Introducción 1.2 Tareas y Técnicas Tareas: Predictivas: se trata de problemas y tareas en los que hay que predecir uno o más valores para uno o mas ejemplos. Los ejemplos en la evidencia van acompañados de una salida (clase, categoría o valor numérico) o un orden entre ellos. Dependiendo de como sea la correspondencia entre los ejemplos y los valores de salida y la presentación de los ejemplos podemos definir varias de tareas predictivas: Clasificación y Regresión

7 7 Introducción 1.2 Tareas y Técnicas Tareas: Descriptivas: los ejemplos se presentan como un conjunto δ = {e : eϵe}, sin etiquetar ni ordenar de ninguna manera. El objetivo, por tanto, no es predecir nuevos datos sino describir los existente: Asociaciones, Dependencias, Correlaciones y Agrupamiento.

8 8 Introducción 1.2 Tareas y Técnicas:Taxonomía T A R E A S DESCRIPTIVOS PREDICTIVOS Relación entre Variables (Atributos) Relación entre Individuos (Ejemplos) Asociaciones y Dependencias (si las variables son categoricas) Correlaciones (si las variables son numericas) Agrupamiento Clasificación (si la variable de salida es categórica) Regresión (Si la variable de salida es numérica)

9 9 Introducción 1.2 Tareas y Técnicas:Taxonomía Técnicas: Con Modelo EAGER Reg. Lineal K-means Arboles de Decisión Reglas ILP, IFLP Representables en forma de reglas Sin Modelo o No inteligible Perceptron Learning Radial Basis Functions. Bayes Classifiers Métodos Kernel y SVM LAZY Reg. Lineal Pond. Local CBR K-NN (Nearest Neighbour) Útiles para extracción de conocimiento

10 10 Introducción 1.2 Tareas y Técnicas:Taxonomía TÉCNICA Redes Neuronales Arboles de Decisión Kohonen Regresion Lineal, Regresión Logística Kmeans A priori Analisis Multivariante CN2 K-NN RBF Bayes Classifiers PREDICTIVO / SUPERVISADO DESCRIPTIVO / NO SUPERVISADO Clasificación Regresión Clustering Reglas Asociación Otros (Fact., Correl.)

11 11 Introducción 1.3 Árboles de Decisión Los árboles de decisión son una de las técnicas más populares y potentes en Aprendizaje Automático y Minería de Datos. Clasificadores para clasificar instancias (datos) representadas como vectores de características (features). Se basan en la idea de particionar recursivamente el conjunto de entrenamiento en conjuntos cada vez más pequeños hasta que el conjunto es puro. Nodos Condiciones (atributo seleccionado).

12 12 Introducción 1.3 Árboles de Decisión Ventajas: Buenos resultados en Accuracy. Desventajas: Tratamiento heterogeneo de un limitado número de tipos de datos (nominales y numericos). ID3, C4.5 o C5.0 [Quinlan], CART [Breiman].

13 13 Introducción 1.3 Árboles de Decisión

14 14 Introducción 1.4 PETs Variación de los árboles de decisión clásicos donde la salida proporcionada es una probabilidad. No modifican la manera de construir los árboles: usan criterios, particiones y métodos de poda diseñados para otras tareas o medidas. Buenos resultados en términos del AUC (Area Under the Curve) y MSE (Mean Squared Error). Aunque los PETs retornan probabilidades, no son probabilísticos en términos de cómo se usa el árbol para clasificar nuevas instancias.

15 15 Introducción 1.5 DBDT Distance-Based Decision Trees Uso de distancias y funciones de similitud para diseñar árboles de decisión más flexibles. Permite tratar cualquier tipo de datos en el que se puedan definir distancias. Devuelve un árbol de prototipos de clase (nodos en el árbol). Un ejemplo caerá en un nodo dado dependiendo de su proximidad al prototipo de clase.

16 16 Introducción 1.5 DBDT dnum(x,y) diferencia absoluta dnom(x,y) función identidad

17 17 Introducción 1.6 Motivación Presentación de un nuevo método de inducción de árboles de decisión, los Newton Trees. Trabajan con cualquier tipo de datos. Manejan de forma uniforme las distintas características. Probabilísticos en su uso haciendo que cada instancia recorra todo el árbol y no sólo una rama.

18 2 2.1 Newton Trees 2.2 Particiones Gravitacionales 2.3 Generación del Árbol 2.4 Cálculo Estocástico de la Probabilidad 2.5 Comprensibilidad 18 Newton Trees

19 19 Newton Trees Newton Trees Particiones 2.1 Newton Trees Gravitacionales Árboles de Estimación Estocástica de Probabilidades. Construcción, uso y representación del árbol basados en el principio de atracción. Las probabilidades se derivan también a partir de dicho principio. Árbol de prototipos. Representación gráfica del árbol sencilla de interpretar. Los árboles son univariantes, pero sus particiones no son necesariamente paralelas a los ejes.

20 20 Newton Trees Newton Trees Particiones 2.2 Particiones Gravitacionales Gravitacionales Particiones nodo/cluster por clase. Cada nodo/cluster es caracterizado por un prototipo (medioide). A partir de los medioides calculados, los datos se distribuyen de acuerdo a la siguiente función de atracción:

21 21 Newton Trees Newton Trees Particiones 2.3 Generación del árbol Gravitacionales 1. Para cada atributo Xr y cada clase i, se calcula un prototipo πr,i. 2. Seleccionar el atributo que maximice algún criterio de partición (Gain Ratio). 3. Se asocia cada instancia de entrenamiento a su prototipo más próximo. 4. Si la partición es impura ir a 1, si no Fin.

22 22 Newton Trees 2.4 Cálculo estocástico de la probabilidad Newton Trees Particiones Gravitacionales 1. Computar, desde la raíz a las hojas, la probabilidad de caer en cada nodo. 2. Calcular el vector de probabilidad en cada hoja.

23 23 Newton Trees 2.4 Cálculo estocástico de la probabilidad Newton Trees Particiones Gravitacionales 3. Propagar hacia arriba este vector para obtener en la raíz el vector total de probabilidad p(root,e)

24 Newton Trees p = 11 0 p = p = 2 1 p = 0 Instancia a clasificar: (FEMALE,NO)

25 3 3.1 Valores Faltantes 3.2 Valores Faltantes en C Valores Faltantes en Newton Trees 3.4 Ejemplo Valores Faltantes 25

26 26 Valores Faltantes 3.1 Valores Faltantes Qué pasa cuando parte de los datos están incompletos, como ocurre generalmente con cualquier conjunto de datos de la vida real? Descartar una proporción importante de los datos por incompletos y declarar algunos casos como inclasificables. Adaptar los algoritmos para poder trabajar con atributos con valores faltantes.

27 27 Valores Faltantes 3.2 Valores Faltantes en C4.5 Quinlan mostró que la combinación de todos los posibles resultados con un valor faltante en el ejemplo de test en la fase de clasificación proporciona una mejor precisión general que otros enfoques. Para clasificar un ejemplo e, éste se propaga por todas las ramas para calcular su probabilidad de forma proporcional al número de instancias de entrenamiento (con valores conocidos para el atributo de partición). El algoritmo C4.5 adopta esta aproximación.

28 28 Valores Faltantes 3.3 Valores Faltantes en Newton Trees Aproximación en Newton Trees: para atributos con valores faltantes se asume que la distancia a cualquier prototipo es igual, tal que: Se ignoran los valores faltantes en la fase de aprendizaje. Se establece constante (igual a 1) el valor de la distancia a cualquier prototipo.

29 29 Valores Faltantes 3.4 Ejemplo Instancia de Test: (FEMALE,?)

30 4 4.1 Configuración 4.2 Resultados Experimentación 30

31 31 Experimentación 4.1 Configuración Newton Trees vs J48 (sin poda y con suavizado de Laplace en las hojas) implementado en WEKA. Gain Ratio. 30 Datasets extraídos del repositorio UCI. 20 repeticiones x 5 folds Cross Validation. Métricas de evaluación: Accuracy, AUC y MSE. Tests estadisticos (Wilcoxon signed-ranks)

32 Resultados Tabla 1. Comparativa Global (30 Datasets) Newton Trees Unpruned Laplace J48 Acc. AUC MSE Acc. AUC MSE Media 82,091 0,866 0,100 80,728 0,842 0,110 Media (Binarios) Media (> 2 Clases) 83,650 0,867 0,115 81,339 0,831 0,133 80,308 0,866 0,084 80,031 0,854 0,083 Nominales 90,159 0,931 0,069 87,310 0,894 0,080 Numéricos 79,703 0,860 0,118 79,422 0,848 0,127 Mixtos 77,205 0,810 0,109 75,888 0,781 0,118

33 Resultados Tabla 2. Comparativa Valores Faltantes (7 Datasets) Newton Trees Unpruned Laplace J48 Acc. AUC MSE Acc. AUC MSE Media 83,934 0,874 0,095 83,641 0,860 0,100 Media (Binarios) Media (Clases >2) 84,531 0,853 0,111 83,454 0,838 0,119 82,440 0,926 0,056 84,108 0,914 0,053

34 5 5.1 Conclusiones 5.2 Trabajo futuro 5.3 Artículos Relacionados Conclusiones y Trabajo Futuro 34

35 35 Conclusiones 5.1 Conclusiones Novedoso método de aprendizaje de árboles de estimación estocástica de probabilidad, los Newton Trees. El uso de medioides permite el tratamiento homogéneo de cualquier tipo de datos. Representación grafica inteligible. Adaptación para el tratamiento de valores faltantes.

36 36 Conclusiones 5.1 Conclusiones Los resultados obtenidos en las distintas pruebas llevadas a cabo cumplen nuestras expectativas en cuanto a homogeneidad (en el tratamiento de los tipos de datos), transparencia (tratamiento de los datos inteligible), eficiencia (con un coste bajo) y eficacia (con resultados significativamente mejores a que los obtenidos con el j48).

37 37 Conclusiones 5.2 Trabajo Futuro AUC como criterio de partición. Extensión de los Newton Trees a otros métodos de aprendizaje como la regresión o el clustering. Tratamiento de datos estructurados (cadenas, listas, ). Clasificación de instancias multi-etiqueta.

38 39 Introducción 5.3 Artículos Relacionados F. Martinez-Plumed, V. Estruch, C. Ferri, J. Hernandez- Orallo, and M. J. Ramrez-Quintana. Newton trees, 23rd Australasian Joint Conference on Artificial Intelligence, AI 2010,(LNCS), Adelaide, Australia. F. Martinez-Plumed, V. Estruch, C. Ferri, J. Hernandez- Orallo, and M. J. Ramrez-Quintana. Tratamiento de Valores Faltantes en Newton trees, V Simposio de Teoría y Aplicaciones en Minería de Datos, TAMIDA 2010, Valencia, España. F. Martinez-Plumed, V. Estruch, C. Ferri, J. Hernandez- Orallo, and M. J. Ramrez-Quintana. Newton trees. Extended Technical Report, DSIC UPV 2010,

39 40 Gracias!