Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris

Transcripción

1 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág. Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris José A. García Gutiérrez, Ingeniería en informática ETSI Informática, Universidad Nacional de Educación a Distancia, Calle Juan del Rosal, Madrid España alumno.uned.es Este trabajo se discute la aplicación de diferentes algoritmos de agrupamiento (clustering) a la clasificación de instancias del dataset iris, que contiene valores de diferentes atributos que caracterizan la flor de tres variedades del lirio: iris setosa, iris virginica e iris versicolor. Para ello utilizaremos distintos métodos de clasificación (Bayesiano, un árbol de decisión C4. y una estrategia de máquina de vectores de soporte) que se toman desde las últimas versiones e implementaciones que se encuentran disponibles en el repositorio CRAN para computación numérica en lenguaje R. También veremos cómo afectan las distintas configuraciones de validación cruzada a cada uno de los métodos e intentaremos establecer una comparación en precisión y rendimiento entre los diferentes métodos, estableceremos una hipótesis sobre la superioridad de unos sobre otros de acuerdo a su idoneidad de aplicación al dataset propuesto y realizaremos un contraste de hipótesis que nos permitirá afirmar con suficiente evidencia estadística las diferencias observadas. 2. Evaluación de algoritmos de aprendizaje automático sobre el mismo dominio 2. Descripción del experimento y configuración del entorno Evaluación de varios métodos predictivos sobre el problema de clasificación del conjunto de datos "Iris" aplicando la validación cruzada con k-folds = 0. La idea general será la de realizar la tarea de clasificación asociada con la identificación de las especies de lirios incluidos en el conjunto de datos Iris, mediante a la aplicación de varios métodos, al menos uno basado en redes bayesianas y otro basado en árboles de clasificación. Luego se aplicará el procedimiento propuesto para realizar la evaluación y comparación de los métodos utilizados. Con los resultados obtenidos se realizaron test de hipótesis para validar estadísticamente las diferencias entre los rendimientos de los métodos aplicados. A partir de una exploración inicial de los resultados obtenidos por estos dos métodos, se observó una clara ventaja del clasificador bayesiano sobre los arboles de decisión. Por esta razón decidimos incorporar otros algoritmos predictivos: Redes neuronales y Máquinas de vectores soporte (SVM). Igualmente se desarrolló un algoritmo en que fácilmente se pueden incorporar nuevos métodos de clasificación o cambiar la cantidad de iteraciones o ejecuciones y la cantidad de particiones o kfold. Para el desarrollo de este proceso de análisis vamos a requerir varios paquetes, como "e0" que contiene el método del clasificador bayesiano ingenuo, que puede interpretarse como un tipo básico de red bayesiana, así como el método de Máquinas de vectores de soporte (SVM). El paquete "rpart" contiene los algoritmos de clasificación basados en árboles de decisión. El paquete "nnet" implementa los algoritmos predictivos basado en redes neuronales. Además, utilizaremos el paquete "caret" que tiene funciones de apoyo para la creación de los conjuntos de partes que luego serán utilizados para aplicar el método de validación cruzada. suppresswarnings(suppressmessages(library(e0))) suppresswarnings(suppressmessages(library(rpart))) suppresswarnings(suppressmessages(library(caret))) suppresswarnings(suppressmessages(library(nnet))) suppresswarnings(suppressmessages(library(ggplot2))) suppresswarnings(suppressmessages(library(tidyr))) suppresswarnings(suppressmessages(library(dplyr))) suppresswarnings(suppressmessages(library(pander))) suppresswarnings(suppressmessages(library(shiny))) Para poder garantizar la reproducibilidad de los resultados vamos a definir una semilla para el generador de números aleatorios: set.seed(2) 2.2. Preparación de datos El conjunto de datos Iris está incluido por defecto en la instalación de base del lenguaje de programación R, por lo que solo debemos cargarlo en la memoria mediante la función data(). Luego extraemos las dimensiones de la tabla cargada y definimos el número de iteraciones o ejecuciones en niter y el número de partes en que se dividirá el dataset para la aplicación de la validación cruzada en cada ejecución con kfold: data(iris) datos iris n dim(datos)[] niter 0 kfold 0

2 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág. 2 Creamos las particiones asociadas a cada ejecución usando la createfolds() del paquete "caret" aplicada sobre cada una de las ejecuciones mediante la función lapply(): particiones lapply(:niter, function(x){ createfolds(:n, kfold) }) Luego creamos las estructuras de datos en results que guardará todos los resultados de la ejecución de cada uno de los métodos dentro de la validación cruzada (0 kfolds) y las 0 ejecuciones de la misma. Esta estructura es una lista de matrices donde se almacenarán los resultados de cada método: results list() metodos c("bayes", "arbol", "svm", "nnet") for(metod in metodos) results[[metod]] matrix(rep(0, niter*kfold), nrow=niter) 2.. Validación Cruzada El proceso de validación cruzada busca disminuir la varianza en el cálculo de las medidas de evaluación en tareas de clasificación, a la vez que permite la evaluación sobre toda el dataset. Además, evita los problemas asociados con el uso de toda el dataset o la división en tabla de aprendizaje y prueba. Para esto se divide el dataset en un conjunto de partes (flods) generadas aleatoriamente y luego aplica el algoritmo de clasificación al conjunto completo menos una de las partes, sobre la cual se realiza la evaluación (cálculo del error, precisión, etc). Este proceso se repite kfold veces y, en cada iteración, se deja por fuera una parte diferenciante. Al concluir se habrá revaluado el método sobre todas las partes generadas, tomándose como evaluación final el promedio de todas las evaluaciones realizadas. De esta forma se logra una evaluación más precisa de los errores. En nuestro caso aplicaremos este proceso un número de niter=0 veces, con el objeto de generar una muestra de evaluaciones que nos permita comparar varios métodos mediante la aplicación posterior de pruebas de hipótesis. for (i in :niter) { grupos particiones[[i]] # Este ciclo es el que hace la validación cruzada con 0 grupos (Folds) for (k in :kfold) { muestra grupos[[k]] tprueba datos[muestra, ] taprendizaje datos[-muestra, ] #Maquinas de vectores soporte modelo svm(species ~ Petal.Length+Petal.Width, data = taprendizaje, kernel = "radial") prediccion predict(modelo, tprueba) clase tprueba$species MC table(clase, prediccion) #Matriz de confusión results[["svm"]][i,k] sum(diag(mc)) / sum(mc) # precisión global #Redes neuronales modelo nnet(species ~ Petal.Length+Petal.Width, data = taprendizaje, size = 0, rang = 0., decay = e-04, maxit = 200, trace = FALSE) prediccion predict(modelo, tprueba, type = "class") clase tprueba$species MC table(clase, prediccion) #Matriz de confusión results[["nnet"]][i,k] sum(diag(mc)) / sum(mc) # precisión global #Clasificasor bayesiano modelo naivebayes(species ~ Petal.Length+Petal.Width, data = taprendizaje) prediccion predict(modelo, tprueba) clase tprueba$species MC table(clase, prediccion) #Matriz de confusión results[["bayes"]][i,k] sum(diag(mc)) / sum(mc) # precisión global #Arbol de decisión modelo rpart(species ~ Petal.Length+Petal.Width, data = taprendizaje) prediccion predict(modelo, tprueba, type = "class") clase tprueba$species MC table(clase, prediccion) #Matriz de confusión results[["arbol"]][i,k] sum(diag(mc)) / sum(mc) # precisión global } } El ciclo más externo realiza las iteraciones o ejecuciones (niter=0 veces). En cada ciclo se selecciona un conjunto de partes diferente (de los generados dentro de particiones) y se le asigna a la variable grupos. Luego, en el ciclo más interno se ejecuta la validación cruzada propiamente (kfold=0 veces), dentro de cada una de estas iteraciones se selecciona como tabla de pruebas a los datos del conjunto asociados con el grupo o fold correspondiente y la tabla de aprendizaje como todos los demás, luego se aplica al conjunto de datos de entrenamiento los algoritmos de clasificación. Con los modelos generados en cada caso de realiza una predicción sobre el dataset de pruebas y se generan matrices de confusión de la cual se calculan las precisiones globales de cada aplicación. Este proceso genera una matriz para cada método que son insertadas en la lista results. Aquí podemos ver la matriz de resultados del método del clasificador bayesiano ingenuo (naive bayes) de dimensiones niter x kfold (0 x 0 = 00): fold fold2 fold fold4 fold fold fold fold8 fold9 fo

3 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág Aquí podemos ver la matriz de resultados del método de árbol de decisión (rpart()) de dimensiones niter x kfold (0 x 0 = 00): fold fold2 fold fold4 fold fold fold fold8 fold9 fo Ordenación de las evaluaciones por ejecución Ahora procedemos a ordenar las evaluaciones para cada una de las ejecuciones de cada uno de los algoritmos aplicados: resulord results for( metod in metodos ) for( i in :niter ){ ordenado sort(results[[metod]][i,]) for(j in :kfold) } resulord[[metod]][i,j] ordenado[j] Quedando la estructura de resultados para el mismo caso de árbol de clasificación como vemos en el siguiente ejemplo de las primeras ejecuciones: fold fold2 fold fold4 fold fold fold fold8 f9 f Generación de las muestras Según nuestra segunda interpretación del procedimiento propuesto, generaremos la muestra para realizar la comparación entre métodos, mediante el cálculo de los promedios de las evaluaciones sobre las ejecuciones para cada uno de los folds: Resultados2 data.frame(fold= :kfold, Bayes = apply(resulord[["bayes"]], 2, mean), Arbol = apply(resulord[["arbol"]], 2, mean), SVM = apply(resulord[["svm"]], 2, mean), NNet = apply(resulord[["nnet"]], 2, mean) Observemos que hemos empleado en el segundo parámetro de la función apply el valor 2, que representa que la función mean será aplicada a las columnas de la matriz de resultados, es decir, sobre las diferentes ejecuciones. Generándose una lista de evaluaciones promedio para cada uno de los folds. Aquí podemos ver el resultado obtenido en el data.frame: Fold Bayes Arbol SVM NNet Se observa que la tabla contiene solo 0 filas, debido a que la validación cruzada está definida con ese valor para kfold. Luego calculamos algunas diferencias de los vectores obtenidos entre diferentes métodos y los agregamos en una

4 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág. 4 nueva tabla dos columnas (Algoritmo y Diferencia) para facilitar su Graficado: Diferencias2 data.frame( Fold= :kfold, Bayes_Arbol = Resultados2$Bayes - Resultados2$Arbol, NNet_Bayes = Resultados2$NNet - Resultados2$Bayes, Bayes_SVM = Resultados2$Bayes - Resultados2$SVM, SVM_Arbol = Resultados2$SVM - Resultados2$Arbol ) Datos2 gather(diferencias2, "Algoritmo", "Diferencia", 2:) Quedando la tabla de diferencias así: Para tener una mejor visión de las distribuciones de las diferencias construimos un gráfico de densidades que nos muestra una clara diferencia entre los comportamientos de las diferencias entre ciertos métodos: ggplot(data=datos2, mapping=aes(x=diferencia, fill=algoritmo)) + geom_density(aes(y =..density..), position = "identity", color = "black", alpha = 0.) + ggtitle("distribución de diferencias de precisión por algoritmo") Fold Bayes_Arbol NNet_Bayes Bayes_SVM SVM_Arbol Graficado de las diferencias Se observa que casi todos los vectores de diferencias tienen una tendencia de valores ligeramente superiores al cero, lo que sugiere que las diferencias entre estos métodos pudieran ser significativas. Podemos ver estos valores gráficamente: ggplot(data=datos2, mapping=aes(x=fold, y=diferencia, color=algoritmo),) + geom_line(size=) + ggtitle("precisiones según cada Fold "). Validación de los resultados y prueba de hipótesis Para validar estas diferencias aplicaremos una prueba de hipótesis simple, en la que asumiremos como hipótesis nula que las medias de los rendimientos entre los dos métodos a comparar son iguales, por lo que su diferencia es cero. Como hipótesis alternativa propondremos que la diferencia es distinta de cero, dado que como vemos en los resultados, estas diferencias pueden ser positivas o negativas, es decir que se trata de una prueba de dos colas, en la que desconocemos la varianza, que junto al hecho de que solo contamos con muestras de tamaño kfold (0) nos lleva a utilizar la distribución t de student para modelar el estadístico de prueba: Definición de las hipótesis H0: µ = 0; H: µ <> 0; Nivel de confianza - α = 0.9; α = 0.0; Estadístico de prueba Donde es la media muestral

5 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág. y es la varianza muestral Puntos críticos de la región de rechazo (intervalo de confianza) Regla de rechazo de la hipótesis nula (Ho).2. Aplicación del Test Este test de hipótesis se puede aplicar con la función t.test() que puede recibir como parámetros uno o dos vectores, la hipotesis nula ( ), el tipo de hipostesis alternativa ("two.sided", "less", "greater") y el nivel de confianza ( ). En nuestro caso usaremos un solo vector: el vector de diferencias entre las evaluaciones. Los resultados para las diferencias entre el método del clasificador bayesiano y el de árboles de clasificación son los siguientes: t_bayes_arbol <- t.test(diferencias2$bayes_arbol, conf.level = 0.9) print(t_bayes_arbol) One Sample t-test data: Diferencias2$Bayes_Arbol t = 4., df = 9, p-value = alternative hypothesis: true mean is not equal to 0 9 percent confidence interval: sample estimates: mean of x Que da como resultado un Pvalor = <= α por lo que podemos considerar a la evidencia estadística suficiente para rechazar la hipótesis nula. Es decir que las diferencias entre los dos métodos son significativas y no son debidas a la aleatoriedad. Ahora veamos el test aplicado a la diferencia entre los resultados de la Red neuronal y el clasificado bayesiano ingenuo: t_nnet_bayes <- t.test( Diferencias2$NNet_Bayes, conf.level = 0.9) print(t_nnet_bayes) One Sample t-test data: Diferencias2$NNet_Bayes t = 0.00, df = 9, p-value = 0.92 alternative hypothesis: true mean is not equal to 0 9 percent confidence interval: sample estimates: mean of x Dando como resultado un por lo que no hay evidencia estadística suficiente para rechazar la hipótesis nula de igualdad de las medias de las evaluaciones de los dos métodos. Aplicamos un nuevo test sobre la diferencia entre el clasificador bayesiano ingenuo y las máquinas de vectores soporte: t_bayes_svm <- t.test(diferencias2$bayes_svm, conf.level = 0.9) print(t_bayes_svm) One Sample t-test data: Diferencias2$Bayes_SVM t =.4, df = 9, p-value = 0.2 alternative hypothesis: true mean is not equal to 0 9 percent confidence interval: sample estimates: mean of x Donde vemos que no podemos rechazar la hipótesis nula. Y por último un test sobre SVM y Arboles de decisión: t_svm_arbol <- t.test(diferencias2$svm_arbol, conf.level = 0.9) print(t_svm_arbol) One Sample t-test data: Diferencias2$SVM_Arbol t = 4.482, df = 9, p-value = alternative hypothesis: true mean is not equal to 0 9 percent confidence interval: sample estimates: mean of x Mostrando que se puede rechazar la hipótesis nula de igualdad... Promedio sobre los Folds En vista de estas observaciones decidimos repetir las pruebas, pero ahora calculando los promedios sobre los resultados de cada validación cruzada, es decir, sobre los folds, generando así, un valor por cada ejecución. Este

6 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág. procedimiento se beneficiará de la posibilidad de realizar un mayor número de ejecuciones por lo que reasignaremos la variable niter a valor de 0: set.seed(2) niter 0 kfold 0 Y luego repetimos el proceso del cálculo de la validación cruzada. Este proceso genera una matriz para cada método que es insertado en la lista results Aquí podemos ver un ejemplo las primeras (de 0) ejecuciones de la matriz de resultados del método de árbol de clasificación rpart de dimensiones niter x kfold (0 x 0 = 00): fold fold2 fold fold4 fold fold fold fold8 fold9 fo El primer cálculo que hacemos sobre los resultados obtenidos sobre cada algoritmo es el de su media y varianza: Algoritmo Media Desv Bayes Árbol SVM NNet Donde podemos observar claras diferencias no solo en las medias sino también sus desviaciones estándar. A continuación, se presenta un gráfico con los resultados obtenidos por cada método a lo largo de todas las ejecuciones: ggplot(data=datos, mapping=aes(x=ejecución, y=precision, color=algoritmo),) + geom_line(size=) + ggtitle("precisión global según validación cruzada por algoritmo").4. Evaluación de los promedios obtenidos por validación cruzada Según la propuesta clásica de la validación cruzada, la evaluación generada por cada ejecución se calcula con el promedio obtenido de las evaluaciones realizadas sobre cada uno de los folds: Resultados data.frame(ejecución= :niter, Bayes = apply(results[["bayes"]],, mean), Arbol = apply(results[["arbol"]],, mean), SVM = apply(results[["svm"]],, mean), NNet = apply(results[["nnet"]],, mean) ) Datos gather(resultados, "Algoritmo", "Precisión", 2:) Observemos que hemos empleado en el segundo parámetro de la función apply, el valor, que nos indica, que las funciones mean será aplicada a las filas de la matriz de resultados, es decir, sobre los diferentes folds. Generándose una lista de evaluaciones promedio para cada una de las ejecuciones. Aquí podemos ver el resultado obtenido en las primeras ejecuciones, en el data.frame: Ejecución Bayes Arbol SVM NNet Aquí se puede ver mejor como hay cierta estabilidad en los diferentes métodos, pero además se mueven en rangos un poco diferentes entre sí. Veamos cómo se distribuyen los resultados de las evaluaciones (precisiones globales) de los métodos empleados: ggplot(data=datos, mapping=aes(x=precision, fill=algoritmo)) + geom_density(aes(y =..density..), position = "identity", color = "black", alpha = 0.) + ggtitle("distribución de la precisión según algoritmo utilizado")

7 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág. En esta oportunidad podemos aplicar una prueba de hipótesis de diferencia de medias de la T de Student de dos muestras con varianzas diferentes: Prueba de hipótesis sobre las diferencias entre naivebayes y rpart t_bayes_arbol t.test( Resultados$Bayes, Resultados$Arbol, var.equal = FALSE, conf.level = 0.9) print(t_bayes_arbol) Se observa que los mejores resultados son obtenidos por las Redes neuronales, seguido del clasificador bayesiano ingenuo, luego las máquinas de vectores soporte y, por último, los arboles de decisión. Aquí se puede ver el mismo resultado pero separando cada gráfica de densidad en un gráfico diferente: ggplot(data=datos, mapping=aes(x=precision, fill=algoritmo)) + geom_density(aes(y =..density..), position = "identity", color = "black", alpha = 0.) + facet_grid(algoritmo ~.) + ggtitle("distribución de la precisión según algoritmo utilizado") Welch Two Sample t-test data: Resultados$Bayes and Resultados$Arbol t = 2.4, df =., p-value < 2.2e- alternative hypothesis: true differ in means is not equal to 0 9 percent confidence interval: sample estimates: mean of x mean of y Prueba de hipótesis sobre las diferencias entre naivebayes y svm t_bayes_svm t.test( Resultados$Bayes, Resultados$SVM, var.equal = FALSE, conf.level = 0.9) print(t_bayes_svm) Welch Two Sample t-test data: Resultados$Bayes and Resultados$SVM t = 0.20, df =.0, p-value =.e- alternative hypothesis: true differ in means is not equal to 0 9 percent confidence interval: sample estimates: mean of x mean of y Prueba de hipótesis sobre las diferencias entre svm y rpart Solo resta verificar estas observaciones con las respectivas pruebas de hipótesis que corroboren si estas diferencias son estadísticamente significativas... Aplicación de la prueba de hipótesis t_svm_arbol t.test(resultados$svm, Resultados$Arbol, var.equal = FALSE, conf.level = 0.9) print(t_svm_arbol) Welch Two Sample t-test data: Resultados$SVM and Resultados$Arbol t = 8.442, df =.22, p-value < 2.2e-

8 Poniendo R a trabajar: Evaluación y comparativa de varios algoritmos de inducción utilizando el dataset iris. pág. 8 alternative hypothesis: true differ in means is not equal to 0 9 percent confidence interval: sample estimates: mean of x mean of y Prueba de hipótesis sobre las diferencias entre nnet y naivebayes t_nnet_bayes t.test(resultados$nnet, Resultados$Bayes, var.equal = FALSE, conf.level = 0.9) print(t_nnet_bayes) Welch Two Sample t-test data: Resultados$NNet and Resultados$Bayes t =.8, df =.80, p-value = alternative hypothesis: true differ in means is not equal to 0 9 percent confidence interval: sample estimates: mean of x mean of y Observaciones y conclusiones al estudio En las páginas anteriores hemos realizado una comparación de los algoritmos de clasificación más conocidos utilizando para ello las distintas implementaciones de las que dispone R. 2. La aplicación del test sobre el vector de diferencias (una sola muestra) impide aplicar un test de hipótesis que considere la posibilidad de que las muestras a comparar tengan varianzas diferentes (como sucede en las pruebas realizadas). Obviando lo anterior, en general, se verificaron diferencias significativas entre todos los métodos, permitiendo descartar la aleatoriedad como la causa de las mismas. Es decir que para este problema en particular algunos métodos tienen mejores resultados y son más adecuados que otros. REFERENCIAS [Lopez & Herrero 04] López, J. M., & Herrero, J. G. (2004). Técnicas de análisis de datos. Universidad Carlos III, Madrid. [Bouckaert 04] R. Bouckaert. Bayesian network classifiers in Weka. Tech. rep. 4/2004. Department of Computer Science, Hamilton, New Zealand: The University of Waikato. [Bhargava et al. ] Bhargava, N., Sharma, G., Bhargava, R., & Mathuria, M. (20). Decision tree analysis on j48 algorithm for data mining. Proceedings of International Journal of Advanced Research in Computer Science and Software Engineering, (). [Loh 08] Loh, W. Y. (2008). Classification and regression tree methods. Encyclopedia of statistics in quality and reliability. [Jiawei 0] Jiawei Han. (200) Data Mining: Concepts and Techniques. San Francisco, CA, USA: Morgan Kaufmann Publishers. Todos los métodos se aplicaron sobre el mismo banco de datos (iris) lo que nos ha permitido realizar una medida de rendimiento que enfrente a los métodos uno a uno para intentar obtener medidas de la diferencia de rendimiento entre ellos con suficiente significancia estadística. Por ello se utilizó un test t-student para descartar que tales diferencias realmente ocurrieron y son medibles. Sin embargo, dado el pequeño tamaño del dataset y su relativa sencillez no es recomendable extrapolas conclusiones generales ya que para hacerlo deberíamos utilizar diferentes datasets de distintos tamaños y distinta naturaleza de datos y repetir los experimentos un número suficiente de veces lo que nos asegure que minimizamos la influencia del azar y el sesgado que puedan contener los datos. Además, de la forma en que se realiza el experimento podemos identificar al menos dos debilidades que pudieran haber afectado los resultados:. El cálculo de los promedios sobre las ejecuciones en lugar de hacerlo sobre los folds como lo propone el equipo de Weka, provoca que nuestra muestra tenga un número muy pequeño de observaciones (igual a kfold), esto pudiera provocar un menor nivel de certeza en la decisión. No menos queda claro cuál sería la ventaja de incrementar el número de ejecuciones, dado que la muestra final seguía siendo del mismo tamaño.