Un nuevo modelo formal de agregación difusa para máquinas vectores soporte multicategoría uno frente a uno

Transcripción

1 Un nuevo modelo formal de agregación difusa para máquinas vectores soporte multicategoría uno frente a uno J.M. Puche puche@decsai.ugr.es J.M. Benítez J.M.Benitez@decsai.ugr.es J.L. Castro castro@decsai.ugr.es C.J. Mantas cmantas@decsai.ugr.es Resumen Inicialmente, las máquinas de vectores soporte (SVMs 1 ) se diseñaron para resolver problemas de clasificación binaria. Sin embargo, gran cantidad de problemas reales de clasificación no son binarios sino multicategoría. Este artículo se centra en el conjunto de técnicas que extienden estas máquinas para resolver problemas multicategoría utilizando clasificación de clases por parejas y que aprovechan los resultados de la Teoría de Conjuntos Difusos para mejorar su rendimiento e interpretabilidad. Palabras Clave: Máquinas vectores soporte, clasificación multicategoría, agregación difusa. 1. Introducción Las máquinas de vectores soporte (SVMs) surgen como un paradigma de aprendizaje dedicado a la resolución de problemas de clasificación. Su buena capacidad de generalización es debido a que el modelo se fundamenta en una sólida base matemática, la Teoría de Aprendizaje Estadístico o Teoría de Vapnik Chervonenkis [20]. Inicialmente, una SVM permitía resolver problemas de clasificación binaria. Su extensión para resolver problemas de clasificación multicategoría no es única y se considera un campo activo de investigación. A grandes rasgos, podemos subdividir los métodos para extender este modelo a la resolución de problemas multicategoría en cinco grandes grupos: 1 Término en inglés, Support Vector Machine. En primer lugar, tenemos un conjunto de métodos que se basa en resolver un único problema de optimización que tiene en cuenta todos los datos y clases a la vez [7, 16, 21] (AO 2 ). La aproximación más clásica [20] consiste en reducir el problema multicategoría a resolver un conjunto de problemas binarios, considerando clasificadores binarios que separan los datos de una clase frente a los del resto de clases (OvA 3 ). Al igual que en el caso anterior, el problema multiclase se reduce a resolver un conjunto de problemas binarios, pero en esta ocasión y a diferencia del caso anterior, cada uno de los clasificadores binarios es del tipo uno frente a uno [14] o lo que es igual, considerando un clasificador binario por cada pareja de clases (PWC 4 ). Métodos basados en obtener la distribución de probabilidad subyacente de los conjuntos de datos [22, 23]. Formalmente, para que estos métodos puedan aplicarse se deben cumplir una serie de hipótesis iniciales que no siempre son sencillas de verificar. Por último, [9] se aplica por primera vez la técnica de codificación de la salida de códigos de error (ECOC 5 ) a la resolución de problemas multicategoría. Posteriormente, en [3] se describe una generalización de la técnica anterior (añade un nuevo símbolo) que permite representar todas las posibles divisiones binarias del problema multicategoría. En concreto, la manera de disponer los datos en meta clases para entrenar clasificadores binarios se corresponde con la codificación de clases que se utiliza en ECOC. Por otro lado, las diversas técnicas OvA y PWC para, a partir de las salidas 2 Término en inglés, all-at-once. 3 Término en inglés, one-versus-all. 4 Término en inglés, pairwise classification o all-pairs. 5 Término en inglés, error correcting output code.

2 de los clasificadores binarios, obtener la clase final para un ejemplo se corresponderían con técnicas de descodificación. Gran parte de los métodos anteriores son ampliamente revisados en [11, 18]. Cuando se extienden las SVMs a problemas multicategoría utilizando OvA o PWC pueden aparecer regiones sin clasificar, en estas regiones se requieren reglas de desempate que nos permitan realizar la clasificación de los datos que caen en su interior. Abe e Inoue fueron los pioneros en introducir el uso de conceptos de lógica difusa en los modelos de SVMs para multicategoría para evitar las regiones sin clasificar tanto utilizando técnicas OvA como PWC. El rendimiento y validez de sus modelos se muestra en [2, 12, 13]. En este artículo, nos centramos en los métodos PWC para SVMs multicategoría. A pesar de esto nuestra propuesta también se puede aplicar a OvA, como se hizo en [12] Objetivos Nuestro objetivo es proponer un modelo difuso para PWC SVMs multicategoría que extienda el modelo difuso de Abe e Inoue [2] que utiliza el operador mínimo, partiendo de que una clase es rechazada utilizando únicamente la información existente en su contra, en los puntos siguientes: Obteniendo grados de pertenencia para las clases que pertenezcan al intervalo unidad, lo cual es un un estándar en el área de la Teoría de Conjuntos Difusos (FST 6 ). Esto no ocurre con el modelo de Abe et. al. Una clase es rechazada teniendo en cuenta toda la información existente en su contra. Utilizaremos el operador suma aritmética para realizar la agregación de dicha información. En este sentido, nuestro modelo generaliza al propuesto por Abe e Inoue que aplica el operador mínimo. Como veremos en determinados casos esto permite aumentar el rendimiento de estos métodos Estructura del trabajo Este artículo se divide en las siguientes secciones. A continuación en la Sección 2.1, motivaremos el modelo que presentamos en este artículo para seguidamente comenzar la descripción del mismo en la Sección Término en inglés, Fuzzy Set Theory. Continuamos en la Sección 3 con un análisis empírico que muestra el buen rendimiento del método que proponemos. Finalmente, expondremos algunas conclusiones así como trabajo futuro. 2. Modelo difuso para la agregación de clasificadores uno frento a uno 2.1. Motivación En la aproximación convencional un problema multiclase con K clases es resuelto convirtiéndolo en K problemas de clasificación binarios. En cada uno de los cuales, los datos pertenecientes a la clase i-ésima son separados de las restantes clases. Kressel [14] convierte un problema multiclase con K clases en K(K 1)/2 problemas de clasificación binaria, a este esquema se le denomina PWC. Sea P un problema multicategoría con K clases a resolver utilizando PWC SVMs. Al clasificar un dato podemos distinguir los dos escenarios siguientes: 1. Hay una clase con K 1 votos positivos a su favor. 2. Todas las clases tienen al menos un voto en contra. Este último escenario de aquí en adelante lo vamos a considerar el caso problemático. A continuación, vamos a describir brevemente los principales métodos PWC con sus ventajas y desventajas: Recuento de votos. Un dato que se evalúa pertenece a la clase que sume mayor número de votos positivos. Una clase i se dice que obtiene un voto positivo cuando una de las SVMs binarias que clasifican esta clase frente a cualquiera de las clases restante responda que es de clase i. Sea un hiperplano que clasifica los datos de la clase i frente a los datos de la clase j, un voto negativo para la clase i significa que el hiperplano ha clasificado el dato perteneciente a la clase j. Al usar esta técnica de recuento de votos pueden aparecer regiones sin clasificar. Estas regiones aparecen cuando un conjunto de clases tienen el mismo número máximo de votos positivos. Ésta es una desventaja de este método. DDAG. Para resolver el problema de las regiones sin clasificar y aliviar el coste computacional de evaluar K (K 1)/2 SVMs binarias (estamos suponiendo un problema multiclase con K clases), Platt et al. propusieron aplicar el algoritmo DDAG. Este método clasifica un ejemplo en K 1 pasos. En cada etapa, utiliza una frontera de decisión

3 que clasifica los datos de la clase i frente a los de la clase j, de forma que tras evaluar dicha SVM binaria una de las dos clases es descartada. Si la SVM binaria indica que el dato pertenece a la clase i, entonces el algoritmo DDAG descarta la clase j. Desde este punto de vista, este método se basa en el uso de la información negativa proporcionada por las SVMs binarias para obtener la clase final para un dato a clasificar. La desventaja de esta técnica se produce cuando todas las clases tienen al menos un voto en contra. En este caso, los datos que se encuentran en estas regiones se clasifican siguiendo un proceso no determinístico, el cual depende de la estructura del DAG [1]. Fuzzy Pairwise SVM (FPWSVM). Este método también se propone para resolver las regiones sin clasificar. El modelo propuesto por Abe e Inoue [2] tiene en cuenta la fuerza de la salida continua de cada función de decisión asociada a cada clase para calcular a partir de la misma un grado de pertenencia no estándar del dato a cada clase. Si el dato pertenece al caso problemático, FPWSVM considera la cantidad de información negativa que proporciona la función de decisión para obtener la clase para el dato evaluado, al igual que hace el método DDAG. Al tener en cuenta la fuerza de dicha información negativa evita el problema del DDAG para los datos en la región problemática, asignándoles una clase siguiendo un proceso determinístico. El modelo difuso que se propone no es estándar, ya que los grados de pertenencia para las clases pertenecen al intervalo (, 1]. Mientras que en Teoría de Conjuntos Difusos (FST), los grados de pertenencia caen en el intervalo unidad. El grado de pertenencia a una clase de un dato se obtiene agregando los grados de pertenencia que se obtienen de cada función de decisión utilizando el operador del mínimo min o de la media aritmética avg. El operador de la media aritmética tiene un comportamiento inestable [2, 19] en las Fuzzy Pairwise Least Square SVMs. Cuando se utiliza el operador min, este modelo solamente considera la fuerza del voto más negativo para clasificar el dato. Esta aproximación en ciertas situaciones no funciona correctamente, ya que ignora la restante información negativa para decidir si se descarta o no una clase. Para superar las desventajas de los métodos anteriores, proponemos un nuevo modelo que auna los puntos fuertes de los modelos anteriores: Del recuento de votos toma el agregar la información utilizando el operador suma. Del algoritmo DDAG utiliza la idea de usar las funciones de decisión de las SVMs binarias para rechazar una clase. Finalmente, del modelo FPWSVM coge el tener en consideración el grado de la salida de las funciones de decisión. Eso sí, sin compartir sin puntos débiles: Recuento de votos: Las regiones sin clasificar que surgían cuando un conjunto de clases tenían el mismo número máximo de votos positivos. DDAG: Los datos pertenecientes a la región problemática eran clasificados siguiendo un proceso no determinístico. FPWSVM utilizan el operador de min: Los datos en la región problemática se clasificaban teniendo en cuenta no solamente el grado del voto más negativo para cada clase Formalización de la agregación difusa Tal y como se ha comentado en la Sección 2.1, nuestro modelo difuso para PWC utilizando SVMs (FPSVM) se basa en utilizar el grado de los votos negativos para rechazar clases. Además, proponemos agregar este grado de los votos negativos utilizando el operador suma. Para evitar el efecto de los votos positivos, siguiendo la filosofía marcada por el FPWSVM con el operador min descrito anteriormente, utilizamos la siguiente función T sobre la salida continua de cada una de las SVMs binarias: { 0 para x 0, T(x) = (1) x en cualquier otro caso. Esta función transforma los grados de los votos positivos al elemento neutro del operador suma, de esta manera, la decisión para rechazar o no una clase se toma utilizando únicamente la información proveniente de los votos en contra de dicha clase. La clasificación de un dato x se realiza como sigue: clase(x) = arg máx { T(H ij (x))}. (2) i=1,...,k j=1,...,k j i Tal y como se puede deducir de (2), la clase final a la que se asigna x es aquella que tiene menos información en su contra, tal y como dijimos en la Sección 2.1.

4 Para mejorar la interpretabilidad de los resultados, procedemos a emborronar el grado de cada uno de los votos. De esta forma obtenemos para cada clase un grado de pertenencia en el intervalo unidad, lo cual hace que el modelo sea más interpretable para un usuario externo que lo utilice. Esto se debe a que cuando se predice la clase de un dato, el usuario puede saber con facilidad en qué medida pertenece el dato a cada clase, gracias a que el rango de pertenencia está en el intervalo unidad. A continuación, proporcionamos un modelo difuso para PWC aplicado a SVMs multiclase: En primer lugar, proponemos utilizar la siguiente función de pertenencia para emborronar la cantidad total de información en contra de una determinada clase: µ(x) = exp( 2x). (3) Al utilizar la función de pertenencia definida arriba, conseguimos que el grado de pertenencia de los ejemplos a cada clase caiga dentro del intervalo [0, 1]. Éste es el rango típico para los grados de pertenencia en FST. Ya que (3) es continua y estrictamente creciente, la clasificación que se obtiene aplicando la regla del máximo descrita en (2) y la presentada a continuación son equivalentes: clase(x) = arg máx i=1,...,k µ T(H ij (x)). j=1,...,k j i (4) Si aplicamos el concepto de f-dualidad [4], la sumatoria presente en (4) que agrega la información negativa para cada clase puede descomponerse como sigue: clase(x) = arg máx { j=1,...,k µ(t(h ij (x)))}. i=1,...,k j i (5) donde el operador se define como en [17]: a b = ab 1 + (1 a)(1 b), (6) con a, b [0, 1]. Este operador es una t-norma de la familia de Hamacher [8, 10, 15]. El modelo difuso presentado para PWC aplicado a SVMs multiclase tiene las siguientes características: 1. De cada hiperplano que separa los datos de la clase i de los correspondientes a la clase j aplicando (3) obtenemos un grado de pertenencia del dato a cada una de las clases que separa. 2. Para cada clase i vamos a tener K 1 grados de pertenencia diferentes (teniendo en cuenta un problema multicategoría con K clases), estos K 1 grados son agregados utilizando el operador definido en (6). Como resultado, obtenemos un grado de pertenencia en el intervalo unidad para el dato a clasificar y para cada clase. 3. Finalmente, el dato se asigna a aquella clase que tenga el grado de pertenencia máximo. A pesar de que el modelo aquí presentado se ha aplicado únicamente a SVMs, en general, la filosofía presentada puede adaptarse para ser utilizada en cualquier otro clasificador que utilice PWC y que proporcione una salida tanto en R como en el intervalo unidad. 3. Análisis experimental Para mostrar la validez de nuestra propuesta hemos realizado un estudio experimental utilizando cuatro problemas del mundo real extraídos del repositorio de la UCI [5]. Comparamos el rendimiento de nuestra propuesta con los dos modelos siguientes: DDAG y FPWSVM con operador min. Los problemas seleccionados corresponden a los siguientes conjuntos de datos: satimage, segment, vehicle y glass. A continuación, detallamos cómo hemos seleccionado el conjunto de parámetros para las SVMs: satimage. Este conjunto de datos está dividido en dos partes: entrenamiento y prueba. Para ajustar correctamente los parámetros de la SVM, a su vez, hemos muestreado de manera independiente y uniformemente distribuida los datos de la partición de entrenamiento, en una nueva partición de entrenamiento y otra de validación. Los porcentajes asignados a cada una son aproximadamente el 70% y 30%, respectivamente, de los datos de la partición de entrenamiento inicial. Para cada conjunto de parámetros considerado se ha entrenado una SVM con el 70% de los datos y el rendimiento del modelo obtenido se ha evaluado con el 30% restante. De esta forma, el conjunto de parámetros para la SVM que hemos seleccionado es aquél que proporciona el mejor rendimiento sobre esta partición de validación. Con este conjunto de parámetros entrenamos la SVM utilizando el conjunto de entrenamiento inicial al completo. Finalmente, el rendimiento que indicamos en la Tabla 2 es el porcentaje de aciertos del modelo obtenido al evaluarlo sobre la partición de prueba.

5 En segment, vehicle y glass para conseguir la SVM con un conjunto de parámetros lo más óptimo posible hemos aplicado una validación cruzada de 10 particiones sobre los conjuntos de datos iniciales. Los porcentajes de aciertos detallados en la Tabla 2 se corresponden con los mejores porcentajes en media obtenidos a partir de la validación cruzada de 10 particiones que se ha aplicado. Los atributos de entrada para todos los conjuntos de datos han sido escalados al intervalo [ 1, 1]. Para todas las SVMs binarias se ha utilizado un kernel gausiano: K(x i,x j ) = exp(γ x i,x j 2 ). Para obtener el mejor conjunto de parámetros se ha utilizado un esquema de rejilla con los siguientes conjuntos para los dos parámetros a optimizar: γ = {2 4, 2 3,...,2 10 } y C = {2 14, 2 13,...,2 2 }. El criterio de parada utilizado para detener el entrenamiento de las SVMs binarias optimizadas ha sido que la violación de las condiciones de Karush- Kahn-Tucker [20, 6] fuese menor que Para una información más detallada de los conjuntos de datos consultar [5]. La experimentación se ha ejecutado en un Pentium IV 2.4 GHz con 2GB de memoria principal bajo sistema operativo Fedora Core 4. La construcción de los métodos multicategoría comparados en los experimentos se ha realizado empleando la biblioteca LIBSVM [6]. Cuadro 1: Mejor conjunto de parámetros (C, γ) para cada modelo. Nombre DDAG Min satimage (2 4, 2 0 ) (2 4, 2 0 ) (2 4, 2 0 ) segment (2 12, 2 3 ) (2 12, 2 3 ) (2 12, 2 3 ) vehicle (2 9, 2 4 ) (2 9, 2 4 ) (2 9, 2 4 ) glass (2 11, 2 3 ) (2 11, 2 3 ) (2 11, 2 3 ) Cuadro 2: Comparativa utilizando kernel gausiano. Los mejores rendimientos medios en prueba aparecen resaltados en negrita. Nombre DDAG Min satimage 91,25 91,45 91,45 segment 97,61 97,74 97,74 vehicle 86,05 86,41 86,52 glass 72,89 73,83 74,76 4. Análisis de resultados Los tres métodos comparados tienen una habilidad de generalización similar. Hay que tener en cuenta que los métodos difieren en su comportamiento cuando un dato cae dentro de la región problemática. Para los puntos fuera de esta región los tres métodos proporcionan idéntico resultado de clasificación. Por tanto, las diferencias serán más o menos significativas dependiendo de la amplitud de dichas regiones y de que los datos en dicha región sigan una distribución concreta. Frente al mínimo se observa que nuestra propuesta mejora sus resultados en dos de los cuatro problemas. Si nos centramos en la región problemática, nuestra técnica alcanza un porcentaje de acierto del 70% y 71,4% en los problemas glass y vehicle, respectivamente. El porcentaje de aciertos para estos mismos problemas en la región problemática usando el operador del mínimo son del 50% y 57,1 %, respectivamente. Frente al método DDAG la diferencia de resultados de clasificación en la región problemática se hace mayor, ya que el porcentaje de acierto de esta técnica para los dos problemas considerados antes es del 30% y 28,6%, respectivamente. 5. Conclusiones y trabajo futuro En este artículo, hemos propuesto un modelo difuso para PWC SVMs multicategoría que extiende el modelo presentado por Abe e Inoue que utiliza el operador mínimo. Nuestra propuesta presenta las siguientes ventajas: El modelo difuso propuesto es estándar, ya que obtiene grados de pertenencia que caen en el intervalo unidad. Esto no ocurría en el modelo propuesto por Abe e Inoue. El proceso de clasificación de un dato sigue una filosofía clara que consiste en rechazar una clase teniendo en cuenta toda la información existente en su contra. Tal y como se observa en los resultados, esta filosofía para determinados problemas permite mejorar el rendimiento de clasificación en la región problemática. Hemos realizado un análisis experimental donde se muestra la validez de nuestra propuesta frente a una técnica estándar como el DDAG y frente al modelo difuso que propone Abe e Inoue. Del análisis de los resultados se extrae que el considerar toda la información en contra de una clase para rechazarla es interesante para mejorar los resultados de clasificación para los datos que están dentro de la región problemática. Agradecimientos El presente trabajo de investigación ha sido subvencionado parcialmente por el Ministerio de Educación

6 y Ciencia, así como por el Ministerio de Ciencia y Tecnología a través de los proyectos TIC y TIN , respectivamente. Referencias [1] S. Abe. Analysis of multiclass support vector machines. In Proceedings of International Conference on Computational Intelligence for Modelling Control and Automation (CIMCA 2003), pages , Viena(Austria) - February [2] S. Abe and T. Inoue. Fuzzy support vector machines for multiclass problems. In Proceedings of European Symposium on Artificial Neural Networks (ESANN 2002), pages , Bruges(Belgium) April [3] E.L. Allwein, R.E. Shapire, and Y. Singer. Reducing multiclass to binary: A unifying approach for margin classifiers. Journal of Machine Learning Research, 1: , [4] J.M. Benítez, J.L. Castro, and I. Requena. Are artificial neural networks black boxes? IEEE Transactions on Neural Networks, 8(5): , [5] C. L. Blake and C. J. Merz. (1998). UCI Repository of machine learning databases. univ. california, dept. inform. comput. sci., irvine, ca. [Online] mlearn/mlsummary.html. [6] C. Chang and C. Lin. LIBSVM: a library for support vector machines, Software available at cjlin/libsvm. [7] K. Crammer and Y. Singer. On the algorithmic implementation of multiclass kernel-based vector machines. Journal of Machine Learning Research, 2(Diciembre): , [8] M. Detyniecki. Mathematical aggregation operator and their application to video querying. Doctoral thesis research report , Laboratoire d Informatique de Paris, [9] Thomas G. Dietterich and Ghulum Bakiri. Solving multiclass learning problems via errorcorrecting output codes. Journal of Artificial Intelligence Research, 2: , [10] H. Hamacher. Uber logische Aggregationen nichtbinar explizierter Entscheidungs-kriterien. Rita G. Fischer Verlag, Frankfurt, [11] C. Hsu and C. Lin. A comparison of methods for multiclass support vector machines. Neural Networks, IEEE Transactions on, 13(2): , March [12] T. Inoue and S. Abe. Fuzzy support vector machines for pattern classification. In Proceedings of International Joint Conference on Neural Networks (IJCNN 01), volume 2, pages , July [13] T. Kikuchi and S. Abe. Comparison between error correcting output codes and fuzzy support vector machines. Pattern Recognition Letter, 26: , [14] U.H.-G. Kressel. Pairwise classification and support vector machines. In C.J.C. Burges B. Scholkopf and A.J.Smola, editors, Advance in Kernel Methods, Chapter 15, pages The MIT Press, Cambridge, MA, [15] L.I. Kuncheva. Fuzzy classifier design. Studies in Fuzziness and Soft Computing, Physica-Verlag, [16] Y. Lee, Y. Lin, and G. Wahba. Multicategory support vector machines. In Proceedings of the 33rd Symposium on the Interface, [17] C.J. Mantas. T-norms and t-conorms in multilayer perceptrons. In Proceedings of the Joint 4th EUSFLAT and 11th LFA Conference (EUSFLAT-LFA 2005), pages , Barcelona(Spain) September [18] R. Rifkin and A. Klautau. In defense of one-vsall classification. Journal of Machine Learning Research, 5: , [19] D. Tsujinishi and S. Abe. Fuzzy least squares support vector machines for multiclass problems. Neural Networks, 16(5 6): , [20] V. Vapnik. Statistical Learning Theory. John Wiley and Sons Inc. New York, [21] J. Weston and C. Watkins. Multi-class support vector machines. Technical Report CSD-TR-98-04, Royal Holloway, University of London, Department of Computer Science, [22] T.F. Wu, C.J. Lin, and R.C. Weng. Probability estimates for multi-class classification by pairwise coupling. Journal of Machine Learning Research, 5(Agosto): , [23] B. Zadrozny. Reducing multiclass to binary by coupling probability estimates. In Proceedings of NIPS, 2001.