Estudio e Implementación de una Máquina de Soporte Vectorial.

Transcripción

1 Estudio e Implementación de una Máquina de Soporte Vectorial. Lázaro Bustio Martínez, Alejandro Mesa Rodríguez lbustio@ccc.inaoep.mx, amesa@ccc.inaoep.mx Resumen. En este trabajo se presentan las Máquinas de Soporte Vectorial y el basamento teórico sobre el que se sustentan. Se hace una descripción de los principales algoritmos que las implementan y que han mostrado mejores resultados en la bibliografía analizada, detallando sus características y particularidades. Igualmente se seleccionó el algoritmo que se consideró como el que mejores resultados ofrece y se realizó su implementación para ser comparados sus resultados con los reportados en la literatura. 1 Introducción. Una técnica de reconocimiento de patrones que está siendo empleada en una gran multitud de áreas, entre las que se destaca la clasificación de datos, con resultados notablemente alentadores son las Máquinas de Soporte Vectorial (Support Vector Machines o SVM por sus siglas en inglés). Su aparición a principio de los años 90 provocó una explosión de aplicaciones y de profundos análisis teóricos lo cual hizo sea SVM en la actualidad una de las herramientas más poderosas en el reconocimiento de patrones[1]. Las SVM fueron desarrolladas por Vladimir Vapnik sobre la base de un problema de clasificación lineal binario, es decir donde sólo se trabaja con dos clases, e implementa el Principio Inductivo de Minimización Estructural del Riesgo para obtener buenos resultados de generalización sobre un número limitado de patrones de aprendizaje. El proceso de clasificación mediante una Máquina de Soporte Vectorial consta de 2 pasos: entrenamiento y clasificación donde en el primero se reconocen los patrones del conjunto de datos de entrenamiento con el fin de crear un modelo que luego será empleado en la clasificación de nuevos datos. Actualmente existen 3 algoritmos que reportan los mejores resultados en el entrenamiento de SVM en software: Chunking[2], Sequential Minimum Optimization (SMO)[3] y SVMlight[4] (este último es una mejora propuesta al algoritmo planteado en el trabajo de Osuna "Improved Training Algorithm for Support Vector Machines"); siendo SMO el de mayor impacto ya que logra mejorar la rapidez del entrenamiento de la SVM, consume menos recursos computacionales respecto a los algoritmos anteriores, es más fácilmente programable, no requiere de cálculos complejos para resolver el problema de programación cuadrática que SVM plantea donde todo esto representa sus principales ventajas[5].

2 2 Lázaro Bustio Martínez, Alejandro Mesa Rodríguez 2 Descripción del problema. El problema de la clasificación de datos, visto de manera general, puede ser restringido hasta considerarlo como un problema de clasificación entre dos clases sin que ocurra una pérdida de generalidad. El objetivo es separar los objetos en dos grupos mediante una función que es inducida a partir de los propios objetos. En la figura se muestran varios clasificadores lineales que pueden separar lo datos, pero solamente uno maximiza la distancia entre las muestras más cercanas de las distintas clases Esta distancia máxima es llamada margen de separación y el hiperplano que maximice la distancia entre él y las muestras más cercanas de ambas clases es llamado hiperplano óptimo de separación.[6] Fig. 1. Posibles hiperplanos separadores para muestras de 2 clases. La clasificación binaria de datos usando SVM presenta 3 variantes diferentes: Linealmente separable. Linealmente no separable. Superficie de decisión no lineal. A efectos de este trabajo solo se considerará el caso Linealmente separable. 3 Algoritmos para el entrenamiento de SVM. Existen varios algoritmos para el entrenamiento de SVM. Por los resultados reportados se destacan básicamente 3: Chunking: Este algoritmo fue propuesto por Vapnik en [2]. Utiliza la gran esparsidad que poseen los valores obtenidos para los multiplicadores de Lagrange. Descompone los grandes problemas de QP en una serie de pequeños subproblemas cuyo último objetivo es identificar los multiplicadores de Lagrange que permitan la optimización. Esta técnica está limitada por el número máximo de vectores de soporte que se pueden manejar y además requiere de optimizadores cuadráticos para resolver la secuencia de subproblemas de optimización [7]. Los subproblemas de optimización que se obtienen con este algoritmo son demasiado grandes para poder realizar el

3 Estudio e Implementación de una Máquina de Soporte Vectorial. 3 entrenamiento de SVM de manera adecuada puesto que consume demasiado tiempo y requiere de demasiada memoria para enfrentarse a problemas relativamente grandes. Osuna: Osuna et al en [8] proponen un algoritmo para entrenar las SVMs que pretende hacer frente a las limitantes que presenta Chunking en cuanto a la selección de los objetos que formarán los subproblemas y el tamaño de estos subproblemas. La idea central del algoritmo es una solución iterativa de subproblemas y establecer su condición de parada en la cual terminar el algoritmo. La complejidad de este algoritmo aumenta en correspondencia con la cantidad de muestras de entrenamiento y no es factible para problemas de varias decenas de miles de muestras de entrenamiento. SMO: Sequential Minimal Optimization o SMO puede resolver los problemas de QP generados por SVM sin agregar ninguna matriz extra de almacenamiento y sin usar optimizaciones numéricas. SMO descompone el problema de QP en pequeños subproblemas de QP bajo determinadas condiciones y emplea el teorema de Osuna et al en [9] para garantizar la convergencia y cada subproblema es resuelto por separado [3]. A diferencia de los otros métodos, SMO selecciona el menor problema de optimización posible en cada paso del algoritmo: dos multiplicadores de Lagrange. De esta forma, en cada iteración SMO selecciona 2 multiplicadores de Lagrange para optimizar conjuntamente, encuentra el valor óptimo para estos dos multiplicadores y actualiza las variables de SVM para reflejar los nuevos valores óptimos. De esta manera se necesitan más iteraciones para lograr la convergencia que los algoritmos anteriores pero los cálculos necesarios para realizar el paso de optimización con 2 multiplicadores de Lagrange es notablemente más rápido que cuando se seleccionan varios multiplicadores. Básicamente, SMO está compuesto por dos elementos básicos: un método analítico para realizar la optimización con los dos multiplicadores de Lagrange escogidos; y una heurística para seleccionar con cuáles multiplicadores se realizará la optimización. target = desired output vector point = training point matrix procedure takestep( i1,i2 ) if ( i1 == i2 ) return 0 alph1 = Lagrange multiplier for i1 y1 = target[i1] E1 = SVM output on point[i1] y1 (check in error cache) s = y1 * y2 Compute L, H via equations (13) 1 and (14) 2 1 En el artículo original de Platt, eq. 13: max 0, α α,,

4 4 Lázaro Bustio Martínez, Alejandro Mesa Rodríguez if ( L == H ) return 0 k11 = kernel( point[i1], point[i1] ) k12 = kernel( point[i1], point[i2] ) k22 = kernel( point[i2], point[i2] ) eta = k11 + k22 2 * k12 if ( eta > 0 ) a2 = alph2 + y2 * (E1-E2)/eta if ( a2 < L ) a2 = L else if ( a2 > L ) a2 = H else Lobj = objective function at a2 = L Hobj = objective function at a2 = H if ( Lobj < Hobj - eps ) a2 = L else if ( Lobj > Hobj + eps) a2 = H else a2 = alph2 if ( a2 - alph2 < eps * (a2 + alph2 + eps)) return 0 a1 = alph1 + s * (alph2 a2) Update threshold to reflect change in Lagrange Multipliers Update weight vector to reflect change in a1 & a2, if SVM is linear Update error cache using new Lagrange Multipliers Store a1 in the alpha array Store a2 in the alpha array Return 1 endprocedure procedure examineexample(i2) y2 = target[i2] alph2 = Lagrange multiplier for i2 E2 = SVM output on point[i2] y2 (check in error cache) r2 = E2 * y2 if ((r2 < -tol && alph2 < C) (r2 > tol && alph2 > 0)) if ( non-zero & non-c alpha > 1) i1 = result of second choice heuristic (section 2.2) if takestep(i1,i2) return 1 Loop over all non-zero and non-c alpha, starting at a random point i1 = identity of current alpha if takestep( i1,i2 ) return 1 2 En el artículo original de Platt, eq. 14: max 0, α α C,,

5 Estudio e Implementación de una Máquina de Soporte Vectorial. 5 Loop over all possible i1, starting at a random point i1 = loop variable if takestep( i1, i2 ) return 1 return 0 endprocedure main routine: numchanged = 0; examineall = 1; while ( numchanged > 0 examineall) numchanged = 0; if ( examineall ) loop I over all training examples numchanged += examineexample(i) else loop I over examples where alpha is not 0 & not C numchanged += examineexample(i) if ( examineall == 1) examineall == 0 else if (numchanged == 0) examineall = 1 endroutine 4 Solución Propuesta. Para llevar a cabo esta implementación se desarrolló un software cuya estructura se detalla a continuación. 4.1 Estructura del software. El software propuesto fue programado en Visual Studio.NET 2008 y como lenguaje de programación se empleó C# dado a las facilidades de la programación orientada a objetos que este lenguaje provee, a las facilidades del lenguaje y al conocimiento previo. Consta de dos módulos principales, Trainer que se encarga del entrenamiento de la Máquina de Soporte Vectorial y de generar el fichero con el modelo de entrenamiento y el módulo Classifier el que utiliza el modelo de entrenamiento creado para clasificar muestras desconocidas que entren al sistema.

6 6 Lázaro Bustio Martínez, Alejandro Mesa Rodríguez 5 Discusión de los resultados. Para probar la eficacia de SVMProject se diseñó un conjunto de pruebas sobre conjuntos de entrenamientos creados artificialmente con el objetivo de comprobar el funcionamiento de los 3 tipos de Kernels empleados y el entrenamiento haciendo uso de ellos. 5.1 Pruebas sobre el conjunto artificial. Se generaron 4 conjuntos de pruebas de dos dimensiones cada uno para probar la eficacia de SVMProject los cuales se describen a continuación: test1_1: caso linealmente separable. Entrenamiento con un kernel lineal. test1_2: empleado para probar la clasificación con kernel lineal. test2_1: caso no linealmente separable. Entrenamiento con kernel lineal. test2_2: empleado para probar la clasificación con kernel lineal. test3_1: caso no linealmente separable. Entrenamiento con kernel Polinomial. test3_2: empleado para probar la clasificación con kernel Polinomial. test4_1: caso no linealmente separable. Entrenamiento con kernel RBF. test4_2: empleado para probar la clasificación con kernel RBF. Se realizaron 4 pruebas usando los 4 conjuntos de entrenamiento artificiales y al final del entrenamiento se realizó la reclasificación sobre el propio conjunto de entrenamiento y sobre el conjunto xxxxxxy_2 según fuera el caso. Las pruebas fueron repetidas empleando el software svm light (que se puede obtener en para verificar los resultados obtenidos con SVMProject. La estructura interna de los conjuntos de entrenamiento artificiales se describe a continuación: Fichero Datos Caso Kernel test1_1 12, 6(+); 6(-) Linealmente separable Lineal test1_2 12, 5(+); 7(-) Linealmente separable Lineal test2_1 33, 19(+); 14(-) No linealmente separable Lineal test2_2 10, 5(+); 5(-) No linealmente separable Lineal test3_1 40, 22(+); 18(-) No linealmente separable Polinomial test3_2 14, 6(+); 8(-) No linealmente separable Polinomial test4_1 75, 39(+), 36(-) No linealmente separable RBF test4_2 30, 15(+); 15(-) No linealmente separable RBF Con los test1 se busca como objetivo verificar la eficacia del entrenamiento y clasificación con SVMProject. El test2 fue pensado para comprobar el poder de

7 Estudio e Implementación de una Máquina de Soporte Vectorial. 7 generalización cuando la SVM es entrenada con errores en el espacio de entrenamiento. El test3 se pensó para probar la eficiencia del entrenamiento con un kernel Polinomial y lo mismo fue pensado para el test4. El resultado de estas pruebas se puede ver a continuación: Software Umbral SV No SV Reclasif. b fronteras fronteras Conj. Ent. test1_1, C = 4.5, kernel lineal SVMProject de 6 (+) 2 de 6 (-) svm light de 6 (+) 6 de 6 (-) test2_1, C = 4.5, kernel lineal SVMProject de 19(+) 21 de 14(-) svmlight de 19(+) 21 de 14(-) test2_1, C = 10.5, kernel lineal SVMProject de 19(+) 29 de 14(-) svmlight de 19(+) 21 de 14(-) test3_1, C = 10.5, grado = 2, kernel Polinomial SVMProject -13, de 22(+) 19 de 18(-) svmlight de 22(+) 17 de 18(-) test4_1, C = 4.5, σ 2 = 1, kernel RBF SVMProject de 39(+) 45 de 36(-) svmlight de 39(+) 75 de 36(-) Reclasif. ConjX_2 10 de 6 (+) 2 de 6 (-) 6 de 6(+) 6 de 6 (-) 10 de 6(+) 2 de 6(-) 3 de 5(+) 7 de 5 (-) 10 de 6(+) 2 de 6(-) 5 de 5(+) 5 de 5(-) 7 de 6(+) 7 de 8(-) 6 de 6(+) 8 de 8(-) 15de 15(+) 15 de 15(-) 15de 15(+) 15 de 15(-) De los resultados obtenidos se puede ver que SVMProject ofrece resultados muy semejantes a svm light aunque no son del todo semejantes. Esto se debe a que para el entrenamiento de la SVM usando el Kernel Lineal los vectores de peso que se obtienen no son iguales y por lo tanto la clasificación no resulta exacta. A pesar de eso, se considera que los resultados obtenidos son satisfactorios.

8 8 Lázaro Bustio Martínez, Alejandro Mesa Rodríguez 6 Conclusiones y Trabajos futuros. En este trabajo se presentó las Máquinas de Soporte Vectorial y el basamento teórico sobre el que se sustentan. De igual manera de describieron los principales algoritmos existentes para su entrenamiento y se identificó el que mejores resultados ofrece: SMO. Del análisis de sus características y tomando como base [3] se desarrollo una implementación del SMO para el entrenamiento de una SVM detallando las características del software desarrollado y mostrando una comparativa llevada a cabo para probar la eficacia del la implementación propuesta frente a svm light, un software de demostrada eficacia en el entrenamiento de una Máquina de Soporte Vectorial. De esta comparativa se llegó a la conclusión que SVMProject es una implementación correcta para el entrenamiento de una Máquina de Soporte Vectorial aunque se debería refinar su programación para obtener resultados más exactos y más eficientes. 7 Referencias 1. Vapnik, V., Statistical Learning Theory. 1998, New York: Wiley. 2. Vapnik, V., Estimation of Dependences Based on Empirical Data. 1982: Springer-Verlag. 3. Platt, J., Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines Joachims, T., Making large-scale support vector machine learning practical. 1998, MIT Press: Cambridge. 5. Platt, J., Fast training of SVMs using Sequential Minimal Optimization. 1999, MITPress: Cambridge. p Byun, H. and S.W. Lee, Applications for Support Vector Machines for Pattern Recognition: A Survey (LNCS). 7. Müller, K.-R., et al., An Introduction to Kernel-Based Learning Algorithm, in IEEE Transactions On Neural Networks Osuna, E., R. Freund, and F. Girosi. Training support vector machines: An application to face detection. in Proceedings of Compute Vision and Pattern Recognition ' Osuna, E., R. Freund, and F. Girosi, An Improved Training Algorithm for Support Vector Machines Proceedings IEEE NNSP.