Modelos de Clasificación basados en Máquinas de Vectores Soporte

Transcripción

1 Modelos de Clasificació basados e Máquias de Vectores Soporte L. Gozález Abril luisgo@us.es - Departameto de Ecoomía Aplicada I Uiversidad de Sevilla Palabras clave: Problemas de Clasificació, SVM, Núcleos (Kerels). Resume E este trabajo se preseta las características más importates de los modelos de clasificació basados e máquias de vectores soporte (SVM- Support Vector Machies). Las máquias de vectores soporte so sistemas de apredizaje que utiliza como espacio de hipótesis, fucioes lieales e espacios característicos de dimesió muy alta, esayado algoritmos de apredizaje de la teoría de la optimizació que implemeta u apredizaje sesgado derivado a partir de la teoría del apredizaje estadístico. Alguas de las características de estos modelos tiee ua especial sigificació e problemas de clasificació de corte ecoómico y e este trabajo se preseta y cometa. 1. Itroducció La teoría de las SVMs fue desarrollada iicialmete por V. Vapik [18] a pricipios de los años 80 y se cetra e lo que se cooce como Teoría del Apredizaje Estadístico 1. El objeto de las SVMs es dar solució al problema fudametal que surge e distitos campos, dode se estudia, la relació etre sesgo y variaza [8], el cotrol de la capacidad [13], sobreajuste e los datos [15], etc. Este problema cosiste e buscar, para ua tarea de apredizaje dada, co ua catidad fiita de datos, ua adecuada fució que permita llevar a cabo ua buea geeralizació 2 que sea resultado de ua adecuada relació etre la precisió alcazada co u particular cojuto de etreamieto y la capacidad del modelo 3. 1 De forma simplificada idicar que esta teoría busca formas de estimar depedecias fucioales a partir de ua colecció de datos. 2 Dode se etiede por geeralizació, la capacidad de ua determiada fució de explicar el comportamieto de los datos detro de u domiio más amplio. 3 Capacidad para apreder co cualquier cojuto de esayo. 1

2 A cotiuació desarrollamos brevemete el plateamieto geeral de las SVMs para posteriormete cetraros e los problemas de clasificació 4 desde la perspectiva de u apredizaje supervisado, es decir, el coocimieto de las salidas de u cojuto de etradas os permite cuatificar (supervisar) la bodad de los resultados del modelo. El objetivo fudametal de este tipo de estudios es apreder a partir de los datos y para ello busca la existecia de algua depedecia fucioal etre u cojuto de vectores iputs (o de etrada) {x i, i = 1,, } X IR d y valores 5 outputs (o salidas) {y i, i = 1,, } Y IR El modelo represetado por la figura 1 (deomiado modelo de apredizaje a partir de ejemplos) recoge de maera clara el objetivo que se persigue. E este esquema, G represeta u modelo F X (x) F Y/X (y) G Geerador de Datos x i S Operador Objetivo y i LM Máquia de Apredizaje y i F (X,Y) (x, y) Figura 1: Esquema de cofiguració de ua máquia de apredizaje a partir de ejemplos. geerador de datos que os proporcioa los vectores x i X, idepedietes e idéticamete distribuidos de acuerdo co ua fució de distribució F X (x) descoocida pero que supoemos o varía a lo largo del proceso de apredizaje. Cada vector x i es la etrada del operador objetivo S, el cual lo trasforma e u valor y i segú ua fució de distribució codicioal F Y/X =xi (y). Así la máquia 6 de apredizaje, que deotamos LM (learig machie) recoge el siguiete cojuto de etreamieto, Z = {(x 1, y 1),, (x, y )} X Y = Z 4 Desde las SVM se puede abordar diferetes problemas como: regresió, estimació de desidades, aproximació de fucioes,... 5 La geeralizació a IR d se sigue si más que cosiderar el vector compoete a compeete. 6 Las SVMs tiee sus orígees e problemas de corte idustrial. La puesta e práctica de estos modelos e la idustria fializa cuado se implemeta u programa iformático detro de u procesador que recoja datos y los procese. Este procesador es u objeto físico y tagible y por ello la deomiació de máquia. 2

3 el cual es obteido idepediete e idéticamete distribuido siguiedo la fució de distribució cojuta: F (X,Y) (x, y) = F X (x) F Y/X =x (y) A partir del cojuto de etreamieto Z, la máquia de apredizaje costruye ua aproximació al operador descoocido la cual proporcioe para u geerador dado G, la mejor aproximació (e algú setido) a las salidas proporcioadas por el supervisor. Formalmete costruir u operador sigifica que la máquia de apredizaje implemeta u cojuto de fucioes, de tal forma que durate el proceso de apredizaje, elige de este cojuto ua fució apropiada siguiedo ua determiada regla de decisió. La estimació de esta depedecia estocástica basada e u cojuto de datos trata de aproximar la fució de distribució codicioal F Y/X (y), lo cual e geeral lleva a u problema realmete complicado [18, 10]. Si embargo, el coocimieto de la fució F Y/X (y) o siempre es ecesario; a meudo se esta iteresado solo e algua de sus características. Por ejemplo se puede buscar estimar la fució de esperaza matemática codicioal: E[Y/X = x] def = y df Y/x (y) Por ello el objetivo del problema es la costrucció de ua fució f(x, y) detro de ua determiada clase de fucioes 7 F elegida a priori, la cual debe cumplir u determiado criterio de la mejor maera posible. Formalmete el problema se platea como sigue: Dado u subespacio vectorial Z de IR d+1 dode se tiee defiida ua medida de probabilidad F Z(z), u cojuto F = {f(z), z Z} de fucioes reales y u fucioal R : F IR. Buscar ua fució f F tal que 8 R[f ] = mí f F R[f] Co objeto de ser lo más geeral posible sería bueo elegir el fucioal R de tal maera que se pudiese platear co él, el mayor úmero de problemas posibles. Por ello se defie R[ ] como sigue: Defiició 1.1 Dada ua clase F = {f(z), z Z} de fucioes reales y ua medida de probabilidad F Z(z) se defie el riesgo, R : F IR, como: R[f] = Z c(z, f(z)) df Z(z) (1) dode c(, ) se deomia fució de pérdida (o de coste) y tomará valores o egativos. A la vista de la figura 1 se llega a la coclusió que los valores y i e y i o ecesariamete coicide. Cuado esto sea así, la máquia de apredizaje habrá cometido u error que se debe cuatificar de algua forma y este es precisamete el setido que tiee la fució de perdida. 7 E este cotexto, ua clase de fucioes (espacio de hipótesis) es sióimo de ua máquia (o modelo) de apredizaje. 8 La existecia del míimo se garatiza cuado se cocluye las hipótesis de esta teoría [18]. 3

4 Así, e este plateamieto, dado u cojuto {(x 1, y 1),, (x, y )}, el pricipal problema cosiste es formular u criterio costructivo para elegir ua fució de F puesto que el fucioal (1) por si mismo o sirve como criterio de selecció, ya que la fució F Z(z) icluida e él es descoocida. Para elaborar dicho criterio se debe teer e cueta que el riesgo se defie como la esperaza matemática de ua variable aleatoria respecto a ua medida de probabilidad, por tato es lógico elegir como estimació, la media muestral y de aquí la siguiete defiició: Defiició 1.2 Dado u riesgo defiido por (1), u cojuto de fucioes F y ua muestra {z 1,, z }. Al fucioal R emp : F IR defiido como R emp[f] = 1 c(z i, f(z i)), f F se le deomia riesgo empírico 9. La forma clásica de abordar estos problemas es: si el valor míimo del riesgo se alcaza co ua fució f 0 y el míimo del riesgo empírico co f para ua muestra dada de tamaño, etoces se cosidera que f es ua aproximació a f 0 e u determiado espacio métrico. El pricipio que resuelve este problema se deomia pricipio de miimizació del riesgo empírico, Este es el pricipio utilizado e los desarrollos clásicos por ejemplo cuado se platea a partir de u cojuto de datos la regresió lieal míimo cuadrática. La preguta que surge es: se puede asegurar que el riesgo R[f ] está cerca del mí f F R[f]? La respuesta es que e geeral esto o es cierto [10], lo cual lleva a la coclusió que la clase de fucioes F o puede ser arbitraria, ecesariamete se debe impoer alguas codicioes de regularidad a sus elemetos, vía u fucioal Q[f]. Así e la elaboració del problema se debe buscar ua adecuada relació etre la precisió alcazada co u particular cojuto de etreamieto, medido a través de R emp[f], y la capacidad de la máquia medida por Q[f]. Ello lleva a cosidera el problema de miimizar u riesgo regularizado, dode este se defie para algú λ > 0 e la forma: R reg[f] = R emp[f] + λ Q[f] Idicar que e las SVMs, el espacio de trabajo es F = f(x) = w x + b, w IR d, b IR (fucioes lieales) y la restricció se impoe sobre el parámetro w Problemas de clasificació E los problemas de clasificació dicotómicos (co etiquetas {0, 1}) es posible dar ua iterpretació probabilística de los fucioales riesgos. Sea F la clase de todas las fucioes reales defiidas e X = IR d que solo puede tomar los valores {0, 1}. Etoces dada ua fució f F existe u subcojuto A IR d tal que 9 Es importate otar que la medida de probabilidad F (z) aparece dada implícitamete a través de los datos z 1,, z. 4

5 f(x) = I A(x) (fució idicadora del cojuto A). Por tato se tiee que si f(x) = y etoces la pérdida es c(x, y, f(x)) = 0 y si f(x) y se cuatifica el error como c(x, y, f(x)) = 1, y se sigue: R[f] = P (x, y) IR d+1 / f(x)) y = P (A f ) y se tiee que el riesgo coicide co la probabilidad de u cojuto A f respecto a ua medida de probabilidad. Además elegida f F se tiee que A f IR d+1 es el cojuto de vectores dode se realiza ua clasificació erróea, y de aquí que el riesgo proporcioa la probabilidad de ua clasificació erróea y cobra u mayor setido la miimizació de éste, es decir, determiar f tal que: Veamos como es el riesgo empírico: R[f ] = P (A f ) = mí f F P (A f) Defiició 1.3 Sea u espacio probabilístico (Ω, A, P ). Se defie la probabilidad empírica de A A a partir de la muestra {z 1,, z } v (A) def = v(a; z 1,, z ) = (A) dode (A) es el úmero de elemetos de la muestra que perteece a A. De la defiició se tiee que: R emp[f] = 1 c(x i, y i, f(x i)) = v (A f ) es decir, el riesgo empírico es la frecuecia relativa de ocurrecia del suceso A f e ua muestra. Luego segú el pricipio de miimizació del riesgo empírico el problema que se platea es mí f F v (A f ). Cómo se iterpretaría el riesgo empírico e este caso? Sea u cojuto de vectores {x 1,, x } y sus correspodietes etiquetas {y 1,, y }. Si os olvidamos de ellas y sobre los vectores {x 1,, x } se aplica ua fució f(x) se obtedrá u cojuto de salidas {y 1,, y }. Etoces cuado se tega para i {1,, } que y i y i se dirá que se ha producido u error de etreamieto. Así pues la miimizació del riesgo empírico cosiste e buscar la fució f F que miimiza los errores de etreamieto. 2. Modelos lieales de vectores soporte Deotamos las dos posibles etiquetas por Y = { 1, 1} y Defiició 2.1 U cojuto de vectores {(x 1, y 1),, (x, y )} dode x i IR d e y i { 1, 1} para i = 1,, se dice separable si existe algú hiperplao e IR d que separa 10 los vectores X = {x 1,, x } co etiqueta y i = 1 de aquellos co etiqueta y i = E el setido de dejar e dos regioes del espacio diferetes. 5

6 Dado u cojuto separable existe (al meos) u hiperplao 11 π : w x + b = 0 que separa los vectores x i, i = 1,, (ver figura 2). Las SVMs busca etre todos los hiper- A B Figura 2: Cojuto e hiperplao separador e IR 2. Los putos huecos represeta los vectores co etiqueta y = 1 y los restates y = 1. plaos separadores aquel que maximice la distacia de separació etre los cojutos {(x i, 1)} y {(x i, 1)} (las dos clases posibles). Veamos como se platea el problema de optimizació correspodiete: Fijado u hiperplao separador siempre es posible reescalar (ver [9]) los parámetros w y b de tal forma que: x i w + b +1 para y i = +1 (regió A) x i w + b 1 para y i = 1 (regió B) De esta forma la míima separació etre los vectores y el hiperplao separador es la uidad 12 ; y las dos desiguladades se puede expresar e ua sola de la forma: y i (x i w + b) 1 0, i = 1,, (2) Sea los vectores de etiqueta 1 para los cuales se cumple la igualdad e (2). Estos putos perteece al hiperplao π 1 : x i w + b = 1 co vector ormal w y distacia perpedicular hasta el orige igual a 1 b / w dode w es la orma euclidea de w. Aálogamete, los vectores de etiqueta 1 que cumple la igualdad e (2) perteece al hiperplao π 2 : x i w + b = 1 co vector ormal w y distacia perpedicular al orige de coorcdeadas igual a 1 b / w. Así se tiee que los hiperplaos π 1 y π 2 so paralelos, la separació etre ellos es 2/ w y igú vector del cojuto de etreamieto se ecuetra etre ellos. De etre las posibles eleccioes del los hiperplaos π 1 y π 2, parece atural elegir aquella que proporcioe ua mayor separació etre ellos, ya que de esta forma permitiría distiguir de forma más clara las regioes dode cae los putos co distitas etiquetas. Así se platea 13 : 1 mí w IR d 2 w 2 s.a. y i (x i w + b) 1 0, i = 1,, (3) 11 Se utilizará idistitamete la otació w x y w, x para deotar el producto escalar de dos vectores. 12 Sería ua especie de ormalizació. 13 Otra formulació, que proporcioa la misma solució pero cuyo tratamieto es más complicado, cosiste e maximizar la separació pero fijado la orma del vector w a la uidad. 6

7 La solució para el caso de dimesió dos se puede iterpretar gráficamete a partir de la figura 3. A la vista de esta figura, es fácil darse cueta de ua característica muy importate de las SVMs y es que si se añade o elimia cualquier úmero de vectores que cumpla la desigualdad estricta (2), la solució del problema de optimizació o se ve afectada. Si embargo, basta co añadir u vector que se ecuetre etre los dos hiperplaos, para que la solució cambie totalmete. A B π 1 π π 2 Figura 3: Hiperplaos paralelos y vectores soporte e IR 2. Para resolver el problema de optimizació co restriccioes (3) se utiliza los multiplicadores de Lagrage 14. Así la fució objetivo es: L P (w, b, α i) = 1 2 w 2 α i (y i (x i w + b) 1) El problema queda como u problema de programació cuadrática dode la fució objetivo es covexa, y los vectores que satisface las restriccioes forma u cojuto covexo. Esto sigifica que se puede resolver el siguiete problema dual asociado al problema primal: maximizar la fució L P (w, b, α i) respecto a las variables duales α i sujeta a las restriccioes impuestas para que los gradietes de L P co respecto a w y b sea ulos, y sujeta tambié al cojuto de restriccioes C 2 = {α i 0, i = 1,, }. La solució de este problema se expresa e la forma: y la fució objetivo dual: w = α i y i x i, α i y i = 0 L D(α) = α i 1 2 i,j=1 α i α j y i y j x i x j (4) Los vectores del cojuto de etreamieto que proporcioa u multiplicador α i > 0 so deomiados vectores soporte y claramete, estos vectores se ecuetra e uo de los hiperplaos π 1 o π 2. Para este tipo de modelo de apredizaje, los vectores soporte so los elemetos críticos ya que ellos so los que proporcioa la aproximació del problema, puesto que si todos los restates elemetos del cojuto de etreamieto so elimiados (o so cambiados por otros que o se ecuetre etre los dos hiperplaos), y se repite el problema de optimizació, se ecuetra los mismos hiperplaos separadores. 14 E la literatura clásica se deomia de forma erróea de esta maera a pesar de platearse u problema de optimizació cos restriccioes de desigualdades, La deomiació correcta sería multiplicadores de Karush-Kuh- Tucker, si embargo utilizaremos las deomiació clásica. 7

8 Esta característica de los modelos de vectores soporte puede ser utilizada e muchos problemas ecoómicos dode se desea destacar la importacia de determiadas etradas. Tambié si se trabaja co ua gra catidad de etradas, es útil trabajar co los vectores soporte ya que estos forma u esquema de compresió 15 que permite recostruir la solució del problema, es decir, si cosideramos exclusivamete los vectores soporte y descartamos el resto de vectores de etreamieto tedríamos u problema de optimizació co meos restriccioes que proporcioa la misma iformació. Las codicioes del problema de optimizació os lleva a que se cumple la codició (ver [9]): α i (y i (x i w + b) 1) = 0 deomiada codició (complemetaria) de Karush-Kuh-Tucker (KKT). Estas restriccioes idica que el producto de las restriccioes del problema primal (y i (x i w + b) 1 0) y las restriccioes del problema dual (α i 0) se aula e todos los vectores de etreamieto. De esta forma se sigue que las codicioes KKT, véase [7], para el problema primal defiido a partir de la fució objetivo so las siguietes: w j b LP = α i y i x ij = 0 j = 1,, d α i y i = 0 y i(x i w + b) 1 0 i = 1,, α i 0 i = 1,, α i(y i(x i w + b) 1) = 0 i = 1,,. De los desarrollos iiciales o se sigue ua forma explícita de determiar el valor b, si embargo, la codició KKT complemetaria os permite determiarlo. Para ello, basta elegir u α i > 0 y despejar el valor de b obteiedo b = y i x i w. Auque se ha determiado b, es más adecuado realizar los cálculos co todos los α i > 0 y elegir como valor de b u valor promedio de los resultados obteidos, co objeto de redodear los errores itrísecos asociados a todo método de cálculo umérico 16 : 1 b = (y i x i w) # {α i > 0} αi >0 Ua vez obteidos el vector w y la costate b la solució al problema de optimizació se iterpreta a partir de ua fució Θ de la siguiete forma: 1 si π(x) > 0 Θ(x) = (5) 1 si π(x) < 0 15 Es ua regla ρ : S ρ(s) que permite costruir ua clasificació de u cojuto S a partir de u cojuto ρ(s) más pequeño. 16 Por # {A} se deota el úmero de elemetos del cojuto A. 8

9 2.1. Ejemplo Sea los vectores iputs X dados por 17 las dos primeras columas de la tabla 1 y dode la tercera columa de esa misma tabla represeta la etiqueta sexo. La solució y otros resultados iteresates aparece recogidos e la tabla 1. Se observa que la solució se determia a partir de sólo tres vectores, que el cojuto de etreamieto es separable y por tato la solució clasifica correctamete todos los vectores. De estos valores se sigue que el x 1i x 2i y i α i π(x i1, x i2 ) sigo(π) Tabla 1: Resultados del ejemplo. hiperplao separador es : π(x 1, x 2) : 0,2222x 1 + 1,5556x 2 63,22893 = 0 (x 1 y x 2 deota la primera y seguda compoete de u vector x IR 2 ). Nótese como la image de cada vector soporte segú el plao π es la uidad lo que sigifica que se ecuetra e uo de los dos hiperplaos separadores. Si se tiee u uevo vector iput (altura y peso de ua persoa), por ejemplo {195, 95}, la solució se iterpreta a partir del sigo de π(195, 95) = 41,224 > 0 lo que sigifica que la etiqueta que osotros le asigamos es y = 1, es decir, se idicaría que esta ueva persoa es u hombre SVMs para datos o separable E la práctica o es habitual trabajar co cojutos separables. E estos casos (ver e la figura 4) se ecuetra vectores de ua clase detro de la regió correspodiete a los vectores de otra clase y por tato uca podrá ser separados de esta clase por medio de hiperplaos. E estas situacioes se dirá que el cojuto es o separable. Ate estos casos, el problema de optimizació (3), o ecuetra ua solució posible y ello es evidete si más que observar como la fució objetivo (4) crece de forma arbitraria ya que el multiplicador de Lagrage correspodiete a este vector se puede tomar arbitrariamete grade si que viole las restriccioes. Si embargo, 17 Este ejemplo esta tomado de [16]. Los iputs so de dimesió dos, la primera compoete represeta la altura e cetímetros y la seguda el peso e kilogramos de ua persoa. Las salidas so y = 1 si es hombre e y = 1 si es mujer. 9

10 A B π 1 π π 2 Figura 4: Ejemplo de hiperplaos separadores para el caso de datos o separables. o es difícil ampliar las ideas geerales del caso separable al caso o separable itroduciedo ua variable ξ de holgura e las restriccioes y platear u uevo cojuto de restriccioes: x i w + b +1 ξ i para y i = +1 x i w + b 1 + ξ i para y i = 1 ξ i 0 i = 1,, Se tiee ahora que para que se produzca u error e la clasificació de u vector de etreamieto (ua etrada o es ubicada e la clase correcta) es ecesario que el valor correspodiete a ξ i sea superior a la uidad. Así, si e el vector x i se comete u error etoces ξ i 1 y por tato i ξi es ua cota superior del úmero de errores que se comete detro del cojuto de etreamieto. Ya que e el caso o separable, ecesariamete se ha de cometer errores, parece atural asigar a la fució objetivo u coste extra que e cierto modo pealice los errores (fució de pérdida). Por todo ello, ua opció lógica sería platear el problema de miimizar 1 2 w 2 + C co k 1. Cómo se iterpreta esta fució objetivo? Si se cosidera u valor C grade, sigifica que el ivestigador está asigado u peso a los errores muy alto frete a w 2, y por el cotrario si C es pequeño asiga u mayor peso a w 2. Esta iterpretació resulta más ituitiva si se iterpreta que w 2 ξ k i es u factor de suavizamieto de la solució buscada. Por otro lado si k es grade lo que hacemos es dar mucho más peso a los errores cuatos mayores sea éstos. Se llega por tato a platear u problema de programació covexa para cualquier valor de k. Si k = 2 ó k = 1 se tiee u problema de programació covexa cuadrático. E el presete trabajo se cosidera k = 1 ya que e este caso se tiee la vetaja de que igú valor ξ i, i iguo de sus correspodietes multiplicadores de Lagrage, aparece e el problema dual. Por tato el problema de optimizació que se platea es: 1 mí w IR d 2 w 2 + C ξ i y i (x i w + b) 1 + ξ i 0, i s.a. ξ i 0, i (6) 10

11 Utilizado la técica de los multiplicadores de Lagrage se llega a la fució objetivo dual L D(α) = α i 1 α i α j y i y j x i x j 2 i,j=1 la cual hay que maximizar respecto α i sujeta a y cuya solució fial viee dada por 0 α i C, i = 1,, α i y i = 0 w = N SV α i y i s i dode N SV deota el úmero de vectores soporte y por s i los vectores soporte del cojuto {x 1,, x }. Claramete N SV y ua de las características más iteresate de estos modelos es que eligiedo adecuadamete los parámetros es posible coseguir que N SV sea muy iferior a co lo que se cosigue ua represetació corta de la solució e fució de los vectores de etrada si perder capacidad de geeralizació. E problemas ecoómicos, dode se trabaje co ua catidad igete de datos, y se ecesita dar ua rápida respuesta frete a ua ueva etrada, este esquema resulta muy atractivo puesto que la catidad de recursos ecesarios para proporcioar ua salida es pequeña e comparació co la catidad de datos de etreamieto 18. Nótese, que la úica diferecia e la solució co respecto a la dada e el caso separable es que los multiplicadores de Lagrage α i, está acotados superiormete por la costate C. Las codicioes de KKT asociada a este problema so las siguietes: w j L P = w j b LP = α i y i x ij = 0 α i y i = 0 ξ i L P = C α i µ i = 0 (7) y i (x i w + b) 1 + ξ i 0 ξ i, α i, µ i 0 α i(y i (x i w + b) 1 + ξ i) = 0 (8) µ i ξ i = 0 (9) Como se cometó e el caso separable, se puede usar las codicioes complemetarias de KKT (las igualdades (8) y (9)), para determiar el valor de b. Nótese que la ecuació (7) combiada 18 E este puto es importate reseñar que del aálisis por ordeador de problemas multidimesioales altos resultó el descubrimieto que R. Bellma deomió, la maldició de la dimesioalidad, ya que observo que icremetado el úmero de factores que debía ser tomados e cosideració, estos requería u icremeto expoecial de la catidad de recursos computacioal. 11

12 co la ecuació (9) muestra que, si ξ i = 0 etoces α i < C. Así se puede simplificar el cálculo de b tomado los vectores de etreamieto tales que 0 < α i < C y usar la ecuació (8) co ξ i = 0 (como ya se idicó ateriormete es más adecuado promediar este valor etre todos los vectores de etreamieto co ξ i = 0) Modelos teóricos SVMs Como resume de lo señalado hasta ahora e esta secció se sigue que e el problema de miimizació (6) se busca determiar u hiperplao separador óptimo: π f(x; w, b) = w, x + b = 0 dode w IR d y b IR so parámetros que debe ser estimados. Por ello se puede cosiderar que el cojuto de fucioes F sobre la que se busca la solució al problema (6) es F = f(x; w, b) = w, x + b, w IR d, y IR es decir, que mí L P (x; w, b) = mí LP (x, f) w IR d f F y L P (x; f) puede ser cosiderado como u riesgo regularizado (ver e [9]) R reg[f] por lo que mí L P (x; w, b) = mí Rreg[f] w IR d f F Por otro lado, ya que ua vez determiado el valor óptimo de w, a partir de las codicioes de KKT se obtiee el parámetro b, el objeto pricipal de estudio se reduce e esecia al vector de parámetros w IR d. Este vector de parámetros se obtiee segú ua combiació lieal de los N vectores del cojuto de etreamieto por la expresió w = αi yi xi de dode se sigue que la fució solució al problema de clasificació se expresa: f(x) = α i y i x i, x + b. (10) 3. Máquias o lieales de vectores soporte E esta secció se aborda el problema de geeralizar los desarrollos ateriores para el caso de clases de fucioes o ecesariamete lieales e los parámetros. Para ello, obsérvese que los vectores de etrada forma parte de la solució (10) del problema de clasificació, a través de los productos escalares, x i, x. Utilizado la idea dada e [1] se sigue: Sea ua aplicació Φ del cojuto de etradas X, e u espacio H (deomiado espacio característico) dotado de u producto escalar. Φ : X IR d H. Ahora, e lugar de cosiderar el cojuto de vectores {x 1,, x } se cosidera los vectores trasformados {Φ(x 1),, Φ(x )} y si se platea el problema de optimizació origial a estos 12

13 vectores se tiee que los uevos vectores forma parte de la solució del problema solo a través del producto escalar defiido e H: Φ(x i), Φ(x). Así, si se cosidera ua fució k : H H IR (deomiada fució úcleo), tal que k(x, x ) = Φ(x) Φ(x ) = Φ(x), Φ(x ) H solo es ecesario coocer la fució úcleo para resolver el algoritmo y o se ecesita teer la forma explícita de la aplicació Φ. Por tato si se reemplaza x i, x por k(x i, x) e la solució de los problemas de optimizació, se habrá coseguido ua máquia de vectores soporte plateada e u uevo espacio, y además, lo que resulta muy importate e la práctica, la ejecució de u programa que lleve a cabo esta técica o lieal, cosume la misma catidad de recursos computacioales que si la técica fuese lieal. Al resolver este problema e H, dode se trabaja co fucioes lieales, la solució que resulta es lieal e él, pero o es ecesariamete lieal e el espacio de etradas X, co lo cual se esta geeralizado el problema a cojutos de fucioes o lieales. Si se lleva a cabo la trasformació de los datos, el vector solució es N SV w = α i y i Φ(s i) (11) dode Φ(s i) deota los vectores soporte del cojuto {Φ(x 1),, Φ(x )}. Es importate otar que los vectores soporte se ecuetra detro del cojuto {Φ(x 1),, Φ(x )}, se deota por Φ(s i) pero o so ecesariamete los trasformados de los vectores soporte s i que se ecuetra detro del cojuto {x 1,, x }, etre otras cosas porque co los vectores si trasformar o se realiza igú algoritmo, a pesar de esta idicació se sigue co esta otació, puesto que es la utilizada tradicioalmete. Auque la aplicació Φ aparece e la solució (11) se tiee que cuado se realiza la fase de prueba, o se ecesita teer de forma explícita ya que la solució queda: N SV f(x) = α i y i Φ(s i), Φ(x) + b y escrita e térmios de la fució úcleo: N SV f(x) = α i y i k(s i, x) + b Ua importate cosecuecia de la represetació dual (e térmios del úcleo) es que la dimesió del espacio característico o afecta a los cálculos ya que la úica iformació ecesaria se ecuetra e la matriz de orde : {k(x i, x j)} i,j=1 (deomiada matriz de Gram). U esquema de esta costrucció se ecuetra e la figura 5 y u ejemplo gráfico de la solució aportada por la SVM al ejemplo aparece e la figura 6. 13

14 x 1, x 2,, x, x Espacio de etradas φ(x 1 ), φ(x 2 ),, φ(x ), φ(x) Espacio Característico k(x 1, x), k(x 2, x),, k(x, x) Núcleos f(x) = α i k(x i, x) + b Fució solució Figura 5: Las máquias de vectores soporte trasforma, iicialmete, el espacio de etradas e u espacio característico de dimesió superior y etoces costruye la fució de clasificació lieal óptima detro de este uevo espacio. Al usar Φ : X H se trabaja e u uevo espacio H por lo cual el vector solució w se ecuetra e este espacio. Por tato, puede ocurrir que sobre el cojuto X iicial o se tega defiida igú tipo de estructura, y la fució Φ sirve para dar ua estructura 19 a los datos y poder aplicar ua adecuada clasificació. Esta idea aparece recogida e el trabajo [11] dode se preseta ua fució úcleo cocreta y sobre todo ua forma de hacer frete a la costrucció de fucioes úcleos a partir de ua iterpretació de similitud etre vectores de etrada. Por otro lado, dado u espacio H dotado de u producto escalar habría que estudiar que propiedades debe cumplir las fucioes k : X X H que permite costruir u par {Φ, H}, co las propiedades descritas ateriormete, es decir, ser fucioes úcleos. U aálisis detallado de este puto puede ecotrarse etre otros e [9], [5] y [18]. 19 Ua forma de verlos. 14

15 Figura 6: Solució gráfica al problema plateado e la secció 2.1 a partir de ua fució úcleo (gaussiao). Los putos + e egro represeta los vectores de etrada co etiqueta 1 (hombres) y los putos + e rojo los de etiqueta 1 (mujeres). Los putos e círculos represeta los vectores soporte Clasificació múltiple Geeralizamos los problemas de clasificació a etiquetas múltiples. Así sea el cojuto de etiquetas posibles {θ 1,, θ l }, siedo l > 2 y si ua relació de orde defiida etre ellas. Sea Z el cojuto de etreamieto y se costruye los subcojutos Z k = {(x i, y i), tales que y i = θ k } que determia ua partició de Z. Deotamos por k el úmero de vectores de etreamieto del cojuto Z k ( = l ); y por I k el cojuto de ídices i tales que (x i, y i) Z k de dode se sigue que i I k {(x i, y i)} = Z k. La forma, más habitual, de utilizació de las máquias de vectores soporte para resolver problemas de multiclasificació admite dos tipos de arquitectura: SVMs biclasificadoras geeralizadas: Costruye ua fució clasificadora global a partir de u cojuto de fucioes clasificadoras dicotómicas (biclasificadoras). SVMs multiclasificadoras: Costruye ua fució clasificadora global directamete cosiderado todas las clases a la vez. Las SVMs multiclasificadoras platea u problema de optimizació similar a las SVMs biclasificadoras que posteriormete resuelve. Tiee el icoveiete que proporcioa ua salida fial y el proceso de obteció de esta salida es como ua caja egra que o admite igua recostrucció posterior. 15

16 Las SVMs biclasificadoras geeralizadas da solució al problema de la multiclasificació trasformado las l particioes del cojuto de etreamieto e u cojuto de L biparticioes, e las cuales costruye la correspodiete fució clasificadora (es lo que se deomia esquema de descomposició) obteiedo f 1, f L clasificadores dicotómicos o biclasificadores. A cotiuació, mediate u esquema de recostrucció, realiza la fusió de los biclasificadores f i, i = 1,, L co objeto de proporcioar como salida fial, ua de las l clases posibles, {θ 1,, θ l }. Detro del esquema de descomposició, las máquias más utilizadas so: Máquias 1-v-r SV (iiciales de oe- versus- rest). Máquias de vectores soporte, dode cada fució clasificadora parcial f i, efreta los vectores de la clase θ i cotra los vectores de las restates clases. Máquias 1-v-1 SV (iiciales de oe- versus- oe). Máquias de vectores soporte, dode cada fució clasificadora parcial f ij, efreta los vectores de la clase θ i cotra los de la clase θ j, si cosiderar las restates clases. E estos casos para la recostrucció del problema se utiliza algú esquema de votació que tega e cueta la distribució de las etiquetas asigadas por las máquias parciales: Etiquetas Votos θ 1 m 1.. θ k. m k. θ l m l l (l 1) 2 dode m k es el úmero de votos que las máquias f i, i = 1,, l (l 1) 2 da a la etiqueta θ k. 4. Cometarios Los úcleos proporcioa el leguaje descriptivo usado por la máquia para ver los datos. Frecuetemete, el diseñador puede trabajar co ua oció más ituitiva de similitud e el espacio de los iputs y es ahí dode los expertos puede dar ua guía iigualable de ua apropiada medida de similitud. Detro de los problemas ecoómicos, la elecció de los úcleos os permitirá teer a uestra disposició u gra úmero de modelos o paramétricos co la vetaja de poder iterpretar las características del modelo, gracias a la liealidad del espacio característico. La itroducció de los úcleos aumeta sigificativamete la potecia de las máquias de apredizaje a la vez que retiee la liealidad que asegura que los apredizajes resulte compresibles. El icremeto de la flexibilidad, si embargo, icremeta el riesgo de sobreajuste co la elecció de hiperplaos separables que aumeta los problemas debido al úmero de grados de libertad. El cotrol adecuado de la flexibilidad del espacio característico iducido por los úcleos requiere ua teoría de geeralizació, la cual sea capaz de describir co precisió que factores ha 16

17 de ser cotrolados e las máquias de apredizaje co objeto de garatizar uas bueas geeralizacioes. Este cotrol de la capacidad de geeralizació queda recogido e [5] dode se da diferetes teoremas que permite afirmar que para cualquier distribució seguida por los datos y cosiderado el domiio de las fucioes f F, ua bola de radio R cetrada e el orige que cotega todos los vectores x i, se sigue que co probabilidad al meos 1 η sobre ua muestra de tamaño, se tiee para todas f F, el error de esayo mí f F P (A f ) puede ser cotrolado a partir de w 2 + λ ξi lo cual da pleo setido a las máquias de vectores soporte. Idicar que sólo después de llevar a cabo u proceso de apredizaje se puede coocer cual es la complejidad de la hipótesis resultate. Este tipo de aálisis, el cual proporcioa ua forma de explotar las bueas codicioes etre la fució objetivo y la distribució de las etradas, es llamada miimizació del riesgo estructural depediete de los datos. Los multiplicadores de Lagrage asociados co cada iput, e la solució aportada por las máquias de vectores soporte, llega a ser las variables duales, dado co ello ua iterpretació ituitiva que cuatifica como de importate es u vector de etreamieto dado e la formació de la solució fial. Para muchas clases de úcleos, siempre es posible ecotrar u parámetro del úcleo para el cual los datos llega a ser separables (e geeral forzar esta separació puede coducir fácilmete al sobreajuste). E estos casos, los outliers podría ser caracterizados por teer multiplicadores de Lagrage muy grades, y este procedimieto podría ser usado para depurar los datos ya que ello puede clasificar los datos de etreamieto de acuerdo a la dificultad que ellos preseta para ua clasificació correcta. La idea de represetar la solució por medio de u pequeño subcojuto del cojuto de etreamieto tiee ua eorme vetaja de cálculo. La implemetació de estas técicas pasa por platear ua fució objetivo co tatas restriccioes como úmero de etradas, lo cual coduce a u problema de ua elevada complejidad de cálculo. Existe distitas direccioes de págias web, por ejemplo: dode se puede ecotrar muchos artículos dode se estudia diferetes formas de optimizar estas técicas, así como comparativas co otras técicas que resuelve problemas similares. Los modelos basados e SVMs puede ser tambié aplicado a los problemas de estimació de la regresió, mateiedo las pricipales características de los problemas de clasificació: ua fució o lieal es buscada, a través de ua máquia lieal, e u espacio característico iducido por u úcleo mietras la capacidad del sistema es cotrolada por u parámetro que o depede de la dimesioalidad del espacio. E la págia web: /SVM/applist.html se puede ecotrar diferetes aplicacioes de estos modelos a problemas reales, dode se obtie- 17

18 e resultados muy satisfactorios. Alguos de los problemas que resuelve se ecuetra e los siguietes campos: Clasificació de imágees, Aproximació de fucioes y regresió, Recoocimieto de objetos e 3D, Caracterizació de textos, Recoocimieto de caracteres de escritura, Predicció de series temporales y Recostrucció de sistemas caóticos, Árboles de decisió,... La aplicació de estas técicas a problemas ecoómicos o ha sido aú muy utilizadas, si embargo alguas referecias so: [2] estudia el problema de clasificació de empresas (ratig) [14] dode se platea u modelo de regresió que explica el precio de la casas e Bosto, a partir de 15 variables explicativas cotiuas, y compara la solució aportada por ua máquia de vectores soporte co ua regresió e cordillera (ridge) y otra regresió e árbol; [4] platea árboles de decisió e bases de datos comerciales y lo compara co otros métodos estádar de clasificació. [6] Platea a través de u problema de clasificació ua modelo de predecir bacarrotas aplicadas a u cojuto de bacos australiaos. [17] se preseta alguos resultados sobre precios de stocks E estos trabajos se compara los modelos SVMs co otros (redes euroales, árboles de decisió,...) y se obtiee uos resultados muy satisfactorios. 5. Coclusioes y trabajos futuros Poco a poco la comuidad cietífica esta cada vez más covecida de la utilidad de las SVMs y así se poe de maifiesto cuado, por ejemplo, buscamos ua palabra clave relacioada co estás técicas e los buscadores de iteret y observamos el alto úmero de referecias que aparece. Si embargo, aú so pocas las aplicacioes de esta metodología e problemas ecoómicos. E la actualidad estoy trabajado co compañeros de otras uiversidades co el objetivo de geeralizar las SVMs a problemas de multiclasificació e dos setido: e primer lugar icorporado ua iterpretació probabilística de las salidas, parte de estas ivestigacioes se ecuetra e [12]; y e seguda lugar, mejorado alguas deficiecias que preseta las SVMs 1-v-1 cuyos trabajos va por bue camio y os ha aceptado ua comuicació e ESANN2003 [3]. Referecias [1] M.A. Aizerma, E.M. Braverma, ad L.I. Rozooér. Theoretical foudatios of the potetial fuctio method i patter recogitio learig. Automatio ad Remote Cotrol, (25): , [2] C. Agulo. Apredizaje co máquias úcleos e etoros de multiclasificació. Tesis doctoral, Uiversidad Politécica de Cataluña, Abril

19 [3] C. Agulo ad L. Gozález. 1-v-1 tri-class sv machie. ESANN 2003, [4] K. Beett ad L. Ausleder. O support vector decisio trees for database marketig. Bajado de isabelle/ Projects/ SVM/ applist.html, Marzo [5] N. Cristiaii ad J.Shawe-Taylor. A itroductio to Support Vector Machies ad other kerel-based learig methods. Cambridge Uiversity press 2000, [6] A. Fa ad M. Palaiswami. Selectig bakruptcy predictors usig svm approach. IEEE, [7] R. Fletcher. Practical methods of optimizatio. Joh Wiley ad Sos, Ic, 2 editio, [8] S. Germa ad E. Bieestock. Neural etworks ad the bias / variace dilemma. Neural Computatio, 4:1-58, [9] L. Gozález. Teoría del apredizaje estadístico de la regresió. Máquias de regresió de vector base. Trabajo itero del departameto de ecoomía aplicada i, Facultad de Ciecias Ecoómicas y Empresariales, Uiversidad de Sevilla, Diciembre [10] L. Gozález. Aálisis discrimiate utilizado máquias úcleos de vectores soporte. Fució úcleo similitud. Tesis doctoral, Dpto. Ecoomía Aplicada I. Uiversidad de Sevilla, Juio [11] L. Gozález ad J.M. Alba. Similitud etre sucesos. Terceras Joradas de Trabajo sobre Metodologías Cualitativas Aplicadas a los Sistemas Socioecoómicos, Julio [12] L. Gozález, C. Agulo, F. Velasco, ad M. Vilchez. Máquia l-svcr co salidas probabilísticas. Iteligecia Artificial, (17):72 82, september [13] I. Guyo, V. Vapik, B. Boser, L. Bottou, ad S. Solla. Structural risk miimizatio for character recogitio. Advaces i Neural Iformatio Processig Systems, 4: , [14] K.R. Müller, A.J. Smola, G. Rätsch, B. Schölkopf, J. Kohlorge, ad V. Vapik. Predictig times series with support vector machie. Notas de trabajo, [15] D. Motgomery ad Peck E. Itroductio to Liear Regressio Aalysis. Joh Wiley ad Sos, Ic. 2d edició, [16] M. Stitso, J. Westo, A. Gammerma, V. Vovk, ad V. Vapik. Theory of support vector machies. Iforme Técico. Bajado de [17] T. Trafalis ad H. Ice. Svm for regressio ad applicatios to fiacial forecastig. IEEE, [18] V.N. Vapik. Statistical Learig Theory. Joh Wiley & Sos, Ic,