TESIS MAGÍSTER EN INGENIERÍA ELECTRÓNICA BOOSTING SUPPORT VECTOR MACHINES ELKIN EDUARDO GARCÍA DÍAZ COD

Transcripción

1 TESIS MAGÍSTER EN INGENIERÍA ELECTRÓNICA BOOSTING SUPPORT VECTOR MACHINES ELKIN EDUARDO GARCÍA DÍAZ COD ASESOR FERNANDO LOZANO MARTÍNEZ PH.D. UNIVERSIDAD DE LOS ANDES FACULTAD DE INGENIERÍA MAESTRÍA EN INGENIRÍA ELÉCTRICA Y ELECTRÓNICA BOGOTÁ D.C. 005

2 TABLA DE CONTENIDO INTRODUCCIÓN... 3 MARCO TEÓRICO EL PROBLEMA DE CLASIFICACIÓN BINARIA HIPERPLANO SEPARADOR ÓPTIMO EN EL ESPACIO DE ENTRADA CASO SEPARABLE CASO NO SEPARABLE SUPPORT VECTOR MACHINES MAPEO DE KERNEL REPRODUCIDO TRUCO DEL KERNEL ESPACIOS DE HILBERT DE KERNEL REPRODUCIDO MAPEO DEL KERNEL DE MERCER EJEMPLOS DE KERNELS HIPERPLANO SEPARADOR ÓPTIMO EN EL ESPACIO DE CARACTERÍSTICAS CASO SEPARABLE CASO NO SEPARABLE C-SVM ν -SVM SOLUCIÓN DEL PROBLEMA DE PROGRAMACIÓN CUADRÁTICA ALGORITMOS DE BOOSTING CONCEPTOS PRELIMINARES ADABOOST BOOSTING SUPPORT VECTOR MACHINES SUPPORT VECTOR MACHINES CON DISTRIBUCIONES C -SVM CON DISTRIBUCIONES ν -SVM CON DISTRIBUCIONES HARD C -SVM CON DISTRIBUCIONES HARD ν -SVM CON DISTRIBUCIONES SUPPORT VECTOR MACHINES COMO ALGORITMO DÉBIL ALGORITMO BOOSTING SUPPORT VECTOR MACHINES (BSVM) PRUEBAS Y RESULTADOS EPERIMENTALES CONCLUSIONES BIBLIOGRAFÍA... 58

3 INTRODUCCIÓN En la vda cotdana el hobre se enfrenta frecuenteente con el problea de clasfcacón, tal es el caso de los caracteres escrtos, el reconocento de voz o el dagnóstco édco. Sn ebargo se ha probado en uchos casos que soluconar este tpo de probleas hacendo uso de un coputador presenta bastantes dfcultades []. Exsten dversas razones que conducen a que la resolucón de dchos probleas sea bastante coplea, entre ellas se encuentran:. El orgen de lo que se busca clasfcar (patrones): caracteres escrtos, síbolos, dbuos, ágenes boédcas, obetos trdensonales, fras, huellas dactlares, ágenes de Teledeteccón, croosoas, etc.. La fora adecuada de representar estos eleentos. 3. Los requerentos del sstea, especalente en tepo de respuesta, puesto que aunque algunos étodos sean superores en éxto, no son aplcables en la práctca dadas estas restrccones. 4. Factores econócos en especfcacones del sstea de adquscón de datos (sensores) o en equpos de procesaento uy potentes pueden dar resultados uy satsfactoros pero no pueden ser asudos por los usuaros. Dentro de las técncas de clasfcacón se destacan los árboles de decsón, las redes neuronales [] y las áqunas de vectores de soporte SVM [] por sus sglas en nglés (Support Vector Machnes). Estas últas han sdo desarrolladas recenteente basándose en la teoría estadístca de aprendzae de Vapnk [3] y han tendo gran éxto al ser aplcadas en la resolucón de probleas báscos de aprendzae supervsado (clasfcacón y regresón) y en probleas práctcos reales []. 3

4 MARCO TEÓRICO. EL PROBLEMA DE CLASIFICACIÓN BINARIA Sea un espaco de entrada, Y un espaco de etquetas y una dstrbucón sobre y dada S = x, y una secuenca { } = de eeplos etquetados donde cada x ndependentes e déntcaente dstrbudos de acuerdo a y cada y Y es asgnado de acuerdo a una regla posbleente estocástca. En este caso del problea clasfcacón bnaro se restrnge a {, } Y = +. Una regla de clasfcacón llaada hpótess, es una funcón que asgna una etqueta a cada eleento en el espaco de entrada. En el problea de clasfcacón bnara se tene que [ ], donde el sgno de ( ) h :, + asgnada a la nstanca h : Y h x es nterpretado coo la predccón de la etqueta a ser x, entras que la agntud h( x ) es nterpretada coo la confanza de esta predccón. Por otra parte una clase de hpótess copuesto por dferentes hpótess en el espaco de entrada. H es un conunto de hpótess El desepeño de una hpótess será evaluado utlzando el error de generalzacón R y el error epírco R ep defndos coo: { ( ) } ( ) ( ) ( ) R h = P sgn h x y (.) x, ~ y R h, S, D D I (.) ( ) = ( ) ( x) ep sgn( h ) y = Donde D es una dstrbucón dscreta sobre el conunto de uestras etquetadas y I es la funcón ndcadora. []. 4

5 . HIPERPLANO SEPARADOR ÓPTIMO EN EL ESPACIO DE ENTRADA Consdere una fala H de clasfcadores lneales sobre un espaco de entrada. Es decr clasfcadores de la fora hw, b x = sgn w, x + b donde w y b. ( ) ( ) S = x, con Se dce que un conunto de eeplos etquetados { y } = lnealente separable cuando exste un hw,b ( x) H tal que h,b( ) = y Adconalente, para un hperplano h ( ) { } x, y, + está defndo coo x y {, } y + es w x para todo x, y S. w,b x H, el argen geoétrco de un punto yh. w, b ρ w, b ( x, y ) = w Mentras que el argen geoétrco de un hperplano h w,b ( x ) sobre S está defndo coo, b, b =,..., ( x) ( y ) (.3) ρw = n ρw x, (.4).. CASO SEPARABLE En probleas lnealente separables, a partr del hperplano separador defndo por w y defnen hperplanos paralelos a éste de tal fora que en los puntos ás cercanos al hperplano ( y x para la Fgura.) se cupla que wx, + b =, esto se obtene reescalando de fora x adecuada ( w,b). b se A partr de esto se tene que w, ( x x ) =, entonces ( ) w, x x = w w, lo que sgnfca que para esta fora canónca de ( w,b) el argen es w coo se apreca en la Fgura. 5

6 { b} x < w, x> + =+ {, b} x < w x> + = x y = x w y =+ w { b} x < w, x> + = 0 Fgura. Hperplano canónco y defncón del argen geoétrco. Sn ebargo pueden exstr dferentes hperplanos que soluconan el problea, pero unos son eores que otros de acuerdo su argen, a ayor argen el hperplano es eor, coo se apreca en la Fgura. 6

7 (a) (b) w w Fgura. Problea lnealente separable y un posble hperplano separador. a) hperplano separador con bao argen. b) hperplano separador con alto argen. Entonces para un conunto de eeplos etquetados = { x, } = S y lnealente separables, se puede encontrar un clasfcador lneal con áxo argen y que no coeta errores resolvendo el sguente problea de optzacón con restrccones: n w, b τ ( w) ( wx ) s. a. y, + b para =,..., = w (.5) Para resolver este problea se ntroducen ultplcadores de Lagrange α 0 y el Lagrangano: L(, b, ) = α y(, + b = ( w α w w x ) ) (.6) A partr del Lagrangano, se pueden nzar las varables prales w y b o axzar las varables duales α. Por otra parte las condcones de Karush-Kuhn-Tucker (KKT) plcan que: y b ( b ) L w,, α = 0 (.7) 7

8 L w ( w b α),, = 0 (.8) Aplcando (.7) y (.8) a (.6) se obtene: α y = 0 (.9) = y w = α y x = (.0) Susttuyendo (.0) en (.6) se tene: L( w, b, α) = αyx, α yx α y α y, + b x x = = = = = α yα y x, x α yα y x, x b α y + = = = = = = = α yα y x, x bα y + α = = = = α Utlzando (.9) se llega a L( w, b, α ) = α α yα y x, x (.) = = = De (.) el planteaento del problea dual es ax W = α α yα y x, x α = ( α) sa.. α y = 0 = = = α 0 para =,..., (.) Tenendo en cuenta que ax f ( x ) es equvalente n ( ) x (.) en fora atrcal, el nuevo problea de optzacón es: f x y reforulando el problea x 8

9 T T n f ( α) = α Qα e α α T sa.. y α = 0 α 0 para =,..., (.3) donde Q = y y x, x Puede notarse que (.3) es un problea de prograacón cuadrátca, pues la funcón obetvo es cuadrátca y tene restrccones lneales. A partr de (.0) el hperplano separador ópto puede escrbrse coo h, b( ) = sgn yα, + b w x x x = (.4) Es de destacarse que este hperplano está en funcón de los datos con los que fue entrenado, sn ebargo la ayoría de los α son cero, dado que uy pocas restrccones de (.5) están actvas, con lo cual solo es funcón de los datos para los cuales los éstos son llaados vectores de soporte. Para hallar el valor del ubral ( y (, b) ) α son dferentes de cero, b, tenendo en cuenta que del Lagrangano se sabe que α wx + = 0 para todo =,..., se tene que, utlzando (.0) para los α > 0 αy x, x + b= y (.5) = De (.5), el ubral puede ser obtendo proedando b= y α y x, x (.6) = sobre todos los puntos con α > 0, es decr, los vectores de soporte... CASO NO SEPARABLE Cuando el problea no es lnealente separable, es nteresante encontrar un clasfcador con el íno error epírco sobre el conunto de eeplos etquetados. Sn ebargo el problea de 9

10 encontrar este clasfcador es NP-Hard [4]. Sn ebargo este problea puede ser alvado tenendo en cuenta el concepto de argen pasando por alto los puntos con algún argen postvo en el hperplano, en este caso el problea tene copledad polnoal. Por las razones expuestas anterorente para el caso no separable se puede plantear el sguente problea de optzacón [3],[5]: w, ξ, b ( w ξ) n τ, ( wx ) C = w + = sa.. y, + b ξ (.7) ξ 0 para =,..., ξ Donde conflcto: C 0 es una constante que controla el trade-off entre dos obetvos que entran en. Mnzar el error de entrenaento.. Maxzar el argen. En este caso cuando ξ = 0, no exste un argen de error, sn ebargo ξ > 0 plca que las clases se sobrelapan. Desafortunadaente, no se tene una fora a pror de selecconar el paráetro C, aunque coúnente se utlza C = 0. El procedento para resolver (.7) es slar al descrto para resolver (.5) coo se presenta a contnuacón. Se ntroducen ultplcadores de Lagrange α, β 0y el Lagrangano: ( ) C L( w, ξ, b, α, β) = w + ξ α y( w, x + b) + ξ βξ (.8) = = = A partr del Lagrangano, se pueden nzar las varables prales w, ξ y b o axzar las varables duales α,β. 0

11 Por otra parte las condcones de Karush-Kuhn-Tucker (KKT) plcan que: L( w, ξ, b, α, β ) = 0 b (.9) L( w, ξ, b, α, β) = 0 ξ (.0) y L( w, ξ, b, α, β) = 0 w (.) Aplcando (.9),(.0) y (.) a (.8) se obtene: α y = 0 (.) = α C + β = (.3) y w = α y x = (.4) Ahora, anpulando algebracaente (.8) se tene C L( w, ξ, b, α, β) = w + ξ α y w, x bα y + α αξ βξ = = = = = = ( w, ξ,, α, β) = ww, α wx, + α α + ξ( C α β ) L b y b y = = = = (.5) Utlzando (.) y (.3) en (.5) L( w, ξ, b, α, β) = ww, α y wx, + α (.6) = = Reeplazando (.4) en (.6) L( w, ξ, b, α, β ) = α α yα y x, x (.7) = = = Por otra parte α, β 0 y cobnado con (.3) se obtene

12 0 α C para =,..., (.8) Fnalente de (.7) y con las restrccones (.) y (.8) el planteaento del problea dual es ax W = α α yα y x, x α = ( α) sa.. α y = 0 = = = (.9) 0 α C para =,..., Reforulando el problea (.9) en fora atrcal y en térnos de nzacón, el nuevo problea de optzacón es: T T n f ( α) = α Qα e α α T sa.. y α = 0 (.30) 0 α C para =,..., donde Q = y y x, x Puede notarse que (.30) es bastante slar a (.3) con excepcón de las restrccones sobre α, por otra parte el hperplano separador ópto ( ) h w x conserva la sa fora de (.4).,b Para calcular el ubral b, a partr de la prera restrccón de (.7) para los vectores de soporte x para los cuales ξ = 0, se tene la sa condcón que para el caso separable (.5). Entonces el ubral b puede ser obtendo proedando (.6), coo en el caso no separable, sobre todos los x vectores de soporte con α < C, en otras palabras, los x en donde la restrccón 0 α C < < C. del problea (.30) no esté actva ( 0 α )

13 .3 SUPPORT VECTOR MACHINES A pesar que el clasfcador lneal es uno de los clasfcadores ás sples, usualente el error epírco y de generalzacón de este tpo de clasfcadores es bastante pobre. En la Fgura 3. se pueden aprecar eeplos sples en los que un clasfcador lneal es napropado para consegur un buen error epírco y de generalzacón. Fgura 3. Eeplos de probleas sples donde un clasfcador lneal no tene un buen desepeño. Es por esto que el obetvo de Support Vector Machnes es encontrar un hperplano separador ópto en el espaco de característcas '. Este espaco de característcas no es otra cosa que una transforacón no lneal Φ( x) de altas densones del espaco de entrada (espaco orgnal de los datos) que busca que los datos sean separables. Φ : ' x x : =Φ ( x) (.3) Un eeplo lustratvo de una transforacón no lneal de este tpo se puede aprecar en la Fgura 4. 3

14 x Φ Φ ( x) = z, z, z3 = x, x, xx z x z z3 Fgura 4. Eeplo de transforacón no lneal Debdo a esto, ahora el hperplano separador ópto h ( x) w,b para los casos separable y no separable planteados en los probleas de optzacón (.5) y (.7) dado por (.4) está en el espaco de característcas ' y se transfora en hw, b( x) = sgn yα Φ( x), Φ( x) + b ' (.3) = Donde w ',b y x. Nótese que se hace necesaro aplcar la transforacón no lneal a los eleentos x y que adconalente es necesaro calcular el producto punto en el espaco de característcas '. Es decr que el procedento a segur estaría representado en la Fgura 5. 4

15 Φ x x =Φ( x), x x =Φ ( x ) Fgura 5. Procedento para encontrar la solucón del problea de optzacón. Coo puede observarse es un procedento bastante costoso coputaconalente, puesto que en prer lugar se debe calcular Φ ( x), una transforacón no lneal y de altas densones para luego calcular el producto punto. Sn ebargo gracas a funcones denonadas kernels se puede calcular el producto punto en el espaco de característcas drectaente desde el espaco de entrada sn tener que calcular explíctaente el apeo Φ de la sguente fora: kx (, x) = Φ( x), Φ ( x) (.33) Una de las ventaas de trabaar con estas funcones es que el espaco de entrada no necesta una estructura (por eeplo ser subconunto de vacío. N ), spleente debe ser un conunto no Esto se adapta perfectaente a uchas stuacones en donde no se tene una representacón vectoral y se trabaa con dstancas entre pareas o slardades entre obetos no vectorales [6],[7]. Así, a partr de (.33), el procedento de la Fgura 5. se splfca, coo se apreca en la Fgura 6. 5

16 k (, ) Φ x x =Φ( x), x x =Φ ( x ) Fgura 6. Procedento para encontrar la solucón del problea de optzacón utlzando kernels Estas funcones kernel es posble calcularlas efcenteente, a contnuacón el eeplo de la Fgura 3.: x = [ x, x] [ ] Φ ( x) = z, z, z3 = x, x, xx Φ( x ), Φ ( x ) = k( x, x ) = x, x (.34) Es necesaro presentar algunas defncones con respecto a los kernel y algunas propedades que ellos cuplen [8]. Para, con valores de... dada una funcón k : K donde K = o K= y los patrones x,..., x, la atrz K de con eleentos K ( ) : = k x, x (.35) es llaada la atrz de Matrz de Gra de k con respecto a x,..., x. Adconalente una atrz coplea K de que satsface cck 0 (.36) 6

17 para todo c es llaada postva defnda. De anera slar una atrz real K de que satsface (.36) para todo c es llaada postva defnda. En el caso partcular de atrces sétrcas, ésta es postva defnda sí y solo sí todos sus valores propos son no negatvos. Para un conunto, un kernel postvo defndo es una funcón k en que para todo y todo x,..., x nduce una atrz de Gra postva defnda. S es un kernel postvo defndo y k x, x, entonces se cuple la necuacón de Cauchy- Schwarz k( x, x ) k( x, x ) k( x, x ) (.37).3. MAPEO DE KERNEL REPRODUCIDO A contnuacón se ostrará, cóo la seleccón de un kernel postvo defndo, defne un espaco de característcas. Para ello se asue que k es un kernel postvo defndo de valores reales y un conunto no vacío. Se defne un apeo de al espaco de funcones que apea en { : = f : } así: Φ : (, ) x k x, denotado coo (.38) Donde Φ ( x) denota la funcón que asgna el valor de ( ', ) k x x a los x ' Entonces para construr un espaco de característcas ' asocado a Φ ( x) se debe construr un espaco con producto punto que contenga las ágenes de los paráetros de entrada bao Φ, para ello se necesta defnr un espaco vectoral toando cobnacones lneales de la fora (). α ( ) f = k., x (.39) = 7

18 Donde, α y f y otra funcón x,..., x son arbtraros. Luego se defne un producto punto entre g ' (). β k( ' =., x) = (.40) Donde ', β y x,..., x ' ' ' ' = = ( f, g : = αβk x, x (.4) ' ) Ahora se verfca que el operador defndo, cuple con las propedades del producto punto. Usando (.39) y (.4) se tene que f, g ' = ' ( ) = β f x (.4) ' ' y usando (.40) y (.4) adconando el hecho que k( x, x) = k( x x), se tene que f, g = ( ) = α g x (.43) Entonces (.4) y (.43) uestran que, es blneal. De (.4) es evdente que, es sétrco puesto que f, g = g, f. Por otra parte partendo que k es postvo defndo y para cualquer funcón f escrta coo (.39) se tene que, = ( ) f, f = αα k x, x 0 (.44) Con lo cual, es postvo defndo y ás allá de eso, es un kernel en el espaco de funcones., no solaente es defndo postvo, sno estrctaente defndo postvo puesto que s f, f = 0 entonces f = 0. 8

19 Una propedad nteresante es la propedad de reproduccón puesto que usando (.39) se tene que En partcular s f ( x' ) k(., x' ) (., ), ( ) =, (.45) se converte en k x f = f x (.45) (., ), (., ') (, ') k x k x = k x x (.46) Así so de acuerdo a la defncón del apeo (.38) (., ), (., ') ( ), ( ') k x k x = Φ x Φ x (.47) Con lo cual de (.46) y (.47) ( x), ( x' ) = k( x, x' ) Φ Φ (.48) El espaco con producto punto asocados al kernel k. ' construdo es uno de los posbles espacos de característcas Ahora se consdera coo a partr de un espaco de característcas se defne un kernel defndo. k postvo Para ello se tene un apeo Φ de a un espaco con producto punto, de allí se obtene un kernel postvo defndo, defnendo éste coo (, ') : ( ), ( ') k x x = Φ x Φ x (.49) Puesto que para todo c, x con =,..., se tene por (.49) cc k( x, x) = cc Φ( x) Φ( x),,, (.50) De (.50) y por blnealdad del producto punto cc k( x, x) = c ( x), c ( x), Φ Φ (.5) Fnalente de (.5) por la no negatvdad de la nora 9

20 cc k( x, x) = cφ ( x) 0 (.5), Deostrando que el kernel k es postvo defndo. De todo esto sale una defncón equvalente de kernel postvo defndo coo la funcón para la cual exste un apeo Φ en un espaco con producto punto tal que se cuple (.48). Para el caso en el que deostracones son análogas [8]..3. TRUCO DEL KERNEL k es un kernel postvo defndo de valores copleos, todas las Dado un algorto forulado en térnos de un kernel postvo defndo un algorto alternatvo reeplazando k por otro kernel postvo defndo k..3.3 ESPACIOS DE HILBERT DE KERNEL REPRODUCIDO k, se puede construr Hasta el oento, el espaco de característcas asocado a un kernel dado es un espaco vectoral dotado con un producto punto o equvalenteente, un espaco pre-hlbert. Fáclente este espaco puede ser convertdo en un espaco de Hlbert edante un sple truco ateátco, esta estructura adconal tene algunas otras ventaas ateátcas útles en espacos de densón nfnta. Sea un espaco pre-hlbert de funcones (.39), dotado con el producto punto (.4), para convertrlo en un espaco de Hlbert (sobre ), éste se copleta con la nora correspondente al producto punto f : = f, f adconando todas las secuencas de Cauchy que convergen en esa nora. Una secuenca de Cauchy es una secuenca ( z ) : = ( z ) = ( z, z,...) en un espaco norado ' s para todo ε > 0, exste un n tal que para todo n', n'' > n se tenga que z z <. n' n '' ε 0

21 Se dce que una secuenca de Cauchy converge a un punto z ' s z z 0 cuando n n. Entonces ' es un espaco de Hlbert de kernel reproducdo (RKHS por sus sglas en nglés) s dado un conunto no vacío y ' un espaco de Hlbert de funcones f : dotado con el producto punto, ( y la nora f : = f, f ) exste una funcón k : con las sguentes propedades:. k cuple con la propedad de reproduccón ( ) ( ) f, k, x = f x para todo f ' (.53) en partcular (, ), ( ', ) (, ') k x k x = k x x (.54). k expande a ', es decr ' = span { k( x, ) x } donde span { k( x, ) x } hace referenca a todas las cobnacones lneales de k( x, ) y es el encerraento de, es decr que es copletado con todas las secuencas de Cauchy. Es portante destacar que el RKHS deterna un únco k. Esto se deuestra por contradccón suponendo que exsten dos kernel k y k ' que expanden el so RKHS '. Utlzando la setría del producto punto y la propedad de reproduccón se tene que (, ), '( ', ) = (, ') = '( ', ) k x k x k x x k x x (.55) Con lo cual se deuestra que son el so..3.4 MAPEO DEL KERNEL DE MERCER Ahora se construrá otro espaco de Hlbert alternatvo al RKHS, y aunque se puede arguentar que esto es superfluo dado que dos espacos de Hlbert separables son soétrcaente soorfos, es decr, que es posble defnr un apeo lneal uno a uno entre los espacos que preserva el producto punto, el Teorea de Mercer [9] utlzado en esta construccón, ha ugado

22 un papel fundaental en el entendento de SVM, provee nforacón crucal sobre la geoetría del espaco de característcas y en la lteratura es generalente utlzado para ntroducr el truco del kernel. Para ntroducr el teorea de Mercer se asue que (, µ ) es un espaco de edda fnta (un conunto ( ) con una σ -álgebra defnda en éste, en donde se defne una edda µ que satsface µ <, note que escalando esta edda por un factor adecuado, µ es una edda de probabldad). El térno cas todos sgnfca excepto para los conuntos con edda cero. Teorea de Mercer [9]: Suponendo que k L ( ) es una funcón sétrca de valores reales tal que el operador ntegral Tk : L( ) L( ) ( Tf)( x) : = k( xx, ') f( x' ) dµ ( x' ) k (.56) es postvo defndo, es decr que para todo ( ) f L se tene que ( ) ( ) ( ) ( ) ( ) k x, x' f x f x' dµ x dµ x' 0 (.57) Sean ψ L ( ) las funcones propas noralzadas de T k asocadas con los valores propos λ > 0, ordenados no decrecenteente. Entonces ( ). λ l. Es decr que λ < N ' ( ) = ( ) ( ) (, '). k x, x' λψ x ψ x' para cas todos los N = los (, ') x x. = x x para cualquer N o ; en el últo caso, la sere converge absoluta y unforeente para cas todos El nueral es consecuenca que (, ') (, ') ( ), ( ') k x x = Φ x Φ x con N k x x corresponde al producto punto en l, es decr

23 para cas todos los x. Φ: x l N λψ ( x) ( x) λψ (.58) λ N ψ N ( x) La convergenca unfore de las seres plca que dado un ε > 0 exste un n tal que s n N =, k puede ser aproxado con precsón ε coo un producto punto en tal que para cas todos los, ', n n xx k( x, x' ) ( x), ( x' ) Φ Φ < ε donde Φ n : x n ( x) ( x) λψ (.59) Entonces el espaco de característcas puede ser pensado sepre coo un espaco fnto con precsón ε [7]. En consecuenca s un kernel k satsface el teorea de Mercer, se puede construr un apeo Φ en un espaco donde k actúa coo un producto punto n l λψ λψ n ( x) ( x), ( x' ) = k( x, x' ) Φ Φ (.60) para cas todos los n xx, '. Más aún, dado un ε > 0, exste un apeo Φ en un espaco con producto punto n-densonal (donde n depende de ε ) tal que (, ') n n ( ), ( ') k x x Φ x Φ x < ε (.6) para cas todos los xx, '..3.5 EJEMPLOS DE KERNELS A contnuacón se presentan algunos eeplos de funcones kernel 3

24 Asuendo N. Polnoal ( ) d k x, x' = x, x' (.6) donde d. Gaussano x x' k x, x' = exp ( ) σ (.63) donde σ > 0 3. Sgode (, ') tanh ( κ x, x' θ ) k x x = + (.64) donde κ > 0 y θ < 0. Aunque se destaca que este kernel no es postvo defndo, es extoso en la práctca. 4. Polnoal no hoogéneo (, ') (, ' ) d k x x = x x + c (.65) donde d y c 0 5. Curvgrafo B n de orden par (, ') p+ ( ' ) k x x = B x x (.66) n I =, con Bn : = en donde I [] es la funcón ndcadora y p 6. Slardad de eventos probablístcos 4

25 Sea (, C,P) un espaco de probabldad con σ -álgebra C y edda de probabldad (, ) ( ) ( ) ( ) k A B = P A B P A P B (.67) P.4 HIPERPLANO SEPARADOR ÓPTIMO EN EL ESPACIO DE CARACTERÍSTICAS Dado que a partr de las funcones kernel es posble hallar el producto punto en el espaco de característcas, utlzando el truco del kernel se busca encontrar un hperplano separador ópto en este espaco, reforulando los probleas para los casos separable y no separable..4. CASO SEPARABLE Anterorente se había encontrado que el hperplano separador ópto estaba deternado por (.4), ahora en el espaco de característcas está dado por hw, b( x) = sgn yα Φ( x), Φ( x) + b ' = (.68) Pero gracas a los kernels, (.68) se converte en hw, b( x) = sgn yα k( x, x) + b = (.69) Así so el problea dual de optzacón para el caso no separable que era dado por (.) se converte en ax W, α = ( α) = α αyα yk( x x) sa.. α y = 0 = = = α 0 para =,..., (.70) Ahora (.70) en térnos de nzacón y en fora atrcal (análogo a (.3)) es T T n f ( α) = α Qα e α α T sa.. y α = 0 (.7) α 0 para =,..., 5

26 ( ) donde Q = y y k x, x. Así so para hallar el ubral b, de fora análoga a (.6), ahora se proeda = α (, ) b y yk x x = (.7) para todos los puntos con α > CASO NO SEPARABLE A contnuacón se presentarán los cabos para el caso no separable a la hora de encontrar el hperplano separador ópto en el espaco de característcas. Exsten dos alternatvas, la prera, explcada anterorente, conocda coo C-SVM, adeás de un planteaento alternatvo al problea de optzacón conocdo coo ν -SVM..4.. C-SVM Para el caso no separable, el problea de optzacón estaba planteado por (.7), cuyo hperplano separador ópto en el espaco de entrada estaba dado, al gual que en el caso separable, por (.4). De la sa fora que en caso separable, utlzando el truco del kernel, en el espaco de característcas el hperplano separador ópto estará dado por (.69). Así so el problea dual planteado en (.9) pero en el espaco de característcas se converte en ax W, α = ( α) = α αyα yk( x x) sa.. α y = 0 = = = (.73) 0 α C para =,..., Ahora (.73) en térnos de nzacón y en fora atrcal (análogo a (.30) )se expresa coo 6

27 T T n f ( α) = α Qα e α α T sa.. y α = 0 0 α C para =,..., (.74) ( ) donde Q = y y k x, x. Adconalente, para calcular el ubral b, tal coo se hacía en el espaco de entrada proedando (.6), en el espaco de característcas se obtene proedando (.7) sobre los puntos con 0 < α < C, es decr donde las restrccones sobre α no están actvas..4.. ν-svm Exste una odfcacón al problea de optzacón propuesta en [0] en donde es reeplazado C por el paráetro ν que adconalente controla el núero de errores de argen y de vectores de soporte, este nuevo problea es w, ξ, ρ, b ( w ξ ) ( wx ) n τ,, ρ = w νρ + ξ sa.. y, + b ρ ξ = ξ 0 para =,..., ρ 0 (.75) Se destaca que es ntroducdo un nuevo paráetro ρ para ser optzado, éste controla el argen de separacón entre las clases, puesto que s ξ = 0, la prera restrccón de (.75) establece que el argen es ρ w. Nuevaente para resolver (.75) se recurre a hallar el dual (,, b,,,, ) L w ξ ρ α β δ = w νρ+ ξ = ( y ( wx, b) ) α + ρ+ ξ βξ δρ = = (.76) 7

28 donde α β, δ 0 son los ultplcadores de Lagrange de las restrccones. A partr de las condcones de KKT para b, ξ, w y ρ se obtene α y = 0 (.77) = α + β = (.78) w = α y x = (.79) y α δ = ν (.80) = Manpulando algebracaente (.76) ( ) L w, ξ, b, ρ, α, β, δ = w νρ+ ξ α y w, x b y α = = = = = = + ρ α αξ βξ δρ Reeplazando (.77), (.78) y (.80) en (.8) se tene y, b y = = = = w νρ+ ξ α w x α (.8) + ρ α δ ( α + β) ξ = = L( w, ξ, b, ρ, αβ,, δ) w αy w, x (.8) = = Susttuyendo (.79) en (.8) y splfcando L( w, ξ, b, ρ, α, β, δ) = αyα y x, x (.83) = = Coo α, β 0 y unto con (.78), una restrccón es 0 α para =,..., (.84) 8

29 Coo δ 0, a partr de (.80) α µ (.85) = Con base en Lagrangano (.83) y en las restrccones (.77), (.84) y (.85) el problea dual es ax W ( α) = α yα y, x x α sa.. α y = 0 = = = = 0 α para =,..., α µ (.86) Aplcando el truco del kernel para plantear el problea dual en el espaco de característcas, el planteaento resultante es ax W y y k x, α = = ( α) = α α ( x) sa.. α y = 0 = = 0 α para =,..., α µ (.87) El problea (.87) en térnos de nzacón y en fora atrcal es T n f ( α) = α Qα α sa.. T y α = 0 0 α para =,..., T e α ν (.88) donde Q = y yk( x, x ) y la funcón de decsón está deternada por (.69). 9

30 Para hallar el ubral b y el paráetro del argen ρ, a partr de la prera restrccón de (.75) para los vectores de soporte x para los cuales ξ = 0 ( α < ), se tene del Lagrangano (.76) que α ( y( wx, + b) ρ) = 0, entonces para los casos en los que las restrccones sobreα no están actvas, es decr para 0 < α <, se cuple que (, ) y wx + b ρ = 0 (.89) Ahora (.89) en el espaco de característcas se puede expresar coo y αyk ( x, x) + b ρ = 0 = (.90) Defnendo r : = ρ b (.9) r : = ρ + b (.9) y dos conuntos S + y S de eddas s + y s que contenen los vectores de soporte x con 0 < α < para y y respectvaente, se tenen los sguentes casos. =+ y = Para cada y =+, cobnando (.90) con (.9) se tene ( ) αyk x, x r = 0 (.93) = A partr de (.93) se puede obtener r proedando sobre los eleentos de S + r s = αyk ( x, x) + x S+ = (.94) Ahora para cada y =, cobnando (.90) con (.9) se tene ( ) αyk x, x + r = 0 (.95) = A partr de (.95) se puede obtener r proedando sobre los eleentos de S 30

31 r s = αyk (, ) x S = x x (.96) A partr de las defncones (.9) y (.9) se tenen que b r r = (.97) y ρ r + r = (.98) Los cuales se obtenen con los valores de y r hallados de (.94) y (.96). r Es portante destacar el papel del paráetro ν, para esto se defne el argen de error coo aquellos puntos con ξ > 0, los cuales son o errores o volacones al argen, la fraccón de errores de argen se puede defnr entonces coo ρ Rep [ g] : = { y g( x ) < ρ} (.99) donde g denota el arguento del sgn en la funcón de decsón (.4), en otras palabras h w,b = sgn g. Coo se enconó en un prncpo, ν controla el núero de errores de argen y de vectores de soporte coo se deuestra en [0]..5 SOLUCIÓN DEL PROBLEMA DE PROGRAMACIÓN CUADRÁTICA Es claro que los probleas duales (.74) y (.88) son probleas de prograacón cuadrátca con restrccones lneales ucho ás sencllos de resolver que los orgnales puesto que úncaente están en funcón de los kernel. Sn ebargo, no pueden ser fáclente resueltos por técncas tradconales dado que nvolucran una atrz Hessana de densón. Por esta razón, para resolver (.74) y (.88) han surgdo últples étodos que buscan ser ás efcentes. Las técncas de chunkng propuestas ncalente por Vapnk [] y que se basan en 3

32 dos aspectos: ) Reover datos de entrenaento con α = 0 no caba la solucón al problea de optzacón. ) Es ás sencllo y efcente descoponer el problea orgnal (.74) en subprobleas ás pequeños. A partr de estos aspectos se han generado dversos étodos para soluconar el problea de optzacón [],[3]; todos ellos con la desventaa de requerr resolver nuércaente probleas cuadrátcos. Platt [4] propone una técnca llaada Secuental Mnal Optzaton (SMO) en donde se descopone el problea orgnal de tal fora que solo se requeren resolver probleas cuadrátcos de dos varables de fora analítca, facltando y acelerando la resolucón del problea de optzacón. Para resolver (.88) dado que exste una restrccón lneal de desgualdad, Crsp y Burges [5] y Chang y Ln [6] han deostrado que e T α ν puede ser reeplazado por e T α =ν sn que cabe la solucón del problea. Gracas a esto todas las técncas anterorente descrtas pueden ser adaptadas. La cobnacón de SMO con técncas de shrnkng y cachng [3] ha pertdo que la copledad coputaconal en la resolucón de (.74) y (.88) esté entre cuadrátca y cúbca, dependendo del tpo de problea y donada báscaente por el núero de evaluacones que se requeren de la funcón kernel [7]..6 ALGORITMOS DE BOOSTING.6. CONCEPTOS PRELIMINARES El error de Bayes R Bayes está defndo coo el ás pequeño error de generalzacón que puede ser alcanzado en un problea en partcular. Una hpótess es ε -fuerte s posee un error de generalzacón enor que R Bayes + ε ( R< RBayes + ε ). De fora slar una hpótess es débl s su error epírco es enor a γ ( R < γ ) para algún γ > 0. 3