6 Minimización del riesgo empírico

Transcripción

1 6 Mnmzacón del resgo empírco Los algortmos de vectores soporte consttuyen una de las nnovacones crucales en la nvestgacón sobre Aprendzaje Computaconal en la década de los 990. Consttuyen la crstalzacón de un largo trabajo en el ámbto conocdo como Aprendzaje Estadístco, y se deben esencalmente al trabajo de Vladmr Vapnk. La excelente referenca [7]es la fuente prncpal tanto de este tema como del sguente. Para una determnada tarea de aprendzaje, con una cantdad fnta de datos de entrenamento, el mejor rendmento al generalzar se consegurá s se equlbra la balanza entre la exacttud obtenda sobre ese conjunto de entrenamento y la capacdad de la máquna, esto es, la habldad de la máquna de aprender cualquer conjunto de entrenamento sn error. Un ejemplo de desequlbro de la balanza hacía las muestras de entrenamento sería la de un clasfcador que djera un árbol no es un árbol porque tene un número dstnto de hojas. S la balanza se nclnara haca el otro lado, con una capacdad demasado baja, el resultado sería s es verde, es un árbol. Nnguna de las dos máqunas puede generalzar ben. La exploracón y formacón de estos conceptos ha aberto una de las líneas más prometedoras dentro de la teoría del aprendzaje estadístco. 6. Resgo esperado y resgo empírco. m Supongamos que tenemos N muestras {( x, z ): x R, =,..., N } smplfcar las fórmulas sguentes, la salda esperada z será o.. Para Págna 53 de 6

2 Ahora supongamos que exste una dstrbucón de probabldades desconocda P(x,z) de la que se han tomado esas muestras. Esto es más general que asgnar un z fjo a cada x. Con esta dstrbucón de probabldad condconal en x. Más adelante, sn embargo, asumremos un z fjo para un x dado. Supongamos que tenemos una máquna para aprender la transformacón x z. La máquna está defnda por x f(x,ζ) donde ζ es un conjunto de parámetros ajustables (por ejemplo, en una red neuronal los pesos y los umbrales). Una eleccón partcular de ζ genera lo que llamamos una máquna entrenada. La esperanza del error de evaluacón para una máquna entrenada, llamada tambén resgo real, resgo esperado o smplemente resgo, es R( ζ ) = z f ( x, ζ ) dp( x, z) (6.) que, s exste una funcón de densdad de probabldad, puede escrbrse como R ( ζ ) = z f ( x, ζ ) p( x, z) d xdz (6.) Parece una forma senclla de calcular el error medo real, pero normalmente no tenemos n squera una estmacón de la forma de P(x,z). El resgo empírco es el error medo meddo sobre el conjunto de evaluacón: R emp N ( ζ ) = N = z f ( x, ζ ) (6.3) Nótese cómo aquí no aparece nnguna dstrbucón de probabldad. A la cantdad z f (, ζ ) (6.4) x se le denomna pérdda. Ahora elegmos un ρ tal que 0 ρ. Entonces, la sguente cota se cumple con probabldad - ρ: h(log(n / h) + ) log( ρ / 4) R( ζ ) Remp ( ζ ) + (6.5) N Págna 54 de 6

3 donde h es un entero no negatvo llamado dmensón de Vapnk-Chervonenks (VC) y es una dea de capacdad menconada al prncpo del capítulo. A la parte derecha de la desgualdad se le llama cota del resgo y al segundo térmno de la cota del resgo se le llama confanza de VC. Algunas notas sobre esta cota: Es ndependente de P(x,z) Normalmente no es posble calcular la parte zquerda de la desgualdad S conocéramos h, podríamos calcular la parte derecha. De esta forma, dadas dferentes máqunas de aprendzaje(famlas de funcones f(x,ζ)) y elgendo un valor de ρ lo sufcentemente pequeño, s selecconamos la máquna que mnmce la parte de la derecha de la desgualdad, estaremos elgendo la máquna que da la cota superor más pequeña del resgo real. Este últmo punto da la dea básca para la mnmzacón del resgo estructural dscutda más adelante. 6. La dmensón de Vapnk-Chervonenks (VC). La dmensón VC es una propedad de un conjunto de funcones {f(ζ)} y puede defnrse para dstntas clases de funcones f. Aquí nos centraremos en funcones de la forma f(x,ζ) {-,} x,ζ. S un conjunto de N puntos puede etquetarse de N formas dstntas, y para cada etquetado puede encontrarse un elemento del conjunto {f(ζ)} que asgne correctamente estas etquetas, dremos que el conjunto de puntos es roto (separado) por ese conjunto de funcones. La dmensón VC del conjunto de funcones {f(ζ)} se defne como el máxmo número de puntos de entrenamento que pueden ser rotos por {f(ζ)}. Nótese que s la dmensón VC es h, entonces exste como mínmo un conjunto de h puntos que puede dscrmnarse, pero en general no todos los conjuntos de h puntos podrán romperse. Págna 55 de 6

4 6.. Dmensón VC del conjunto de hperplanos orentados. Supongamos que el espaco en que vven los datos es R y que {f(ζ)}está formado por líneas orentadas. Aunque es posble encontrar tres puntos que pueden romperse con ese conjunto de funcones (fgura 5.), es mposble encontrar cuatro. Por lo tanto, la dmensón VC del conjunto de líneas orentadas en R es 3. Nótese que, aunque los puntos de la fgura 6. pueden separarse, no todos los conjuntos de tres puntos de R pueden ser rotos. Por ejemplo, s los tres puntos son colnales, es mposble romperlos con líneas orentadas. Fgura 6.: Conjunto de tres puntos de hperplanos orentados. R que son rotos por las funcones del conjunto de El resultado anteror se generalza en el sguente teorema y corolaro. Teorema. Consderemos un conjunto de N puntos de R N y tomemos cualquera de ellos como orgen. Los N puntos pueden separarse con hperplanos orentados s y solo s los vectores de poscón de los restantes puntos son lnealmente ndependentes. Corolaro. La dmensón VC del conjunto de hperplanos orentados en R n es n+, ya que sempre pueden encontrarse n puntos lnealmente ndependentes(dado un orgen cualquera), pero nunca n+. La dmensón VC [4]formalza la dea de la capacdad de un conjunto de funcones. Intutvamente cabe esperar que máqunas con muchos parámetros tendrán una dmensón VC alta y que máqunas con pocos parámetros la tendrán baja. Aunque, esto suele ser así, hay un contraejemplo: una máquna con un únco parámetro y con dmensón VC nfnta (es decr, puede romper cualquer conjunto de N puntos, ndependentemente de N): f ( x, ζ ) = θ ( sen( ζx)) x,ζ R (6.6) Págna 56 de 6

5 Donde θ es la funcón escalón. Como curosdad, aunque con esta funcón podemos romper un número arbtraro de puntos, podemos encontrar cuatro que no pueden ser rotos, como ya comentamos antes. Esta crcunstanca se refleja en la fgura 6.. Fgura Acotacón del resgo La fgura 5.3 muestra la evolucón con un nvel de confanza del 95% (ρ = 0.05) de la confanza VC al aumentar la dmensón VC. Como puede observarse, la confanza VC es monótona crecente con h. Fgura 6.3: La confanza VC es monótona crecente con h []Con ρ=0.05 y N=0000 Págna 57 de 6

6 Por lo tanto s tenemos un conjunto de máqunas de aprendzaje cuyo resgo empírco es cero, nos quedamos con aquella de menor dmensón VC, es decr, con aquella que mnmza la cota de resgo. De cualquer forma, es mportante tener en cuenta que la ecuacón (6.) da (con una determnada probabldad) una cota superor del resgo real, y que esto no mpde que una determnada máquna con el msmo resgo empírco R emp y cuyo conjunto de funcones asocado presente una dmensón VC mayor tenga mejor rendmento. Por ello, una capacdad nfnta no mplca un rendmento pobre. 6.3 Mnmzacón estructural del resgo. La confanza VC de la ecuacón (6.) depende de la clase de funcones escogdas, mentras que el resgo empírco y el resgo real dependen de la funcón partcular elegda por el algortmo de entrenamento. El objetvo es encontrar un subconjunto del conjunto de funcones que mnmce la cota del resgo. Para ello dvdmos la clase completa de funcones en subconjuntos andados. Para cada subconjunto deberíamos poder calcular h o, al menos, establecer una cota de su valor. La mnmzacón estructural del resgo consste en encontrar el subconjunto de funcones que mnmza la cota del error actual. Entonces se toma aquella máquna entrenada de la sere con menor valor para la suma del resgo empírco y la confanza VC. Págna 58 de 6