Elementos de máquinas de vectores de soporte

Transcripción

1 Elementos de máquinas de vectores de soporte Clasificación binaria y funciones kernel Julio Waissman Vilanova Departamento de Matemáticas Universidad de Sonora Seminario de Control y Sistemas Estocásticos 2010 J. Waissman (UNISON) SVM SCSE / 29

2 Plan de la presentación 1 Clasificador lineal binario 2 Solución del problema de clasificación binaria 3 El truco de las funciones kernel J. Waissman (UNISON) SVM SCSE / 29

3 Aprendizaje supervisado Se tiene un conjunto de aprendizaje X t = {(x 1, y 1 ), (x 2, y 2 ),..., (x m, y m )} donde x i X = A 1 A 2 A n son los datos (objetos, patrones) de entrada A j es el j ésimo atributo de x i. y i Y = {0, 1} es la clase a la que pertenece el dato x i El aprendizaje supervisado consiste en estimar una regla de decisión f : X Θ Y, donde Θ es el espacio de parámetros, tal que para un dato desconocido x, f (x, θ) = ŷ sea una estimación aceptable de y. Que es una estimación aceptable? Cual es la estructura de la regla de decisión? J. Waissman (UNISON) SVM SCSE / 29

4 Clasificador lineal binario Si se asume que X R n, un clasificador lineal es ŷ = sign ( ω T x + b ) = sign ( ω, x + b ) J. Waissman (UNISON) SVM SCSE / 29

5 Cual es la mejor separación? J. Waissman (UNISON) SVM SCSE / 29

6 Cual es la mejor separación? Perceptron: Discriminante lineal J(ω e ) = J(ω e ) = 1 mín ω e R n+1 m máx ω R n+1 m (y i ŷ i ) 2 i=1 Maquinas de Vectores de Soporte (SVM): ω T e S B ω e ω T e S W ω e Maximizar el margen de separación J. Waissman (UNISON) SVM SCSE / 29

7 Maximización del margen de separación J. Waissman (UNISON) SVM SCSE / 29

8 Maximización del margen de separación ω T x + + b = 1 para todo x + ω T x + b = 1 para todo x Para cada x corresponde un x + tal que x + = x + M ω ω ω T x + + b = 1 ω T (x + M ω ω ) + b = 1 ω T x + b + M ω ωt ω = 1 M = 2 ω T ω J. Waissman (UNISON) SVM SCSE / 29

9 Criterio de optimización para las SVM Criterio de optimización bajo las restricciones: 1 J(w, b) = mín ω R n 2 ωt ω (ω T x i + b)y i 1, para todo i = 1, 2,..., m El error de clasificación se incorpora al criterio como restricciones La constante b se calcula después de la optimización J. Waissman (UNISON) SVM SCSE / 29

10 Y si X T no es linealmente separable? Permitir errores en clasificación Compromiso entre el máximo margen de separación y los posibles errores de predicción Mejora la capacidad de generalización de las SVM Evita el sobreaprendizaje Uso de variables de holgura J. Waissman (UNISON) SVM SCSE / 29

11 Ejemplo de sobreaprendizaje (a) Training data and an overfitting classifier (b) Applying an overfitting classifier on testing data (c) Training data and a better classifier (d) Applying a better classifier on testing data J. Waissman (UNISON) SVM SCSE / 29

12 Planteamiento del problema de SVM Criterio de optimización bajo las restricciones: para todo i = 1, 2,..., m. 1 J(w, b, ξ) = mín ω R n 2 ωt ω + C m (ω T x i + b)y i 1 ξ i, ξ i 0, m ξ i (1) i=1 Variables de holgura ξ = [ξ 1,..., ξ m ] Es necesario establecer C Problema de optimización cuadrática con restricciones J. Waissman (UNISON) SVM SCSE / 29

13 Problema primal Resolver el problema (1) equivale a encontrar para L P = 1 2 ωt ω + C m m m ) ξ i (α i (ω T x i + b)y i 1 + ξ i ) + β i ξ i i=1 i=1 los valores de ω, b, ξ, ᾱ y β tal que para toda ω, b, ξ, α y β L P ( ω, b, ξ, α, β) L P ( ω, b, ξ, ᾱ, β) L P (ω, b, ξ, ᾱ, β) donde α i 0, β i 0 son los multiplicadores de Lagrange. J. Waissman (UNISON) SVM SCSE / 29

14 Condiciones necesarias Karush Kuhn Tucker Para que ω, b, ξ, ᾱ y β sea una solución, es necesario que: ᾱ i ( ω T x i + b)y i 1 + ξ i ) = 0, i = 1,..., m, β i ξi = 0, i = 1,..., m, ω L P ( ω, b, ξ, ᾱ, β) = 0 = ω b L P ( ω, b, ξ, ᾱ, β) = 0 = ξ L P ( ω, b, ξ, ᾱ, β) = 0 m ᾱ i y i x i i=1 m ᾱ i y i i=1 = C m m ) (ᾱi + β i i=1 J. Waissman (UNISON) SVM SCSE / 29

15 Problema dual De las condiciones KKT ω = m α i y i x i, i=1 C m = α i + β i, de donde α i C m, m α i y i = 0, i=1 se sustituyen en L P para encontar el problema dual L D (α) = m α i 1 2 i=1 m m α i α j y i y j xi T x j, i=1 j=1 el cual es únicamente un problema de maximización en α. J. Waissman (UNISON) SVM SCSE / 29

16 Reconocimiento La regla de decisión del clasificador lineal es ŷ = sign ( ω T x + b ) = sign ( α i y i xi T x + b ), i SV donde SV es el conjunto de índices tales que α i > 0. Para calcular b numéricamente estable, se considera un promedio del valor de b los vectores soporte en los cuales ξ i = 0, tal que, ( ω T x i + b ) y i = 1. Si ξ i > 0, entonces β i = 0 y por lo tanto α i = C m. Por lo tanto: b = 1 ( yi SV y i ω T ) x i, i SV donde SV es el conjunto de índices tales que 0 < α i < C/m. J. Waissman (UNISON) SVM SCSE / 29

17 Máquina de vectores de soporte Entrenamiento máx L D(α) = α R m m α i 1 2 i=1 m m α i α j y i y j x i, x j, i=1 j=1 bajo 0 α i C m, para i = 1,..., m. Reconocimiento ŷ = sign ( α i y i x i, x + b ) i SV Tanto el aprendizaje como el reconocimiento dependen solamente en el producto interno entre vectores! J. Waissman (UNISON) SVM SCSE / 29

18 El truco del kernel: el problema de la Xor J. Waissman (UNISON) SVM SCSE / 29

19 El truco del kernel: el problema de la Xor J. Waissman (UNISON) SVM SCSE / 29

20 Clasificadores polinomiales Sea C d : R n R N C donde las entrada de C d (x) son todos los posibles productos ordenados de grado d de x. Sea θ : R n R N θ los productos no ordenados de grado d, tal que C d (x), C d (x ) = θ(x), θ(x ). Por ejemplo C 2 ([x 1, x 2 ] T ) = [x 2 1, x 2 2, x 1 x 2, x 2 x 1 ] T, θ([x 1, x 2 ] T ) = [x 2 1, x 2 2, 2x 1 x 2 ] T. Un clasificador polinomial realiza una transformación del espacio de entrada a un espacio de características de mayor dimensión, esperando encontrar una separación lineal en el nuevo espacio. Se pueden aplicar otro tipo de transformaciones y utilizar un clasificador lineal en el espacio de características. J. Waissman (UNISON) SVM SCSE / 29

21 La maldición de la dimensionalidad Cual es la dimensión del nuevo espacio de características? ( ) d + n 1 N θ = = d + n 1 d d!(n 1)!) Ejemplo: Reconocimiento de caracteres escritos a mano, en forma de mapa de bits de (256 atributos). Si se considera una transformación θ 5, N θ El problema no es tratable! J. Waissman (UNISON) SVM SCSE / 29

22 El truco de las funciones kernel Para entrenar y utilizar un clasificado con SVM, solamente se requiere poder calcular el producto interno θ d (x), θ d x. Si se define k : R n R tal que k(x, x ) = θ d (x), θ d x = C d (x ), C d x n n = x j1... x jd x j 1... x j d = j 1 =1 j d =1 n x j1 x j 1 j 1 =1 n = x j x j j=1 d n x jd x j d j 1 =1 = x, x d J. Waissman (UNISON) SVM SCSE / 29

23 Funciones kernel Dada una función k : X 2 R, y un conjunto X T = {x 1,..., x m }, x i X, la matriz K de dimensión m m con elementos: K ij = k(x i, x j ) se conoce como Matriz de Gram (o matriz de kernel) generada por k respecto a X T. Sea X un conjunto no vacío, la función k : X 2 R la cual, para todo m N y para todo conjunto X T = {x 1,..., x m } genera una matriz de Gram K simétrica definida positiva es llamado un kernel real definido positivo, o simplemente kernel. J. Waissman (UNISON) SVM SCSE / 29

24 Propiedades de las funciones kernel k(x, x) 0 para todo x X k(x, x ) = k(x, x) k(x, x ) k(x, x )k(x, x) J. Waissman (UNISON) SVM SCSE / 29

25 Resultado interesante Una función kernel k : X 2 R es un producto interno en al menos un espacio de características. Sea θ : X {f : X R} tal que θ(x)( ) = k(x, ). Se genera un espacio vectorial con la imagen de θ: m f ( ) = α i k(, x i ), m N, α i R, x i X, i=1 m g( ) = β j k(, x j), m N, β j R, x j X, j=1 J. Waissman (UNISON) SVM SCSE / 29

26 Resultado interesante Se define un producto interno: m m f, g := α i β j k(x i, x j ) i=1 j=1 Para demostrar que f, g es un producto interno: f, g = β j f (x j) = f, g = m j=1 m α i g(x i ), i=1 m α i α j k(x i, x j ) 0, i,j=1 f (x) = f, k(, x), f (x) 2 = f, k(, x) 2 f, f k(x, x) por lo que el producto interno es bilineal, simétrico, definido positivo y f, f implica f = 0. J. Waissman (UNISON) SVM SCSE / 29

27 Función kernel como producto interno Por lo tanto: k(x, x ) = k(, x), k(, x ) = θ(x), θ(x ) Principales funciones kernel utilizadas: Polinomial: k(x, x ) = x, x d, Polinomial no homogeneo: k(x, x ) = ( x, x + c) d, Gaussiano: k(x, x ) = exp ( x x ), 2 2σ 2 Sigmoide: k(x, x ) = tanh(κ x, x + ν). J. Waissman (UNISON) SVM SCSE / 29

28 Ejemplo J. Waissman (UNISON) SVM SCSE / 29

29 Ejemplo J. Waissman (UNISON) SVM SCSE / 29

30 ... y esto fue todo por hoy! Muchas gracias por su atención J. Waissman (UNISON) SVM SCSE / 29