Tema 4.2: FUNCIONES DISCRIMINANTES LINEALES y SV

Transcripción

1 ema 4.: FUNCIONES DISCRIMINANES LINEALES y SV Some Figures in these slides were taken from Pattern Classification (nd ed) by R. O. Duda, P. E. Hart and D. G. Stork, John Wiley & Sons, 000 with the permission of the authors Febrero-Mayo 007

2 INDICE INRODUCCIÓN FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN 3 CASO SEPARABLE DE CAEGORÍAS 4 ALGORIMO DE GRADIENE DESCENDENE Función Perceptron Procedimientos De Mínimo Error Cuadrático 5 SV: Support Vector Classifier Caso Lineal Funciones de Kernel SV Non Linear Classifier 6 CONCLUSIONES

3 INRODUCCIÓN Se asume: No se conocen las f.d.p. Se deciden las funciones discriminates salvo parámetros: Funciones lineales respecto al vector de características (como lqd: MAP con distribuciones gaussianas y matrices de covarianza iguales) No lineales: Funciones lineales respecto a conjunto de funciones que a su vez dependen del vector de características de forma no lineal La función discriminante se diseña como resultado de minimizar una función criterio. Propiedades de interés: Eficiencia computacional Convergencia rápida con procedimientos de gradiente descendente, (al utilizar la base de datos de entrenamiento para estimar los parámetros de dichas funciones). 3

4 FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN Definición de función lineal. g( x) = w x+ w 0 Vector de características Vector de pesos Offset w 0 w x Parámetros a ajustar w w 0 C clases: C funciones discriminantes g ( x) i i 0 i i =.. c = w x+ w 4

5 FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN Clasificador de c categorías: g ( x) x x x : xd = g ( x) Max(.) Clase A la que pertenece x g ( ) c x 5

6 FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN Clasificador de categorías: DICOOMIZADOR ω > g( x) 0 < ω 6

7 FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN INERPREACIONES GEOMÉRICAS: Las superficies de decisión son hiperplanos. El vector w es ortogonal al hiperplano que separa las zonas de decisión, y por tanto a través de él se determina la orientación de la superficie. El bias w 0 fija la superficie en un punto determinado. La función g(x) da una medida de distancia del vector x al hiperplano: Hiperplano H s : x H g( x) = 0 s x = xp + r w w Proyección de x sobre H s : x p Distancia de x a H s : s 0 ( ) w p w g( x) = w x+ w = w x + r + w = 0 0 w wx + w + wr = g( x) + r = 0+ r w= p ± d( x,h ) w w p w w r = ± d( x,h s) 7

8 FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN x x = x + r w p w H s r = d( x,h s) x p x 8

9 FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN Medida de distancia del vector x al hiperplano: x= xp + r w w g( x) = d( x,h ) w s 9

10 FUNCIONES DISCRIMINANES LINEALES Y SUPERFICIES DE DECISIÓN w = x w0 = g x+ x = 0 x x Clase Cálculo de las siguientes distancias: ( ) ( ) ( ) d(,0,h ) d(0,0,h) d(,,h ) s s s Clase w s x H : x + x = 0 0

11 FUNCIONES DL y SD: MULICAEGORY CASE Formas de extender el problema a c> clases Multicategory Case: I) c wo class problem II) c(c-)/ two class problems

12 FUNCIONES DL y SD: MULICAEGORY CASE Definitivamente el número de fronteras es <= c(c-)/ hiperplanos ( g x ) ˆ ω = max ( ) i i i

13 3 CASO SEPARABLE DE CAEGORÍAS Caso de dos categorías: ω, ω Augmented Feature Vector: Vector de características aumentado a dimensión+ dˆ = d + y x = dˆ W a = w 0 Función lineal Regla de Decisión: Estrategia para simplificar el algoritmo de búsqueda de la solución. Ejemplo : d =, dˆ = g ( y) = a y ay > < ω ω 0 ω ay > 0 ω ay < 0 y = y ay > 0 k k k k k 3

14 4 ALGORIMO DE GRADIENE DESCENDENE Estrategia de búsqueda del Vector solución o Vector separador: Minimizar una función que depende del vector a mediante un algoritmo de gradiente descendente: CORRECCIÓN PROPORCIONAL AL ERROR ( J( ay )) yn = a J( a) [ k+ ] = [ k] η [ k] ( J( )) min,.. min a ( ) a a a 4

15 4. ALG. de GRAD. : FUNCIÓN PERCEPRON Funciones a Minimizar: FUNCIÓN PERCEPRON. Adecuada para casos Separables E: Conjunto de vectores mal clasificados por a). Batch Algorithm: J p ( a) = ( a y) Jp = ( y) y Ε [ k+ ] = [ k] + η [ k] ( ) a a y y Ε y Ε SIMPLIFICACIÓN: Fixed increment (η constant) single sample perceptron a [ k ] [ k] [ k] [ k] a[ k] y[ k] a + y y Ε + = Ε 5

16 4. ALG. de GRAD. : FUNCIÓN PERCEPRON SIMPLIFICACIÓN: Fixed increment (η constant) single sample perceptron 6

17 4. ALG. de GRAD. : FUNCIÓN PERCEPRON Fixed increment (η =) single sample perceptron Ejemplo BPSK SNR=5dB ldc Fixed Increment Single Sample Batch Perceptron (4 adapt.) 7

18 4. ALG. de GRAD. : FUNCIÓN PERCEPRON Fixed increment (η =) single sample perceptron Ejemplo BPSK SNR=0dB ldc η η ( k) = k0 Fixed Increment Single Sample Batch Perceptron (38 adapt.) 8

19 4. ALG. de GRAD. : FUNCIÓN PERCEPRON Fixed increment (η =0.5) single sample perceptron Ejemplo BPSK SNR=0dB (56 Iteraciones) 9

20 4. ALG. de GRAD. : FUNCIÓN PERCEPRON FUNCIÓN PERCEPRON: FIXED INCREMEN PARA C CLASES. (c(c-)/ funciones) ( ) ( ) ( ) a ; i =.. c a y t a y t > 0 with y t D i i j i y () t = x() t Fixed increment rule (Casos Separables) y( t) Di ai y( t) aj y( t) [ t+ ] = i[ t] + () t [ t+ ] = [ t] () t if and < a a y i a a y j j 0

21 4. ALG. de GRA: MÍNIMO ERROR CUADRÁICO (A aplicar en casos no separables) Función Objetivo: Matriz de vectores Vector de margen b Ya - b 0 s N ( i) ( ) ( ) ( ) [] J a = a y i b = Ya - b = Ya - b Ya - b i= [ ] x [ ] x : d y : : : : : X x[ N] : xd [ N] y [ N] Y = = = X x [] : xd [] y [ N + ] : : : : : x[ N] : xd [ N] [ N+ N] y [ ] Gradiente: J s ( ) a = a Y Ya-b Ya a Y b+ bb s ( ) ( ) ( ) # 0 J a = Y Ya-Y b = a= Y Y Y b= Y b

22 4. ALG. de GRA: MÍNIMO ERROR CUADRÁICO (A aplicar en casos no separables) Solución depende del vector b: Eligiendo el siguiente vector para definir el margen N X w N N Y a b 0 = ; = ; = N X w N N El resultado es equivalente a la Función Discriminante Lineal de Fisher (MDA) ( ) ( ) w 0 = m+ m w w = αsc m m = α' SCS B mi = Ni x c { D D },..., c c ( )( ) S = x m x m = x ( )( ) S + N m m m m = S + S Ci, i i i C B i= i= i i Suma de matrices de dispersión intra-clases Matriz de distancia inter-clases

23 4. ALG. de GRA: MÍNIMO ERROR CUADRÁICO (A aplicar en casos no separables) Solución depende del vector b: Eligiendo el siguiente vector para definir el margen X w0 Y= ; a= ; = b X w El resultado es equivalente a la solución MAP (lqd) N 3

24 4. ALG. de GRA: MÍNIMO ERROR CUADRÁICO (A aplicar en casos no separables) Aplicando el Algoritmo LMS: Función a minimizar s N N ( i) ( []) ( a) a y[] i= i= J = i b = e i Estimación del gradiente ( k) [ ] [ ] [ ] [ ] [ ] J, w k = ayk b yk = e k yk s Ecuación de adaptación a [ k ] a[ k] η [ k] Js, w [ k] [ ] + η [ ] [ ] [ ] + = = ( ) k [ ] a k k b a k y k y k 4

25 4. ALG. de GRA: MÍNIMO ERROR CUADRÁICO (A aplicar en casos no separables) 5

26 5 SV: Support Vector Classifier Con datos lineales, el SVC es muy similar al algoritmo que minimiza la función de mínimo error cuadrático medio. : Se elige la solución que maximiza el margen de separación entre la frontera y los datos. El margen se define como el ancho del tubo que no contiene muestras y se halla alrededor de la frontera de decisión. El nombre del algoritmo (Support Vector) se debe a que en la solución final hay muy pocas muestras multiplicadas por un factor (multiplicador de Lagrange para el caso no lineal) diferente de cero. Estas muestras corresponden a las más próximas a la frontera. Referencias SV: Pattern Recognition and Machine Learning, Christopher M. BishopSpringer (006). EMAS 6y7 F. Pérez-Cruz and O. Bousquet, (004). Kernel methods and their potential use in signal processing. IEEE SignalProcessing Magazine, (3):57-65, May. 6

27 5. SVC: Caso lineal Función a diseñar: Condiciones a cumplir g( x) = w x+ w 0 wxk + w0 ; if xk D; ck = wxk + w0 ; if xk D; ck = Restricciones: c k ( wx ) k w + 0 Se utilizan multiplicadores de Lagrange: N k = ( ( w x ) ) 0 L= w α c + w ; α 0 k k k k 7

28 5. SVC: Caso lineal En forma Matricial (): Gradiente respecto a los parámetros de lla función: L α c N c w0 c αk k = = ww αφw+ α 0 αc x = : ; Φ = : α Nc N xn L = w αφ = 0 w = αφ w L = α = w c c c 0 () ; Sustituyendo las expresiones anteriores en () se obtiene la forma dual que es la que se debe optimizar (minimizar) respecto a los multiplicadores de Lagrange y con la restricción () L = α αφφα c c α α = : α N 8

29 5. SVC: Funciones de Kernel. Función de Kernel NO lineal: Previamente al diseño de la función discriminante, se realiza una transformación no lineal φ sobre los datos, llamada función base. Se pasa de un espacio vectorial a un espacio de Hilbert, de dimensión mayor d >=d. φ( xn ) φ ( x) φ( xn ) = : ; Φ = : φ x φ x ( ) ( ) d' n N La función de Kernel es igual al producto escalar de los vectores tranformados y a la vez cumple la propiedad: de que depende del producto escalar (inner product) de los vectores de datos. ( xk xn) φ( xk) φ( xn) ( xk xn) K : R d R K, = = f La matriz de Kernel (NxN) contiene todos los productos escalares entre los N datos. En general la matriz de Kernel debe marcar diferencias entre productos de elementos de una misma clase y productos de elementos de clases diferentes. ( x, x ) : K( x, x ) K N K = : : : = ΦΦ K( N, ) : K( N, N) x x x x 9

30 30

31 5. SVC: Funciones de Kernel. Ejemplos: ransformación no lineal φ sobre los datos Gaussiana: Función base polinomio de segundo grado K ( ) φ x ( xn [] ) x [] x [ ] x [ d] xn [] = φ = xn [ ] ( n ) n n n ( xk, xn) = φ ( xk) φ( xn) = ( x xn) Kernel Gaussiano (Función base radial ya que solo depende de la distancia eucídea). K ( ) ( ) ( ) ( ) xk, xn = φ xk φ xn = exp xk xn La mayor dificultad al aplicar SVC no lineal, consiste en hallar la función de Kernel decuada que trasnsforme los datos a un nuevo espacio en el que si sean separables linealmente. El tipo de función depende de la aplicación. k σ 3

32 5.3 SVC: Non Linear Classifier El clasificador SV no lineal se diseña en dos etapas:.- ransformación no lineal sobre los datos.- Desarrollo del algoritmo SV de forma lineal sobre los nuevos vectores de datos transformados. Función a diseñar: g( x) ( ) w0 = w φ x + Función a minimizar (): N = ww αφw c + 0αc k k = L w α ; Operando de forma análoga que con el método lineal: L = α αφφα = α α Kα α 0 c c c c c = 3

33 6 CONCLUSIONES BÚSQUEDA DE DISCRIMINANE LINEAL INERPREACIONES GEOMÉRICAS: El discriminante lineal mide la distancia de los vectores al hiperplano separador C= categorías separables: Algoritmo de Gradiente descendente mediante la función perceptron, Generalizable a más categorías. C= categorías NO separables: Algoritmo de MMSE LMS,Generalizable a más categorías C> Categorías: Se plantea el problema como c(c-)/ problemas de dos clases. SV Classifier: NO Lineal: Es útil especialmente en casos no separables linealmente. Dificultad: Hallar la función de Kernel adecuada 33