Redes neuronales con funciones de base radial

Transcripción

1 Redes neuronales con funciones de base radial Diego Milone y Leonardo Rufiner Inteligencia Computacional Departamento de Informática FICH-UNL

2 Organización: RBF-NN Motivación y orígenes RBF Arquitectura y modelo matemático RBF-NN Método de entrenamiento Adaptación de las RBF: batch k-means Adaptación de las RBF: online k-means Adaptación de los pesos Comparación con el perceptrón multicapa Anotaciones sobre gaussianas N-dimensionales

3 RBF-NN: introducción Motivación: regiones de decisión Figura: Espacio de Patrones bidimensionales: a) El perceptrón representa límites de decisión (lineales), b) Las RBF-NN representan clases (a través de las funciones base).

4 RBF-NN: introducción Motivación: Notas históricas. Aprender es equivalente a encontrar una superficie en un espacio multidimensional que provee el mejor ajuste a los datos de entrenamiento. Cover (1965): Es más probable que un problema de clasificación de patrones resulte linealmente separable al plantearlo en un espacio de gran cantidad de dimensiones que en uno de pocas. Powell (1985): introduce a las RBFs en la solución de problemas reales de interpolación multivariada. Broomhead y Lowe (1988): fueron los primeros en explotar el uso de RBFs en el diseño de redes neuronales.

5 RBF-NN: introducción Orígenes de las RBF: aproximación de funciones φ : R N R d = φ(x) Aproximación: h(x) = w j φ( x µ j ) j frecuentemente se utiliza como función de base radial: φ(κ) = e κ2 2σ 2

6 Aproximación: Ejemplo p(x) = w j φ( x µ j ) j RBF-NN: introducción Figura: Ejemplo de aproximación de una función bidimensional p(x) mediante 5 gaussianas φ(κ) = e κ2 2σ 2.

7 RBF-NN: generalidades Arquitectura Figura: Arquitectura de una RBF-NN.

8 RBF-NN: generalidades Modelo matemático y k (x l ) = M w kj φ j (x l ) donde: j=1 φ j (x l ) = e xl µj 2 2σ j 2 Cuáles son los parámetros a entrenar?

9 RBF-NN: entrenamiento Método 1: Adaptación no supervisada de las RBF Utilizando el método k-means (MacQueen, 1967) Utilizando mapas autoorganizativos Otros... Adaptación supervisada de los w kj (LMS) Método 2: Inicialización por el Método 1 ( ) Adaptación supervisada de las RBF ξ µ ji, ξ σ j En general se adaptan RBF y w kj por separado.

10 Adaptación de las RBF: k-means Método NO-supervisado! (uno de los más simples) Objetivos: Encontrar k conjuntos C j de forma que: Cada conjunto C j sea lo más diferente posible de los demás Los patrones x l dentro de cada C j sean lo más parecidos posible entre ellos Encontrar el centroide µ j de cada conjunto C j { } Ecuación de optimización: mín J = k x l µ j 2 j=1 l C j

11 Adaptación de las RBF: batch k-means 1. Inicialización: se forman los k conjuntos C j (0) con patrones x l elegidos al aleatoriamente. 2. Se calculan los centroides: µ j (n) = 1 C j (n) l C j (n) x l 3. Se reasignan los x l al C j más cercano: l C j (n) x l µ j 2 < x l µ i 2 i j 4. Volver a 2 hasta que no se realicen reasignaciones.

12 Adaptación de las RBF: online k-means Optimización por método de gradiente: k µ J = µ x l µ j 2 = 0 j=1 l C j µ j (n + 1) = µ j (n) + η(x l µ j (n))

13 Adaptación de las RBF: online k-means 1. Inicialización: se eligen k patrones aleatoriamente y se usan como centroides iniciales µ j (0) = x l. 2. Selección: j = arg mín j { xl µ j (n) } 3. Adaptación: µ j (n + 1) = µ j (n) + η(x l µ j (n)) 4. Volver a 2 hasta no encontrar mejoras significativas en J.

14 Adaptación de los pesos: generalidades Al entrenar los pesos, las RBF quedan fijas (ver Figura 3) Al estar las RBF fijas se pueden obtener las salidas intermedias para cada patrón de entrada: φ(x l ) Con esas salidas intermedias se puede entrenar cada perceptrón simple: y = Wφ(x l ) Métodos de entrenamiento: pseudo-inversa del vector φ(x l ) gradiente descendiente sobre el error cuadrático instantáneo (LMS)

15 Adaptación de los pesos: método LMS e k (n) = y k (n) d k (n) ξ(n) = 1 e 2 2 k(n) = 1 2 w kj (n)φ j (n) d k (n) 2 k k j ξ(n) w kj (n) = (y k(n) d k (n)) w kj (n)φ j (n) d k (n) w kj j ξ(n) w kj (n) = e k(n)φ j (n)

16 Adaptación de los pesos: método LMS Regla de aprendizaje: w kj (n + 1) = w kj (n) ηe k (n)φ j (n) ( ) w kj (n + 1) = w kj (n) η w ki (n)φ i (n) d k (n) φ j (n) i

17 Comparación RBF-NN vs. MLP RBF-NN MLP 1 capa oculta p capas ocultas distancia a prototipos gaussianos representaciones locales sumadas hiperplanos sigmoideos representaciones distribuidas combinadas convergencia más simple (linealidad) entrenamiento más rápido arquitectura más simple combinación de diferentes paradigmas de aprendizaje

18 Anotaciones sobre gaussianas N-dimensionales Concepto, interpretación gráfica y forma matricial Forma general x, µ j R N, U j R N N : N (x, µ j, U j ) = 1 (2π) N U j 1/2 e 1 2[(x µ j ) T U 1 j (x µ j )] Caso simplificado 1 U j R N N, diagonal general: N (x, µ j, U j ) = 1 (2π) N N σjk 2 k=1 e 1 2 NP (x k µ jk ) 2 k=1 σ jk 2

19 Anotaciones sobre gaussianas N-dimensionales Concepto, interpretación gráfica y forma matricial Caso simplificado 2 U j R N N, diagonal general: N (x, µ j, U j ) = 1 1 (2π) N Nσ e 2σ 2 NP (x k µ jk ) 2 k=1 Caso simplificado 3 U j = I: N (x, µ j ) = e 1 2 NP (x k µ jk ) 2 k=1 (las varianzas se ajustan con los W)

20 Anotaciones sobre gaussianas N-dimensionales Ejemplo: datos artificiales