Análisis de Datos. Red de función de base radial. Profesor: Dr. Wilfrido Gómez Flores

Transcripción

1 Análisis de Datos Red de función de base radial Profesor: Dr. Wilfrido Gómez Flores 1

2 Introducción Las funciones de base radial han sido utilizadas en diversas técnicas de reconocimiento de patrones como interpolación, aproximación de funciones, agrupamiento, mezcla de modelos, etc. En 1988, Broomhead y Lowe propusieron las redes neuronales de función de base radial (RBFN, radial basis function network) como un método alternativo al perceptrón multicapa. La RBFN utiliza una topología invariante de tres capas y puede realizar mapeos muy complejos, en donde una red perceptrón multicapa necesitaría múltiples capas ocultas. La salida de la RBFN implementa una suma ponderada de las respuestas no lineales de las neuronas en la capa oculta. 2

3 Funciones radiales Una función de base radial (RBF) se caracteriza por su respuesta monotónamente creciente (o decreciente) en relación a un punto central. Una RBF típica es la función Gaussiana, en el caso de una entrada escalar x se tiene: (x c)2 φ(x) = exp r 2 (1) donde c y r son los parámetros del centro y radio, respectivamente. La RBF Gaussiana decrece monotónamente a medida que aumenta la distancia desde el centro, contrariamente a la RBF multicuadrática que se expresa como: φ(x) = (r 2 + (x c) 2 ) 1 2 (2) la cual aumenta monotónamente con la distancia desde el centro. 3

4 Funciones radiales Función Expresión Parámetros ( ) Gaussiana φ 1 (x) = exp (x c) 2 r 2 r>0 Multicuadrática inversa φ 2 (x) = (r 2 + (x c) 2 ) 1 2 r>0 Multicuadrática inversa generalizada φ 3 (x) = (r 2 + (x c) 2 ) q r>0, 1>q>0 Multicuadrática φ 4 (x) = (r 2 + (x c) 2 ) 1 2 r>0 Multicuadrática generalizada φ 5 (x) = (r 2 + (x c) 2 ) q r>0, q>0 φ(x) φ 3 (x) φ(x) φ 4 (x) φ 2 (x) φ 5 (x) φ 1 (x) x x 4

5 Topología RBFN x 1 x 1 φ 1 w jk z 1 Σ Salida de la red Referencia y 1 x 2 x 2 φ 2 Σ z 2 y 2 φ 3 x i x i Σ z k y k x D x D φ j Σ z C y C φ H Entrada Oculta Salida La RBFN consta de una topología invariante de tres capas: entrada, recibe y distribuye los datos desde el exterior; oculta, activada por funciones radiales no lineales; salida, activada por funciones lineales continuas. 5

6 Función de activación Considerando a la RBF Gaussiana, la activación de la j-ésima neurona oculta en función de un patrón de entrada xxxxxx 2 R D es: φ j (x) = exp x c j 2 2σ j 2, j = 1,,H (3) donde el vector c j =[c 1,,c D ] T es el centro de la RBF, la escalar σ j es el radio de la RBF, y denota distancia Euclidiana. i En general, las RBFs exhiben un comportamiento local, ya que una neurona se activa cuando el patrón x está dentro de su localidad en el espacio de características, de modo que: φ(x) 1 cuando x c 0 6

7 Función de activación φ(x) φ(x) x 1 x2 x 1 x2 Izquierda: cuatro neuronas inactivas donde cada una cubre una localidad del espacio de características. Derecha: neuronas activas en función de los datos de entrada, nótese que a mayor cantidad de datos en la localidad de la neurona su respuesta es aumenta. 7

8 Aprendizaje de la RBFN El entrenamiento de la RBFN consiste en determinar los parámetros de los centros y radios de las RBFs así como los pesos sinápticos entre las capas oculta y salida. Este proceso se realiza en dos etapas independientes mediante un algoritmo de aprendizaje híbrido : 1. Aprendizaje no supervisado: los centros de las RBFs se determinan a partir de un algoritmo de agrupamiento y posteriormente se computan los radios con base en los centros obtenidos. El número de grupos corresponde al número de neuronas ocultas. 2. Aprendizaje supervisado: dadas las respuestas de las neuronas ocultas, los pesos sinápticos se ajustan mediante un algoritmo supervisado que realice el mapeo entrada salida de las neuronas de salida. El número de neuronas de salida corresponde al número de clases. 8

9 Aprendizaje no supervisado El aprendizaje no supervisado realiza los siguientes pasos: 1. Definir el número de neuronas ocultas. 2. Calcular los centros de cada RBF mediante un algoritmo de agrupamiento (e.g., k-means) aplicado a los datos de entrenamiento, de modo que las neuronas se distribuyan adecuadamente en el espacio de características. 3. Determinar los radios de cada RBF con base en los centros calculados de modo que exista poco traslape entre RBFs: a. Media uniforme de las distancias Euclidianas a los q centros más cercanos: σ i = 1 q c (4) q i c j, i j j =1 b. Media geométrica de las distancias Euclidianas a los dos centros más cercanos: σ i = ( c i c a c i c b ) 1 2, i a b (5) 9

10 Aprendizaje no supervisado Media uniforme Media geométrica φ(x) φ(x) x 1 x 2 x 1 x 2 20 neuronas 4 neuronas x x 2 1 x 1 Regiones de activación en función de los radios y centros de las RBFs. En círculos negros se muestra la localización de los centros determinados con el algoritmo k-means. x 2 10

11 Aprendizaje supervisado Cada neurona de la capa de salida implementa una combinación lineal de las respuestas no lineales de las neuronas ponderadas con pesos sinápticos: z k = w 0k + H j =1 w jk φ j (x) Se deben minimizar las diferencias cuadradas entre las salidas de la red z k y las referencias y k : (6) J(w) = 1 2 C k=1 (y k z k ) 2 donde w son todos los pesos entre las capas oculta y salida. (7) Para computar los pesos se puede utilizar el algoritmo de descenso de gradiente o mediante el método de la pseudoinversa (ver clase AD-08). 11

12 Aprendizaje supervisado El método de la pseudoinversa proporciona una solución rápida y directa para el cálculo de los pesos sinápticos: W = [(ΦΦ T ) 1 Φ] T Y (8) donde Φ, Y y W son las matrices de respuestas RBF, referencias y pesos, respectivamente, calculadas a partir del conjunto de entrenamiento con N patrones. La referencia Y={yN(x N ) N=1,,N}, donde xxxxxxxxxxxxxx, se debe binarizar de acuerdo al número de clases existentes, por ejemplo, para un problema con C=3 clases: Si y=1 se convierte en y=[1,0,0] Si y=2 se convierte en y=[0,1,0] Si y=3 se convierte en y=[0,0,1] y N 2 {1,...,C} 12

13 Aprendizaje supervisado Entonces, las matrices Φ, Y y W tienen la forma: Y = y 1 (x 1 ) y 2 (x 1 )! y k (x 1 )! y C (x 1 ) y 1 (x 2 ) y 2 (x 2 )! y k (x 2 )! y C (x 2 )!! "! "! y 1 (x i ) y 2 (x i )! y k (x i )! y C (x i )!! "! "! y 1 (x N ) y 2 (x N )! y k (x N )! y C (x N ) W = w 01 w 02! w 0k! w 0C w 11 w 12 w 1k! w 1C " " # " # " w j1 w j 2! w jk! w jc " " # " # " w H 1 w H 2! w Hk! w HC Φ = 1 1! 1! 1 φ 1 (x 1 ) φ 1 (x 2 )! φ 1 (x i )! φ 1 (x N ) φ 2 (x 1 ) φ 2 (x 2 )! φ 2 (x i )! φ 2 (x N )!! "! "! φ j (x 1 ) φ j (x 2 )! φ j (x i )! φ j (x N )!! "! "! φ H (x 1 ) φ H (x 2 )! φ H (x i )! φ H (x N ) Nótese que la primera fila en Φ tiene valores unitarios utilizados para el cálculo del bias. 13

14 Algoritmo de entrenamiento Entrenamiento de una RBFN Input: H #neuronas ocultas, X datos de entrenamiento, Y referencia Process: Encontrar los H centros C={c 1,,c H } de las RBFs usando X Calcular los H radios σ={σ 1,,σ H } de las RBFs usando C Obtener las respuestas de la capa oculta Φ usando X Calcular los pesos W de la capa oculta-salida usando Y y Φ Output: C, σ, W Para determinar el número óptimo de neuronas ocultas, se puede seguir una estrategia de incremento gradual hasta alcanzar el mínimo error de entrenamiento. Se debe considerar un conjunto de validación para evitar el sobreentrenamiento de la RBFN. 14

15 Algoritmo de entrenamiento Algoritmo para determinar el número óptimo de neuronas ocultas mediante el método de validación cruzada Input: H min #mínimo de neuronas ocultas, H max #máximo de neuronas ocultas, {D 1,,D K } datos de entrenamiento divididos en K-folds Process: for h = H min to H max for k = 1 to K Entrenar una RBFN con h neuronas ocultas usando D {1,,K}\k Obtener la salida de la RBFN usando D k Calcular el error de validación ek generado por D k end for Promediar los K errores de validación: e h = (e 1 + +e K )/K end for Obtener el número de neuronas óptimo: h*=argmin h (e h ) Output: h* 15

16 Funciones discriminantes Para clasificar un patrón desconocido, se tendrán C neuronas de salida, una para cada clase, y la señal de cada neurona de salida es la función discriminante: g k (x) z k = w k T φ(x) (9) T donde w k es el vector de pesos para la neurona k y φ(x) es el vector de respuestas RBF para el vector de entrada x. Entonces, el patrón x es clasificado en ω i, i=1,,c, si g p (x) > g q (x), p q (10) 16

17 Funciones discriminantes 20 neuronas ocultas 5 neuronas ocultas g(x) g(x) x 1 x 2 x 1 x 2 x 1 x 1 x 2 x 2 17

18 RBFN vs FNN RBFN FNN Una capa oculta Capa oculta no lineal y capa de salida lineal El argumento de las neuronas ocultas es la norma Euclidiana Propiedad de aproximación universal Aproximadores locales Una o múltiples capas ocultas Capa oculta no lineal y capa de salida no lineal o lineal El argumento de las neuronas ocultas es el producto escalar Propiedad de aproximación universal Aproximadores globales 18