FUNCION DE BASE RADIAL Radial Basis Function (RBF)

Transcripción

1 FUNCION DE BASE RADIAL Radal Bass Functon () Característcas generales y dferencas resaltantes con los modelos neuronales multcapas (Bakpropagaton): Broomhead y Lowe, 988, ntroducen un método alternatvo al perceptrón multcapa (MLP) (ej.: backpropagaton) para hacer ajuste a funcones no lneales. Esto es clasfcacón no lneal: las redes. A dferenca de la dsposcón que se tene en la funcones de actvacón que permte construr modelos de entrenamento medante backpropagaton, estas nuevas redes basadas en construyen sus modelos con funcones de actvacón que son dferente tanto en la capa oculta como la de salda. Esto es, una red está dseñada con neuronas en la capa oculta actvadas medante funcones radales de carácter no lneal con sus centros gravtaconales propos y en la capa de salda medante funcones lneales. A dferenca de las MLP, el modelo clásco de las redes está construdo con una arqutectura rígda de tres capas: la de entrada, la oculta y la de salda. (Broomhead y Lowe, 988) En general, una red tene un mejor desempeño con un mayor volumen de datos de entrenamento. La construccón de una red requere de una mayor cantdad de neuronas en los nodos ocultos que en las redes que usan backpropagaton. Aunque las redes no son comúnmente utlzadas en aplcacones que mplquen un alto volumen de patrones de entrenamento, se le reconoce como una red con una alta efcenca en la fase de entrenamento. Método alternatvo para aproxmar funcones y clasfcar patrones. 48

2 COMO FUNCIONA UNA Tal como ya se djo anterormente, una red, a dferenca de una MLP, está conformada de tres capas.. La capa de entrada que srve para los ejemplos o patrones de entrenamento y prueba,. la capa oculta completamente nterconectada entre todos sus nodos con la capa de entrada y actvada a través de la funcón radal (gaussana) y, 3. la capa de salda, tambén completamente nterconectada a la capa oculta y actvada a través de una funcón lneal contnua. El entrenamento, a dferenca de la red usando backpropagaton, es solamente haca delante. De este modo, la salda z de una red, en general, está nfluencada por una transformacón no lneal orgnada en la capa oculta a través de la funcón radal y una lneal en la capa de salda a través de la funcón lneal contnua. x x z x n - Funcón Lneal Contnua x n Funcón Gaussana Topología partcular de la : Los nodos ocultos contenen una funcón base radal, la cual tene como parámetros a centro y ancho. 49

3 Exste un centro para cada funcón radal nvolucrada en la capa oculta. Regularmente, defnen un vector de la msma dmensón del vector de entrada y hay normalmente un centro dferente por cada nodo de la capa oculta. Por otro lado, el ancho es el térmno empleado para dentfcar a la ampltud de la campana de gauss orgnada por la funcón radal. Es decr, la desvacón estándar de la funcón radal. Algunos autores (Lowe, 989) consderan a este ancho como un valor constante para cada una de las funcones radales consderadas en la capa oculta y de este modo, así contrburía a smplfcar los pasos de construccón del modelo de entrenamento de la red. El prmer cálculo efectuado en la capa oculta es hallar en un nodo de la capa oculta la dstanca radal (dstanca eucldana) d entre el vector de entrada x, con n observacones, a ese nodo en partcular y el centro de gravedad c de ese msmo nodo. Es decr: d = x c = ( x c ) + ( x c ) ( x n c ) n Este valor d es un componente de la entrada para actvar la funcón radal G(). Este valor establece la prncpal dferenca con las redes MLP, entre ellas la backpropagaton, quenes ncluyen el producto nterno en sus capas ocultas de las entradas por sus respectvos pesos. En cuanto a la funcón radal G(), sendo una de las más comunes exp(-r ), sendo r el contendo evaluado en cada nodo de la capa oculta. En este caso partcular, el contendo evaluado en cada nodo es la dstanca eucldana d. De ahí la expresón, entonces sería exp(-d ). Una de las dervacones del modelo es emplear el ancho (desvacón estándar) para actvar la funcón G(). En este caso se estaría trabajando con algo como exp( d a ), donde a es el ancho para ese nodo oculto. 50

4 x w G ( ) w x w z x n w n w n - Funcón Lneal Contnua x n Funcón Gaussana G () ( x c ) Entre la capa oculta y la capa de salda se dervan un conjunto de pesos w que se verían afectados de acuerdo al algortmo de aprendzaje. En este caso partcular. sería la combnacón lneal entre los pesos y la resultante de cada funcón radal para determnar la salda z. Tal como hemos vsto con anterordad, sería, z = w G( ), donde G() es la salda de la capa oculta y se corresponde con la funcón radal aplcada a la dstanca eucldana en cada una de las undades ocultas. Del resultado de este tpo de entrenamento podemos observar que:. Los valores de entrada se recomendan que prevamente sean de algún modo transformados a una escala.. En la capa oculta, en la medda que los valores de entrada se parezcan más a un centro su dstanca tenderá a cero y de este modo la funcón gaussana se dspararía a las vecndades de uno. Por otro lado, en la medda que los valores de entrada no se 5

5 parezcan a su centro la dstanca será mayor y la funcón radal parecería tender a cero. Este proceso es una clasfcacón no lneal de las entradas. 3. En la capa de salda del modelo, los valores obtendos en las saldas de la capa oculta serían transformados por la funcón lneal que permte aproxmar los valores z a los valores deseados, medante la combnacón lneal que se sucede en esta capa entre sus pesos y el resultado de aplcar la funcón radal. Es decr, z = w G( ). 4. El tempo de entrenamento es substancalmente nferor al requerdo por otros algortmos. Es una pasada haca adelante en la mayoría de los casos. La dferenca la establece s se ncorpora en la salda del modelo de entrenamento, una supervsón a través del control del error que se produce entre los valores calculados y los observados, conducendo a una retropropagacón del error. 5. Alrededor del algortmo clásco ncado por Broomhead y Lowe, se han mplementado algortmos que contrbuyan a la mejor seleccón de los centros y anchos de las funcones radales. 6. Nuevos cambos ncorporados a las funcones de actvacón de salda orgnan nuevos modelos de entrenamento. Tal es el caso de las redes neuronales GRNN (Generalzed Regresson Neural Network) y PNN (Probablstc Neural Network), PCANN (Prncpal Component Analyss Neural Network). Para una mayor referenca acerca de estas redes les sugero revsar los textos electróncos de Matlab ( y Statstca ( 5

6 ENTRENAMIENTO DE UNA Dferente a las redes supervsadas vstas anterormente, en este caso, suponendo un hperplano defnendo un espaco N-dmensonal, lo que pretende una red es ejecutar una correspondenca no lneal entre los patrones de entrenamento que defnen el espaco de entrada al espaco oculto defndo por la capa oculta y una correspondenca lneal desde este espaco al espaco de salda. Es decr defnr a la salda una superfce que descrba las entradas. En vsta de que esta superfce es desconocda, se acude un proceso de entrenamento usando ejemplos representatvos tanto para la entrada como para la salda. De acuerdo a ello, han surgdo varantes como producto fundamentalmente de las sguentes desventajas: de no conocer los centros (a veces el ancho) para cada funcón radal, de stuacones de sngulardad presentes en la mplementacón del algortmo con problema de dmensonaldad, de un gran volumen de entradas hacendo nmanejable la aplcacón del algortmo. Se presentan problemas de regularzacón (Smon Haykn, 995) De acuerdo a Broomhead y Lowe el proceso de aprendzaje de la red puede ser vsto en dos fases: Fase de Entrenamento: consttuye la optmzacón de un procedmento de ajuste de una superfce que se defne como producto de los ejemplos de entrada-salda presentados a la red. Fase de Generalzacón: una nterpolacón entre los datos o nterpolacón realzada a lo largo de la superfce generada por un procedmento de ajuste de la aproxmacón óptma de la superfce real. De este modo en el sentdo estrcto de nterpolacón, podemos decr que exste una funcón que satsfaga la condcón de nterpolacón F(x )=d, donde x son los puntos que 53

7 descrben la superfce de un espaco N dmensonal y d representa su respuesta. Tal como lo descrbe esta funcón, la nterpolacón estrcta se refere a que la funcón está restrngda a pasar por todos los puntos. Es decr, es la aproxmacón óptma de la superfce real. Clásco. Bajo esta premsa, tenemos que la funcón que puede descrbr dcha nterpolacón, de acuerdo a Powel sgue la sguente forma. N F( x) = w G x donde la funcón F(x) está nvolucrada con la funcón lneal G() y la combnacón lneal con los pesos. En forma matrcal, sería Gw = z Cada elemento g j, = g( x x ), j,=.n j z = [ z, z z 3,, z N ] T w = [w, w, w 3,..,w N ] T Provstos que todas las observacones son dstntas, entonces G se podría decr que es postva defnda y por lo tanto los pesos podrían ser calculados medante la nversa de G. Es decr w = G - z Sn embargo se puede correr el resgo de que la nversa de la matrz de nterpolacón G está próxma a ser sngular. En este caso se procedería medante la teoría de la regularzacón para perturbar la matrz medante G = G + λi. (Smon Haykn, pp. 45) De esta manera sería un aprendzaje drecto, provocando cambo a los pesos que están ubcados entre la capa oculta y la capa de salda. x 54

8 EJEMPLO DE UNA Veamos el ejemplo que está lustrado en la págna 60 del texto de Smon Haykn. El se refere al problema XOR, que de acuerdo a lo que podemos recordar, no pudo ser clasfcado por una TLU. Supongamos que tenemos los sguentes patrones de entrenamento x x z La funcón gaussana es G( x c ) = exp( x c ), =,. Deben exstr dos centros y ellos ya son conocdos. Venen dados por: c = [ ] T, c = [0 0] T. Por las característcas del problema, se asume lo sguente: Los pesos son compartdos por la smetría del problema. La capa de salda ncluye un bas. De este modo la arqutectura de la red es: x w x w - z Entradas Funcón G () + Bas Funcón Lneal 55

9 La relacón entrada-salda está expresada por: donde b es el bas y F(x) es z. F ( x) = w G x t + b Defnamos el problema en forma matrcal como z=gw. Resolvendo medante Matlab tenemos: Resolvendo el problema XOR usando la expresón z=gw. x=[ ; 0 ; 0 0; 0] x = z=[; 0; ; 0] z = 0 0 los centros están dados por c=[ ]; c=[0 0]; La funcón gaussana es exp(-norm(x-c)^) Redefnamos los centros en una matrz 56

10 c=[c;c] c = 0 0 De este modo el cálculo de las funcones radales y las dstancas la vamos a realzar por un procedmento contnuo con dos lazos donde todos los patrones de entrada van a ser revsados. for j=:4 for =: G(j,) = exp(-norm(x(j,:)'-c(,:)')^); end end G G = La matrz amplada ncluyendo el bas es G=[G ones(4,)] G = Ahora debemos resolver el cálculo de los pesos entre la capa oculta y la capa de salda medante la expresón Gw=z. Desde donde w es w=nv(g)z Aquí podremos tener certos problemas con la sngulardad de la matrz G. Para cudarnos, usaremos la seudonversa de la sguente manera w=nv(g'g)g'z. Donde G' es la transpuesta de G. 57

11 w=nv(g'*g)*g'*z w = Procedamos a realzar una prueba para conocer el nvel de error con respecto a los valores deseados. Z_estmado=G*w; Luego los valores de la salda calculados son: Z_estmado Z_estmado = Los valores deseados de la salda son: z z = 0 0 los resultados son exactamente guales. Por tanto la red entrenada para el XOR para los centros dados ncluría los sguentes pesos w w =

12 GENERALIZACION DE UNA Luego de entrenada una red se mde su capacdad de generalzar antes nuevos ejemplos de entrada. Este proceso se le conoce como Interpolacón. 59