OPENCOURSEWARE REDES DE NEURONAS ARTIFICIALES Inés M. Galván José M. Valls Examen Fnal Pregunta ( punto) Responda brevemente a las sguentes preguntas: a) Cuál es el obetvo en el aprendzae del Perceptron Smple? b) Cuál es el obetvo en el aprendzae del ADALINE? c) Cuál es el obetvo en el aprendzae del Perceptron Multcapa? d) Cuál es el obetvo en el aprendzae de las Redes de Base Radal? e) Cuál es el obetvo en el aprendzae de los Mapas de Kohonen? Respuesta a) Construr un hperplano que separe los patrones de entrada en dos clases de modo supervsado b) Mnmzar el error que mde la dferenca al cuadrado entre la salda deseada y la salda de la red para todos los patrones de entrenamento a través de una aproxmacón lneal c) Mnmzar el error que mde la dferenca al cuadrado entre la salda deseada y la salda de la red para todos los patrones de entrenamento través de una aproxmacón no lneal d) Mnmzar el error que mde la dferenca al cuadrado entre la salda deseada y la salda de la red para todos los patrones de entrenamento través de una aproxmacón local y no lneal e) Agrupar datos en el espaco de entrada con característcas smlares Pregunta ( punto) Dados los patrones que se muestran en las fguras (problema de clasfcacón), dbue una solucón que proporconaría después del aprendzae las sguentes redes: Perceptron Smple, Perceptron Multcapa y Mapas de Kohonen.
Respuesta Perceptron Smple Perceptron Multcapa Mapas de Kohonen
Pregunta 3 ( puntos) a) Dada la arqutectura de Perceptron Multcapa que se muestrea en la fgura, con funcón de actvacón sgmodal para las neuronas ocultas y la neurona de salda, escrba al expresón para calcular las actvacones de las neuronas de la red y la ley de aprendzae para modfcar los pesos. x x y x 3 b) Supóngase que la arqutectura anteror, se modfca ntroducendo algunas conexones recurrentes como se muestra en la sguente fgura. Indque las expresones para calcular las actvacones de la red y explque razonadamente s la ley de aprendzae del apartado anteror puede utlzarse para modfcar los pesos de la red. x x y x 3 Respuesta a) Sea W =(w ) (=,,3; =,) los pesos de la capa de entrada a la capa oculta y W =(w ) (=,) los pesos de la capa oculta a la neurona de salda. Se U=(u ) los umbrales de las neuronas ocultas y v el umbral de la neurona de salda. Entonces las actvacones venen dadas por: Neuronas ocultas: a f w x w x w x ), a f w x w x w x ) ( 3 3 u Neurona de salda: y f w a w a ( v La ley de aprendzae es: 3 w ( n) w ( n ) ( n) a ) ( n) 3 Sendo ( s y) y( y) con s la salda deseada w ( n) w 3 Sendo a ( n ) ( n) x 3 ( a ) w ( n) ( 3 3 u b) Sea w r y w r los pesos de las conexones recurrentes. Entonces las actvacones de las neuronas ocultas venen dadas por: r a ( t) f ( wx ( t) wx( t) w3x3 ( t) w a ( t ) u ) r a ( t) f ( wx wx w3x3 w a ( t ) u )
La actvacón de la neurona de salda es gual que en el apartado anteror, ntroducendo la varable tempo: y t) f ( w a ( t) w a ( t) ) ( v Los pesos de la capa oculta a la capa de salda, W =(w ), pueden adaptarse utlzando las expresones del apartado anteror, pero los pesos W =(w ) y w r no, debdo a que cuando se calcula la dervada de la actvacón a (t) respecto al peso w o al peso w r, es necesaro tambén tener en cuenta la dervada de ( t ) respecto a dchos pesos. Para estos pesos sería necesaro aplcar el algortmo de aprendzae en tempo real o retropropagacón a través del tempo. Pregunta 4 ( puntos) Consdérese el mapa de Kohonen undmensonal que se muestra en la sguente fgura: a En cuanto a la extensón del vecndaro, se consdera que sólo contene a las neuronas nmedatamente más próxmas (neurona a la derecha y neurona a la zquerda), sendo la dstanca de vecndaro entre una neurona y sus vecnas gual a. Por eemplo, el vecndaro de la neurona n sólo ncluye a las neuronas n 3 y n y la dstanca de vecndaro de n con sus vecnas será d(n,n ) = d(n,n 3) =. La capa de entrada tene tres neuronas. Los pesos ncales de cada una de las neuronas del mapa venen ndcados en la tabla. µ representa el peso de la conexón entre la entrada e y la neurona del mapa n µ µ µ3 n 3 n 8 7. 9. n3 8 9 n4 3 3 n5 8 9 9 n6..9 4 Tabla : Pesos de las conexones entre la capa de entrada y la capa de competcón Dado el patrón de entrada e=(3, 3, 3), se pde calcular los nuevos pesos (o nuevas poscones) de las neuronas de la red tras una teracón del proceso de aprendzae del mapa. Construr una tabla smlar a la tabla donde se ndcarán los nuevos pesos de las neuronas. Se utlzará una tasa de aprendzae para esta teracón de α (t) = 0.5. Observacón: no es necesaro calcular explíctamente las dstancas euclídeas.
Respuesta Se puede ver que la neurona más cercana al patrón de entrada es n4, por lo tanto se actualzarán los pesos de esta neurona y las de su vecndaro (n3 y n5). µ 4=α(t) (e - µ 4) = 0.5 (3 ) = 0.5 ; µ 4 = + 0.5 =.5 µ 4=α(t) (e - µ 4) = 0.5 (3 3) = 0 ; µ 4 = 3 µ 34=α(t) (e 3- µ 34) = 0.5 (3 3) = 0 ; µ 34 = 3 Neuronas vecnas: n 3 µ 3=α(t)/. (e - µ 3) = 0.5 (3 ) = 0.5 ; µ 3 = + 0.5 =.5 µ 3=α(t)/. (e - µ 3) = 0.5 (3 8) = -.5 ; µ 3 = 8 -.5 = 6.75 µ 33=α(t)/. (e 3- µ 33) = 0.5 (3 9) = -.5 ; µ 3 = 9 -.5 = 7.5 n 5 µ 5=α(t)/. (e - µ 5) = 0.5 (3 8) = -.5 ; µ 5 = 8 -.5 = 6.75 µ 5=α(t)/. (e - µ 5) = 0.5 (3 9) = -.5 ; µ 5 = 9 -.5 = 7.5 µ 35=α(t)/. (e 3- µ 35) = 0.5 (3 9) = -.5 ; µ 5 = 9 -.5 = 7.5 Tabla de pesos fnales: µ µ µ3 n 3 n 8 7. 9. n3.5 6.75 7.5 n4.5 3 3 n5 6.75 7.5 7.5 n6..9 4
Pregunta 5 ( puntos) Se dspone de un conunto de datos o patrones que corresponden a una funcón de tres dmensones y=f(x, x, x3). A modo de eemplo, se muestran algunos de estos patrones: x x x3 y.56308784.685336.3358999 3.58357-0.448038-0.07863833 0.63898903-4.5653.6465747.65788 0.456778 -.54535 En la sguente fgura se han representado estos puntos en el espaco de entrada (x, x, x3). Se desea construr un modelo supervsado de red de neuronas para aproxmar dcha funcón. Se pde: a) Qué modelo de red de neuronas podría utlzarse para abordar el problema? Ela un modelo de red para responder el resto de las preguntas. b) Sería convenente realzar algún procesado de los datos? En caso afrmatvo, ndque cuál. c) Para cada una de las posbles redes de neuronas que se puedan utlzar, ndque una posble arqutectura de la red para abordar el problema d) Cómo medría la capacdad de generalzacón de la red? e) Supóngase que con los msmos datos de entrada se quere resolver un problema de clasfcacón donde los datos de cada nube de puntos corresponden a clases dferentes. Proponga de manera razonada un modelo adecuado para abordar el problema, ndcando s los patrones dsponbles tendrían que sufrr alguna modfcacón. Respuesta a) Problema de regresón. Además es no lneal por los datos de eemplo mostrados, ya que el prmer y el tercer patrón son muy smlares en la entrada pero tenen saldas completamente dferentes. Por tanto PM o RBR. Adalne no sería adecuado al ser no lneal. b) Normalzar las varables de entrada y salda en el ntervalo [0,]. Para ello se elge el mínmo y el máxmo de cada varable y se normalza utlzando la sguente expresón: VarNor (Var VMn )/(VMax VMn ) =,,, 3, 4
c) Sempre serán 3 entradas y salda. Tanto s se elge el PM como las RBR, el número de neuronas ocultas habría que determnarlo expermentalmente. Para las RBR y debdo al carácter local podrían utlzarse ocultas, o ben 4 dos para cada agrupacón de datos. d) Extrayendo un conunto de datos de test del total dsponble (0%) y evaluando el error que comete la red sn modfcar los pesos sobre este conunto. S es del orden del error de entrenamento podemos decr que la red generalza ben. e) Las varables x, x y x3 serían la entrada al modelo. Dado que las clases son lnealmente separables, se puede utlzar el PS y no es necesaro utlzar el PM, n las RBR. La varable y que se muestra en la tabla no sería la salda deseada. En este caso, la varable de salda deseada se podría defnr como: S (x, x, x3) pertenece a la prmera nube de untos, entonces salda y s no -, que en este caso y según se observa en la fgura sería: S x <.5, salda, s no salda -. Esta últma expresón habría que comprobarla con el conunto total de datos. Por tanto, 3 entradas y salda Pregunta 6 ( puntos) Se dspone de un conunto de datos sobre dferentes tpos de levaduras (hongos uncelulares), concretamente 0 tpos. El conunto está compuesto por un total de 486 nstancas o patrones. Cada nstanca está formada por 8 atrbutos numércos de entrada (a, a,, a 8), que representan las característcas de las levaduras, y atrbuto de salda que ndca el tpo de levadura (Tpo, Tpo,., Tpo0). El número de eemplos dsponble de cada tpo de levadura es el sguente: Tpo: 463; Tpo: 49; Tpo3: 44; Tpo4: 63; Tpo5: 5; Tpo6: 44; Tpo7: 37; Tpo8: 30; Tpo9: 0; Tpo0: 5 Se pretende construr un modelo para clasfcar las levaduras a partr de sus característcas. Se pde: a) Con qué tpos de redes y algortmos conocdos puede abordarse este problema. b) Explque el procedmento a segur para obtener los datos de entrenamento y test. c) Para cada tpo de red o algortmo que pueda utlzarse, ndque una posble arqutectura d) Indque los parámetros que debería tener en cuenta para el aprendzae de estas redes. Respuesta a) Se trata de un problema de clasfcacón (no línea, seguramente). Por tanto: el PM, las RBR, Mapas de kohonen, nterpretándolos para clasfcacón supervsada (con la clase de cada patrón, se calbra el mapa, asgnando a cada neurona una clase. Para clasfcar un patrón, se calcula la neurona del mapa más cercana y se le asgna la clase de dcha neurona. Tambén se puede utlzar LVQ b) Al tratarse de un problema de clasfcacón con clases desbalanceadas (por eemplo de la clase se dsponen de 463 patrones, mentras que para la clase 0, solo se dspone de 5 patrones), para separar los datos de entrenamento y test es necesaro mantener la proporcón de cada clase con respecto al conunto orgnal. Así, s se extraen el 70% (por eemplo) de los datos para entrenamento, el procedmento sería extraer el 70% de cada clase. Se cogen entonces 34, 300, 7, 4, 36, 3,, 4, 3 de las clases,,, 0, respectvamente para entrenamento y el resto para test. Se unen los datos para todas las clases y se aleatorzan los datos de entrenamento (el test no es necesaro) c) Para todas las redes se utlzaran 8 entradas. Para el PM y las RBR, la meor opcón es utlzar 0 neuronas de salda, de modo que cada neurona de salda represente una clase. En este caso, la salda deseada se defne como un vector de 0 coordenadas,
(x,,x0) sendo x= s el patrón pertenece a la clase y el resto de las coordenadas son 0. Para estas redes (PM y RBR) el número de neuronas ocultas se determna expermentalmente. En el caso de los Mapas de Kohonen, el número de neuronas en la capa de competcón tambén se determnará expermentalmente, pero al tener 0 clases, sería convenente partr de un número de neuronas mayor que 0 En el caso de LVQ hay de decdr el número de prototpos por clase, que tambén se determna expermentalmente. Se podría partr de prototpo por clase (en total 0) e r ncrementando en una undad el número de prototpos pro clases, resultando 0, 30, etc. prototpos en total. d) PM: razón de aprendzae y número de cclos RBF: en la fase supervsada, al gual que el PM, razón de aprendzae y número de cclos. En la fase no supervsada nngún parámetro Mapas de Kohonen: valor ncal de la razón de aprendzae, tpo de vecndaro, tamaño ncal del vecndaro y razón para r decrecendo el tamaño del vecndaro LVQ: Número de teracones