OPENCOURSEWARE REDES DE NEURONAS ARTIFICIALES Inés M. Galván José M. Valls. Preguntas y Ejercicios para Evaluación: Tema 5

Transcripción

1 OPENCOURSEWARE REDES DE NEURONAS ARTIFICIALES Inés M. Galván José M. Valls Preguntas y Ejerccos para Evaluacón: Tema 5 1. Contestar brevemente a las sguentes cuestones relaconadas con las Redes de Base Radal: a) Qué quere decr que las neuronas ocultas tenen carácter local? b) Cuál es la funcón de base radal más utlzada? Indcar la ecuacón. c) Qué hay que aprender en el proceso de entrenamento de una RNBR? d) Explcar las fases del método de entrenamento híbrdo e) Qué tpo de aprendzaje puede ser más adecuado para el entrenamento de las RBR, el método híbrdo o el método totalmente supervsado? Razone su respuesta. Respuesta a) Que se especalzan en zonas del espaco de entrada. b) La funcón gaussana. X C d e c) Las poscones de los centros de las neuronas ocultas, las desvacones y los pesos y umbrales de la capa de salda. d) Se realza en dos fases: Fase no supervsada, donde se determnan las coordenadas de los centros de las neuronas ocultas y las desvacones de las funcones de base radal. Se hace de forma no supervsada de forma que las neuronas representen a los datos en el espaco de entrada. Fase supervsada. Una vez fjados los centros y desvacones en la fase anteror, se determnan los pesos de la capa de salda de forma supervsada para mnmzar el error cuadrátco. e) La combnacón de ambos. Medante el método híbrdo se calculan los parámetros para que las neuronas ocultas representen el espaco de entrada. Con los valores obtendos, se ncalza la red y se aplca el método totalmente supervsado utlzando razones de aprendzaje pequeñas con el objetvo de realzar un ajuste fno de los parámetros y aproxmar mejor las saldas deseadas.. En un domno de dagnóstco médco, se ha utlzado una RBR para clasfcar los datos de los pacentes en una de las dos clases, C0 y C1, que corresponden a pacentes sanos (clase C0) o enfermos (clase C1). Una vez efectuada la fase de entrenamento de la red, ndque qué operacones se deben realzar sobre la(s) salda(s) que proporcone la red para evaluar el porcentaje de acertos de la red sobre dcho problema. Respuesta:

2 Se pueden utlzar saldas o 1 salda para la red. S se utlzan dos saldas, la codfcacón de la salda deseada será (1,0) para la clase C0 y (0,1) para la clase C1. Entonces, una vez entrenada la red y debdo a que las saldas puede tomar un valor real, habría que calcular el índce para el cual se obtene el máxmo de (y 1, y ). S el índce 1, entonces C0 y s es, entonces se le asgna la clase C1. S se utlza 1 salda, la codfcacón de la salda deseada será, por ejemplo, 0 para la clase C0 y 1 para la clase C1. Entonces, una vez entrenada la red y debdo a que la salda puede tomar un valor real, para determnar la clase aproxmada por la red, bastaría aplcar, por ejemplo, el sguente crtero: S salda < 0.5, entonces C0, en otro caso, clase C1. Conocda la clase que asgna la red a cada patrón de entrada, basta calcular la proporcón de patrones respecto del total. 3. Responda a las sguentes preguntas: a) Explque las dferencas y smltudes entre el Perceptron Multcapa y las Redes de Base Radal b) Dado un Perceptron Multcapa con neuronas de entrada, tres neuronas ocultas (con funcón de actvacón sgmodal) y 1 neurona de salda con funcón de actvacón lneal, escrba las ecuacones para ajustar los pesos de la capa oculta a la capa de salda con el objetvo de mnmzar el error e=1/(s-o), sendo s la salda deseada y o la salda de la red. c) Dada una Red de Base Radal con neuronas de entrada, tres neuronas ocultas y 1 neurona de salda, escrba las ecuacones para ajustar los pesos de la capa oculta a la capa de salda utlzando el método del gradente para mnmzar el error e=1/(s-o), sendo s la salda deseada y o la salda de la red. d) Qué dferencas y/o smltudes exsten entre las leyes de aprendzaje obtendas en los apartados c) y d)? Respuesta: a) Ambas redes construyen transformacones no lneales de los datos de entrada y son aproxmadores unversales. Poseen neuronas ocultas. Se pueden utlzar para problemas de regresón, clasfcacón y predccón. Las neuronas del PM tenen un carácter global, mentras que las de las RBR poseen un carácter local, debdo a las funcones de actvacón utlzadas en cada caso El carácter local hace que generalmente el aprendzaje de las RBR sea más rápdo El carácter local puede provocar una mala generalzacón de las RBR cuando el número de neuronas ocultas es excesvo b) Sea w1, w, y w3 los pesos de la capa oculta a la capa de salda. Sguendo la regla delta generalzada, la modfcacón de los pesos se realza tenendo en cuenta el delta de la neurona de salda y la actvacón de la que procede el peso. Como la funcón de actvacón de salda es la lneal, el delta vene dado por el error meddo en la salda. Por tanto, los pesos se modfcan sguendo al sguente expresón w w ( n 1) ( s o) a sendo a (n) la actvacón de la neurona oculta para el patrón de entrada n, es decr: a f ( v1 x1 v x u ) v j son los pesos de la capa de entrada a la capa oculta

3 c) Sea w1, w, y w3 los pesos de la capa oculta a la capa de salda, C1, C, y C3 los centros de las 3 neuronas ocultas y d1, d, y d3 las ampltudes. Aplcando el método del descenso del gradente para mnmzar el error en la salda, los pesos w se modfcan sguendo la sguente ley: w w ( n 1) ( s o) sendo ɸ (n) la actvacón de la neurona oculta para el patrón de entrada n. Para las RBR, esta actvacón vene dada por: X C d e d) Las leyes obtendas son las msmas, tenen en cuenta el error que se mde en la salda y la actvacón de la neurona oculta. Esto es debdo a que en ambas redes esos pesos se calcular para mnmzar el error en la salda y que el PM tene funcón de actvacón lneal en la salda (al gual que las RBR). La dferenca está en el modo de calcular la actvacón de las neuronas ocultas en cada red 4. Consdérese el problema de clasfcacón que se muestra en la fgura, conocendo la clase deseada para cada patrón. Supóngase que se entrena un mapa de Kohonen con x6 neuronas en la capa de competcón utlzando sólo las entradas al problema, de manera que cada neurona del mapa representará una zona del espaco de varables de entrada. Con los centros de dchas neuronas se pretende construr una red de base radal para abordar el problema. Se pde: a) Indcar la arqutectura de red de base radal a utlzar (entradas, ocultas y saldas) b) Explcar esquemátcamente los pasos para llevar a cabo el aprendzaje híbrdo de la red de base radal Respuesta: a) neuronas en la capa de entrada. 1 neuronas ocultas que se corresponden con las neuronas del mapa de Kohonen. 1 neurona de salda

4 b) Fase no supervsada. Se realza el aprendzaje del mapa de Kohonen para calcular los centros de las funcones de base radal, obtenéndose los 1 centros. Los pasos son: Paso 1: Se ncalzan aleatoramente los pesos de las neuronas del mapa Paso : Se presenta un patrón de entrada y se propaga hasta la capa de competcón, calculando la dstanca eucldea del patrón de entrada a las neuronas del mapa Paso 3: Se seleccona la neurona ganadora, la más cercana Paso 4: Se modfcan los pesos entre la capa de entrada y la neurona, así como las de su vecndad, según su grado de vecndad, sguendo la ley de aprendzaje Paso 5: se repten los pasos, 3 y 4 para todos los patrones de entrada Paso 5. Se decrementa el valor de la razón de aprendzaje. S α por encma de certo umbral volver al paso, en caso contraro FIN. Se calculan las desvacones como la meda geométrca de los dos centros más cercanos. Fase supervsada: Se determnan los pesos y umbrales de la capa de salda sguendo el sguente proceso teratvo: Paso 1: Se ncalzan aleatoramente los pesos y umbrales Paso : Se toma un patrón X(n), se calcula la salda de la red Y(n) y se evalúa el error e(n) cometdo por la red para dcho patrón Paso 3: Se modfcan los pesos y umbrales utlzando las leyes de aprendzaje Paso 4: Se repten los pasos y 3 para todos los patrones de entrenamento Se repten los pasos, 3 y 4 hasta consegur la convergenca, es decr hasta que la suma de los errores para todos los patrones se establce. 5. Dsponemos de un conjunto de 1000 datos de vvendas de una determnada cudad. Cada uno de estos datos (o patrones) se compone de 14 atrbutos numércos y del preco actual de la vvenda en mles de euros. A modo de ejemplo, se ctan algunos de los atrbutos: Número de habtacones Índce de contamnacón de óxdo nítrco (en partes por mllón) de la zona Dstanca al centro santaro más próxmo en klómetros Índce de crmnaldad del barro Etc.. Se desea utlzar estos datos para construr un modelo basado en Redes de Neuronas de Base Radal (RNBR) que permta estmar el preco de otras vvendas smlares. Responder a las sguentes preguntas: a) Qué tpo de problema queremos resolver? (clasfcacón, predccón de seres temporales, etc. Supervsado/no supervsado). b) Los datos están ordenados por el preco de la vvenda. Sería necesaro realzar algún preproceso de los datos? Justfque la respuesta. c) Queremos realzar un esquema de valdacón cruzada de 10 hojas. De cuántos datos de entrenamento dspondríamos en cada hoja o partcón? d) Cuántas neuronas de entrada y de salda tendría la red? Es necesaro normalzar la varable de salda entre 0 y 1? Justfcar la respuesta. e) Queremos que la red tenga característcas locales. Qué sgnfca esto? f) Dentro de los tpos de aprendzaje que pueden utlzarse en RNBR cuál se aconsejaría para mantener las característcas locales de la red? Justfcar la respuesta. g) Qué algortmo(s) podría utlzar para para calcular los centros de la red? h) Indque s alguno de los otros modelos estudados en la asgnatura se puede aplcar para resolver este problema.

5 Respuesta: a) Problema de regresón. Aprendzaje supervsado. b) Es necesaros desordenar los datos para que en los ejemplos de entrenamento haya ejemplos representatvos de todos los datos. c) 900 d) 14 neuronas de entrada y una neurona de salda. No es necesaro porque las neuronas de salda de una RNBR pueden producr cualquer valor real. e) Que cada neurona oculta represente a una zona del espaco de entrada. f) Aprendzaje híbrdo. Con el aprendzaje totalmente supervsado se pueden perder las característcas locales de la red. g) Algortmos de agrupacón no supervsados, como: K-medas y mapas de Kohonen h) Perceptron Multcapa 6. Dada la funcón que se muestra en la fgura (una varable de entrada y una de salda). Podría aproxmarse por una red de base radal? En ese caso, ndque cuantas neuronas ocultas sería convenente utlzar y valores aproxmados para los centros, ampltudes y pesos de la red Respuesta Sí, es una funcón no lneal. En prncpo convendría utlzar 4 neuronas ocultas para especalzarse en las zonas marcadas en la sguente fgura. Sería convenente que las neuronas estuvesen centradas en las zonas marcadas y que cada gausana estuvese ponderada por un determnado valor para que tuveran alturas dferentes. La prmera debe tener altura 1.5, la segunda 1.8, la tercera 0.5 y la cuarta 0.5 o 0.6. Valores aproxmados para los centros, ampltudes y pesos se muestran en la sguente fgura:

6 Realzando la suma de estas gausanas se obtene la funcón que se desea aproxmar 7. Se dspone de un conjunto de datos de entrenamento compuesto por cnco puntos bdmensonales (ver tabla 1) con los que se quere entrenar, medante el método híbrdo, una Red de Base Radal con dos neuronas ocultas, como puede verse en la fgura 1: Fgura 1 x1 x y p p p p p Tabla 1 Los centros y pesos ncales de la red son los sguentes: C 1 = (0.5, 0.7), C = (0.9, 0.8), w 1=0.7, w = 0., u=-0.3 Se pde: a) Determnar los centros de las neuronas ocultas utlzando el algortmo K-medas. Realzar dos teracones como máxmo. Representar gráfcamente la stuacón de los patrones y las dstntas poscones de los centros. b) Suponendo que el valor de las actvacones de las neuronas ocultas para el patrón de entrada p1 es ϕ 1=0.87 y ϕ =0.3, respectvamente, determnar los nuevos valores de los pesos (w 1 y w ) y el umbral tras la presentacón del prmer patrón (p1). La tasa de aprendzaje utlzada será α=0.. Respuesta a) Determnacón de los centros. Se aplca el algortmo k-medas: Iteracón 1 Se calcula la dstanca de cada patrón a los centros:

7 dando como resultado: dstanca c1 dstanca c p p p p p Por tanto, p1, p, p4 y p5 pertenecen a la regón cuyo centro es c1 y p3 a la regón cuyo centro es c. A contnuacón se calculan los centros de cada una de las regones, hallando la meda artmétca de las coordenadas x1 y x de los puntos pertenecentes a cada regón x1 x c c meda de p1,p,p4 y p5 condce con p3 Iteracón Se vuelven a calcular las dstancas desde cada patrón a cada centro: dstanca c1 dstanca c p p p p p Ahora se observa que p1, p y p4 pertenecen a la regón correspondente a c1 y p3 y p5 a c. Se vuelven a calcular los centros de las regones x1 x c c Estos serán ya los centros defntvos. (Sólo se han peddo dos teracones, pero además la composcón de las regones no vararía y por tanto los centros geométrcos de cada regón serán los msmos y k-medas fnalzará) Representacón gráfca

8 b) La ley de aprendzaje para los pesos vene dada por: w w w Donde el ncremento para el patrón p1, vene dado por: La salda de la red será: y w ( p1) w ( p1) u Por tanto, w ( s y) ( p1) 0. ( ) w ( s y) ( p1) 0. ( ) 0.3 0,011 u ( s y) 0. ( ) 0,0346 Los valores de los pesos serán: w w u