Capítulo 2.2: Redes Neuronales Artificiales

Transcripción

1 Capítulo 2.2: Redes euronales Artfcales captulo Págna de 3

2 . eurona natural Hemos vsto que una neurona en el hombre funcona por mpulsos eléctrcos que se generan cuando se cumplen unas determnadas condcones químcas a su vez generadas por un potencal eléctrco. El cclo es: un efecto externo posblemente una confguracón determnada de conexones dendrítcas unto con un determnado potencal eléctrco- produce una despolarzacón de la célula, esa despolarzacón equvale a un potencal de accón que se genera se propaga como un pulso eléctrco. Las concentracones de a + de K + hacen que el potencal de la membrana vuelva a su valor de reposo. Los mpulsos no pueden generarse a una velocdad maor que 500 veces por segundo. Por tanto las neuronas son relatvamente lentas. Por otro lado, se consdera que en el cerebro ha unos mllones de neuronas (0 ) dez veces más conexones (0 2 ). Es materalmente mposble crear un sstema electrónco con tal cantdad de procesadores de conexones. La forma de la neurona natural consta de un núcleo con unas conexones dendrítcas cercanas un axon más largo (que puede llegar a m) por el que se transmten los mpulsos a las conexones dendrítcas leanas que las conectan a otras neuronas. Ver Fgura. Fg : Esquema de una neurona natural 2. La eurona artfcal La neurona artfcal consta como se ve en la fgura 2 de varas partes. Por un lado están las entradas, los pesos, el sumatoro, fnalmente la funcón adaptadora. Los valores de captulo Págna 2 de 3

3 Fg 2: Esquema de una neurona artfcal con su funcón de actvacón funcón de dsparo. las entradas se multplcan por unos pesos se suman: Σ w x. Esta funcón suma se completa con la suma de un umbral θ. Este umbral tene el msmo efecto que una entrada con valor. Srve para que la suma pueda estar desplazada a zquerda o derecha del orgen. Después de la suma, tenemos la funcón f que se aplca al conunto resultando el valor fnal de la salda, llamado tambén. Al resultado de la suma antes de aplcarle la funcón f, suele llamársele tambén valor de actvacón a. Fg 3: Esquema de conexón de la salda de una neurona artfcal a la entrada de una posteror neurona. captulo Págna 3 de 3

4 En la fgura 3, aparecen dos neuronas conectadas. La salda de una neurona se conecta a la entrada de la sguente. Con este tpo de conexones podemos realzar una red neuronal tan complea como queramos. En la fgura 4 se muestran varas formas normalmente utlzadas para la funcón f que se aplca al sumatoro (tambén llamada funcón adaptadora). La prmera de las funcones es la funcón lneal que es equvalente a no haber funcón pues es =x. La segunda funcón típca que se utlza para smular una neurona natural es la funcón escalón. Cuando la suma de productos supera el valor de 0 (en el caso del uso de un umbral, θ es superar el valor del umbral), la funcón fnal es postva (+) s está por debao de 0, el valor de la funcón fnal es negatva (-). De esta manera, las saldas de cada neurona a están normalzadas entre + (tambén podría ser entre 0 +). Una funcón ntermeda entre las dos prmeras es la llamada funcón lneal a tramos. El problema de estas dos últmas funcones es que no son dervables en algunos puntos por lo que no puede aplcarse algunos algortmos que utlzan la dervada (como veremos posterormente). Para palar este problema, se utlza una aproxmacón a la funcón escalón que es la funcón sgmodea que a es dervable en todos sus puntos. Otra funcón que puede utlzarse, que tambén es dervable es la funcón gaussana. Como vemos en la tabla, la funcón gaussana permte una actvacón en torno al valor 0 tanto a derecha como a zquerda. Fnalmente, por complettud se pone tambén la funcón senodal, pero ésta se utlza raramente. Otra de las varantes de la funcón proceso de la neurona es aquella que susttue la suma ponderada de las entradas con la funcón sguente: = f ( ( w = x ) 2 θ ) El sgnfcado es el sguente: En vez de sumar las entradas con unos pesos, lo que se hace es la dstanca euclídea entre las entradas los pesos. Estas funcones se llaman funcones de base radal, dado que la actvacón depende de la dstanca a un punto. Para lustrar esto, veamos en la fgura 5 la zona de actvacón neuronal para dos entradas x x 2 cuando los pesos son w w 2. captulo Págna 4 de 3

5 Fg 4: Dstntas funcones de actvacón que pueden usarse en la neurona artfcal Es de destacar las dferencas entre la neurona natural la artfcal. La natural funcona por mpulsos. La artfcal tene un resultado contnuo en funcón de las entradas. En la natural el sumatoro es una funcón complea no lneal. En la artfcal usamos un sumatoro smple. captulo Págna 5 de 3

6 Fgura 5: Actvacón de la neurona con una funcón de actvacón radal, la parte raada externa al círculo es el área de actvacón 3. Clasfcacón de las redes neuronales Las redes neuronales pueden clasfcarse en bnaras o no, en supervsadas o no. Las redes bnaras son aquellas para las que las entradas tenen un valor de 0 o exclusvamente (las saldas por tanto tambén valen entre 0 ). Las no bnaras tenen como entrada salda valores contnuos. Una red neuronal supervsada es aquella para la que exsten pareas de eemplos de entrada salda para los que puede entrenarse o programarse la red. Una red neuronal no supervsada, es aquella para la que no se tenen eemplos de entrada/salda, la funcón de la red es reorganzar los pesos de la red para obtener a la salda alguna funcón obetvo, pero a pror no se conoce el resultado que se obtendrá. Una aplcacón típca de una red no supervsada es para la realzacón de agrupamentos automátcos de los datos. Una red clásca no supervsada es la de mapas autoorganzatvos de Kohonen. osotros en este curso nos centraremos en las redes supervsadas no bnaras. Una red neuronal puede clasfcarse tambén, según la topología en redes de zquerda a derecha (forward), redes con realmentacón redes con memora. captulo Págna 6 de 3

7 Una red neuronal de zquerda a derecha consdera que las saldas de una sere de neuronas, se conectan a las entradas de otra sere de ellas así sucesvamente sn haber Fg. 6: Red neuronal de zquerda a derecha (forward) Fg. 7: Red neuronal realmentada captulo Págna 7 de 3

8 nunca conexones haca atrás (ver Fgura 6). Por otro lado, una red neuronal con Fg 8:Red neuronal con una capa oculta una capa de salda conexones de las saldas a las entradas de la msma neurona o entradas de neuronas de nveles anterores, se consdera una red realmentada (Fg 7). Se dce que una red neuronal tene memora, cuando la salda de una neurona es utlzada como entrada en neuronas de la msma capa o de otras, pero después de un certo tempo, llamado tempo de retardo de la red. Estas redes ntegran la evolucón de los vectores de entrada en el tempo. Por otro lado, una red neuronal genérca, de zquerda a derecha, se consdera dvdda en capas de neuronas. Se llama prmera capa de neuronas aquellas neuronas cuas conexones a la entrada están undas a entradas de la red. La segunda capa de neuronas son aquellas cuas entradas están formadas por las saldas de las neuronas de la prmera capa, así sucesvamente para sguentes capas, hasta llegar a la capa de salda, que produce tantas saldas como neuronas en la últma capa (cada neurona de la últma capa produce una salda de la red). En la fgura 8 aparece una red de zquerda a derecha con dos capas,una capa oculta (llamada así porque sus saldas son nternas a la red) una capa de salda. 4. Tpo de proceso El tpo de proceso es la capacdad que tene la red neuronal para clasfcar datos en clases compleas. Supongamos por un momento que la funcón de actvacón es la undad (funcón lneal). La red neuronal a través de sus capas de sus sumas de pesos captulo Págna 8 de 3

9 sucesvas es equvalente una transformacón lneal que sería capaz de dstngur clases separadas por una recta en un plano (caso de dos entradas con una red de una sola capala de salda). Cuando la red neuronal tene varas capas, se pueden dscrmnar regones lneales pero con formas arbtraras (ver fgura 4). En la prmera fla se muestran las regones que es capaz de dscrmnar una red neuronal con una sola capa (la de salda). En la fla segunda puede verse la capacdad de dscrmnacón de una red neuronal de dos capas (la de salda la prmera capa (llamada capa oculta). Puede verse que con combnacones de líneas pueden reconocerse regones polnomales convexas. En la tercera últma fla puede verse la capacdad de dscrmnacón de una red neuronal con tres capas (dos capas ocultas) con las que pueden dscrmnarse zonas no contguas entre sí. Fg 4: Posbldades de clasfcacón de las redes neuronales dependendo del número de capas de neuronas Cuando la funcón de actvacón no es la lneal sno que es una sgmode, entonces las regones a dferencar no están lmtadas por rectas, sno que están lmtadas por curvas de formas no lneales. 5. El algortmo de aprendzae supervsado bac propagaton El algortmo de bacpropagaton es un algortmo para entrenar o programar los pesos de una red neuronal de zquerda a derecha supervsada, con un número ndetermnado de capas. Se supone pues, que se dspone de pares de eemplos con entradas saldas. El obeto de la red será hacer que los pesos confguren la salda de la red para que ésta sea lo más cercana posble a la salda del eemplo. Consderaremos para empezar que dsponemos solo de un eemplo queremos austar los pesos al msmo. Una vez que los pesos están austados a ese eemplo, s la red es capaz de generalzar, con otro eemplo no vsto (del que no se conoce su salda) la red actuará de forma análoga nos dará un valor de salda aproxmado cua funcón es equvalente a la que se realza con captulo Págna 9 de 3

10 el prmer eemplo. En general, se dspone de varos eemplos para entrenar, la red se adaptará para que haa un error mínmo para todos ellos. S la red tene sufcentes eemplos representatvos, actuará con un eemplo no vsto con el msmo tpo de proceso que con eemplos vstos. El algortmo básco parte de unos pesos w aleatoros, en cada paso del msmo estos pesos se modfcan en la dreccón contrara a la dervada del error actual respecto a esos msmos pesos. El resultado es obtener unos pesos que contrbuen a un error fnal menor que el orgnal. Los pesos evoluconan hasta un mínmo local. El error es la dferenca cuadrátca meda entre las saldas de la red con los pesos actuales las saldas deseadas del eemplo actual. Es necesaro defnr los sguentes térmnos: Medda del error M ( ) 2 E = d = Parámetros de la red capas de neuronas M número de saldas (neuronas) en la últma capa L neuronas en la capa (o sea, L = M e d a w salda de la neurona de la capa entradas a la red salda deseada (a aprender) estado de actvacón de la neurona de la capa peso entre la neurona de la capa (-) la neurona de la capa Fundamento del algortmo ( ) ( ) w t+ = w t η E K w ( t) Varar los pesos en sentdo opuesto al gradente de la superfce de error El peso en la teracón (o tempo) t+ es gual al peso en el tempo actual (t) modfcado en sentdo nverso a la dervada del error multplcada por un factor constante. Descrpcón del algortmo captulo Págna 0 de 3

11 Para calcular todos los pesos en el tempo posteror, aparte de conocer los pesos en el tempo actual, necestamos saber la dervada del error respecto a los msmos. Para calcular dcha dervada, aplcamos la regla de la cadena al gradente a w t a w t E E = ( ) ( ) Calculemos cada térmno, para ello vamos a utlzar una funcón de actvacón tpo sgmode: = + e a a a = = 2 = a a e e a ( + e ) a + e + e ( ) Recordamos que : a = w Por lo que: 2 a w ( t) = = 2,..., w L a w ( t) = e En la ª capa os queda el térmno En la últma capa: E que por defncón es e e 2 E = = 2 = 2 ( d ) ( d ) captulo Págna de 3

12 A contnuacón vamos retropropagando (BACK PROPAGATIO) el cálculo a las capas anterores, hacendo que la dervada en estas capas sea dependente de la dervada en capas posterores, utlzando de nuevo la regla de la cadena. Para verlo más claro, supongamos una salda posterores Entonces, +,2,3 E puede escrbrse como tene conexones en tres saldas E = E E E + + = E a E a E a a a a o ben, generalzando E E a L = = + + = a O sea: L K + K = ( ) w = pues a = w + + En resumen, el algortmo queda como sgue: a) Cálculo de las saldas de la red para la entrada del eemplo, o sea b) Cálculo de teratvamente desde = hasta = en funcón de la salda deseada del eemplo. = 2 ( d ) L K = ( ) w = c) Actualzacón de pesos ( ) ( ) η ( ) ( ) ( ) η ( ) = 2,..., w t+ = w t Capa ª w t+ = w t e captulo Págna 2 de 3

13 Una vez actualzados los pesos, vuelvo al paso a) realzo otra teracón, vuelvo a calcular los pesos. El algortmo termna cuando el cambo en cada paso temporal no modfca sustancalmente (por debao de certo margen) los pesos. En el caso de que se tengan varos eemplos exsten varas alternatvas, una es r actualzando los pesos según cada eemplo teratvamente. La otra es consderar el error conunto de todos los eemplos antes de actualzarlos como S M ( ) 2 l l E = d l= = es el número total de eemplos. donde el subíndce l se refere al número de eemplo S Referenca D.P.Morgan, C.L. Scofeld, eural etwors and Speech Processng, Kluwer Academc Publshers 99. captulo Págna 3 de 3