4 El Perceptrón Simple

Transcripción

1 4 El Perceptró Simple 4. Itroducció Ua de las características más sigificativas de las redes euroales es su capacidad para apreder a partir de algua fuete de iformació iteractuado co su etoro. E 958 el psicólogo Fra Roseblat desarrolló u modelo simple de euroa basado e el modelo de McCulloch Pitts e ua regla de apredizae basada e la correcció del error. A este modelo le llamó Perceptró. Ua de las características que más iterés despertó de este modelo fue su capacidad de apreder a recoocer patroes. El Perceptró está costituido por u couto de sesores de etrada que recibe los patroes de etrada a recoocer o clasificar ua euroa de salida que se ocupa de clasificar a los patroes de etrada e dos clases, segú que la salida de la misma sea (activada o 0 (desactivada. Si embargo, dicho modelo teía muchas limitacioes, como por eemplo, o es capaz de apreder la fució lógica XOR. uviero que pasar uos años hasta que se propusiera la regla de apredizae de retropropagació del error para demostrarse que el Perceptró multicapa es u aproimador uiversal. 4. El Perceptró simple Supogamos que teemos ua fució f de R e {-,}, que aplica u patró de etrada (,,, R e la salida deseada z {-,}, es decir, f( z. La iformació de que dispoemos sobre dicha fució viee dada por p pares de patroes de etreamieto {,z }, {,z },,{ p,z p } dode i R f ( i z i {-,}, i,,,p. Dicha fució realiza ua partició e el espacio R de patroes de etrada; por ua parte estaría los patroes co salida por otra parte los patroes co salida. Por lo tato, diremos que la fució f clasifica a los patroes de etrada e dos clases. Eemplos de fucioes f de este tipo so la fució lógica OR o la fució par. Ahora vamos a costruir u dispositivo secillo que apreda dicha fució a partir de u couto coocido de patroes (relacioes de etreamieto. Para ello vamos a utilizar ua uidad de proceso bipolar que como vimos es ua fució matemática co domiio el couto -dimesioal {-,} rago el couto {-,}, defiida por la siguiete epresió: si... θ f (,,..., ( si... < θ

2 dode los parámetros,,,, se llama pesos siápticos so los pesos co los que se podera los valores de etrada,,,, o argumetos de la fució; la suma poderada u... se llama potecial siáptico el parámetro θ se llama umbral o sesgo. ambié se puede epresar la fució f mediate la fució sigo, es decir, f (,,..., sg( u θ siedo la fució sigo, 0 sg( < 0 diremos que e este caso la fució de trasferecia es la fució sigo. Aálogamete, se defie ua uidad de proceso biaria como ua fució matemática co domiio el couto -dimesioal {0,} rago el couto {0,}, defiida por la siguiete epresió: si... θ f (,,..., ( 0 si... < θ 3 Figura. Uidad de proceso bipolar. Cuado la salida de la uidad de proceso es igual a se dice que dicha uidad de proceso está activada o ecedida preseta el estado, mietras que si su salida es igual a cero se dice que está desactivada o apagada, presetado el estado 0. Fució sigo f( - Fució paso o De Heaviside f( 0 Figura. Fucioes de trasferecia. 7

3 Para la determiació de los pesos siápticos del umbral vamos a seguir u proceso adaptativo que cosiste e comezar co uos valores iiciales aleatorios e ir modificádolos iterativamete cuado la salida de la uidad o coicide co la salida deseada. La regla que vamos a seguir para modificar los pesos siápticos se cooce co el ombre de regla de apredizae del Perceptró simple viee dada por la epresió:,,, ( ( ( siedo ( ( [ z( ( ] ( η (3 esto os idica que la variació del peso es proporcioal al producto del error z( ( por la compoete -ésima del patró de etrada que hemos itroducido e la iteració, es decir, (. La costate de proporcioalidad η( es u parámetro positivo que se llama tasa de apredizae puesto que cuato maor es más se modifica el peso siáptico viceversa. Es decir, es el parámetro que cotrola el proceso de apredizae. Cuado es mu pequeño la red aprede poco a poco. Cuado se toma costate e todas las iteracioes, η( η > 0 tedremos la regla de adaptació co icremeto fio. Cuado la fució de trasferecia usada es la fució sigo (valores bipolares la regla de apredizae se puede escribir de la forma: ( ( η ( ( η ( ( si si si ( ( z( ( z(, z( (4 Por lo tato, esta regla de apredizae es u método de detecció del error correcció. Solo aprede, es decir, modifica los pesos, cuado se equivoca. Cuado teemos u patró que perteece a la primera clase (z( o es asigado a la misma, etoces corrige el valor del peso siáptico añadiédole ua catidad proporcioal al valor de etrada, es decir lo refuerza, mietras que si el patró de etrada o perteece a esta clase el Perceptró lo asiga a ella, lo que hace es debilitar el peso restádole ua catidad proporcioal al patró de etrada. No modificaremos los pesos cuado el valor deseado coicida co la salida de la red. Cómo se modifica el sesgo? De la misma maera, teiedo e cueta que el sesgo se puede cosiderar como el peso siáptico correspodiete a u uevo sesor de etrada que tiee siempre ua etrada igual a, como peso siáptico el valor del umbral, pues... θ... 0 cuado θ. Así, la red equivalete tedría sesores, su umbral sería siempre cero, los patroes de etrada (,,..., será ahora (,,...,,, los pesos asociados (,,..., será (,,...,, co θ la regla de apredizae: 73

4 ( η( [ z( ( ] θ,,, (5 A partir de ahora vamos a cosiderar el umbral como u peso siáptico más. A cotiuació resumimos el algoritmo e el que actualizamos el vector de pesos siápticos para cada patró de etrada (etreamieto idividualizado Algoritmo de apredizae del Perceptró co etreamieto idividualizado Paso 0: Iicializació Iicializar los pesos siápticos co úmeros aleatorios del itervalo [-,]. Ir al paso co Paso : (-ésima iteració Calcular ( sg ( Paso : Correcció de los pesos siápticos Si z( ( modificar los pesos siápticos segú la epresió: z,,,..., Paso 3: Parada ( ( [ ( ( ] ( η Si o se ha modificado los pesos e las últimas p iteracioes, es decir, ( r (,,,...,, r,..., p, parar. La red se ha estabilizado. E otro caso, ir al Paso co. Ahora surge la cuestió: Dado u couto de patroes de etreamieto, puede el Perceptró apreder a clasificarlos correctamete? Solamete si los patroes so liealmete separables. Ello reduce cosiderablemete el campo de aplicacioes del Perceptró simple puesto que i siquiera es capaz de implemetar la fució lógica XOR dada por la siguiete relació: Etradas Salidas (, (, (, (, como se puede comprobar e la figura 3(a. E cambio, se puede clasificar correctamete los patroes cuado se utiliza ua fució o lieal (figura 3(b. 74

5 (a (b Figura 3.(a Patroes separables liealmete. (b Patroes o separables liealmete. Decimos que dos coutos de putos A B so liealmete separables e u espacio -dimesioal si eiste úmeros reales,...,,, de maera que cada puto (,,..., A, θ satisface i i i θ cada puto (,,..., B satisface < i i i θ. A cotiuació vamos a estudiar la covergecia del Perceptró simple, es decir, bao que codicioes u Perceptró es capaz de ecotrar ua solució e u úmero fiito de iteracioes. θ <θ θ Figura 4. Semiespacios que defie el Perceptró. eorema (de covergecia del Perceptró Si el couto de patroes de etreamieto, {,z }, {,z },,{ p,z p }, es liealmete separable etoces el Perceptró simple ecuetra ua solució e u úmero fiito de iteracioes, es decir, cosigue que la salida de la red coicida co la salida deseada para cada uo de los patroes de etreamieto. Demostració: 75

6 76 E efecto, como los patroes so liealmete separables eistirá uos valores,...,, tales que > para los patroes de la clase < para los patroes de la clase. Obsérvese que es el umbral θ. Supogamos que e la iteració la red tiee que modificar los pesos siápticos segú la regla de apredizae, puesto que la salida de la red ( o coicide co la salida deseada z(. edremos que: ( ( [ ] ( ( ( ( ( z η Desarrollado, ( ( ( ( [ ] ( z η ( ( [ ] ( ( ( z η (6 ( ( ( ( [ ] ( z η ( ( [ ] ( ( ( [ ] ( ( ( z z η η Obsérvese que ( ( [ ] (, 0 ( < z puesto que si ( 0 ( > etoces ( como la salida es icorrecta tiee que ser z(; si ( 0 ( < etoces (, como la salida es icorrecta, z(. Dicho térmio se puede escribir de la forma: ( ( Asimismo, el térmio ( ( [ ] ( 0 > z es positivo puesto que si ( 0 > etoces la salida deseada es z( la salida icorrecta de la red tiee que ser (, si ( 0 < etoces z( la salida icorrecta de la red tiee que ser (. Así, tambié se puede escribir de la forma:

7 Por lo tato teemos que ( ( ( ( ( 4 ( 4η ( η (7 puesto que hemos prescidido de u térmio egativo e la derecha de la epresió. ( Sea D ( ( Como ( D ( ( ( mi ( p, de la epresió (7 se deduce la siguiete desigualdad: ( ( η D D 4 ( 4η ( ( 4 ηη [ ( ] D D Si tomamos η ( < 0, es decir, η < etoces D(<D(. Esto sigifica que eligiedo u valor de η tal que 0<η < hace que D( dismiua al meos e la catidad costate 4 η[ η ( ] e cada iteració (co correcció. Si el úmero de iteracioes co correcció fuese ifiito etoces llegaríamos al absurdo de alcazar e u mometo determiado u valor egativo para el térmio D( que evidetemete o puede ser egativo. La siguiete cuestió que vamos a abordar es estudiar cuál sería el meor valor que debemos elegir del parámetro de apredizaeη de forma que se cosiga más rápidamete la covergecia de la red. Se trata de elegir η de maera que D( sea lo meor posible así coseguir u maor acercamieto de los pesos de la red a la solució. Como D( es ua fució cuadrática del parámetro η solo teemos que derivar e igualar a cero para ecotrar el valor de dicho parámetro que correspode al míimo de la epresió D(. E( η D( D( 4η ( 4η ( ( 4η ( 77

8 ( η E η 8η El valor deη que verifica dicha ecuació es ( 4 ( ( 4 ( 0 η opt ( ( ( ( Si embargo el segudo térmio del umerador o lo coocemos puesto que o coocemos los valores. Si aproimamos dicho térmio por el aterior teemos que u valor aproimado de la tasa de apredizae óptima es el siguiete: η opt ( ( Como hemos visto ateriormete, ( ( [ z( ( ] ( ( así η opt [ z ( ( ] ( ( ( Sustituedo este valor del parámetro η e la regla de apredizae (cuado ( z( obteemos, es decir, ( ( ( ( z ( ( z ( ( ( ( ( ( ( ( ( (7 puesto que [z((] 4 cuado ( z(. Dicha regla se cooce co el ombre de regla del Perceptró ormalizada, pues si partimos de u vector de pesos ormalizado, es decir, (, etoces todos los 78

9 pesos que se va obteiedo segú la regla de apredizae se matiee ormalizados. E efecto, ( ( ( ( ( ( ( ( 4 ( ( ( i ( ( 4.3 Deducció de la regla de apredizae del Perceptró a partir de u criterio Supogamos que dispoemos del couto de etreamieto costituido por p patroes de la clase (que represetaremos por C por p de la clase (que represetaremos por C que ambas clases so separables liealmete. Hemos visto que co el Perceptró simple se pretede ecotrar u vector de pesos siápticos (,,, que verifique: 0, C < 0, C Co ello se cosigue que la salida de la red,, coicida co la salida deseada, z, es decir, sg( z, C C Para eteder bie la regla del Perceptró debemos de coocer el criterio elegido para su deducció. Si el vector de pesos siápticos está ormalizado etoces la distacia de u vector 0 al hiperplao de separació (llamado frotera de decisió, 0, viee dada por la epresió 0, puesto que el producto escalar de los vectores 0 os da la logitud de la proecció del vector 0 sobre el vector (ormalizado, co sigo positivo o egativo depediedo si el puto 0 está por ecima o por debao del hiperplao (ver la figura 5. Es decir, dicha distacia viee dada por la epresió ( puesto que 0. Si o estuviera ormalizado el vector 0 0 etoces dicha distacia sería ( 0 0 0, es decir, proporcioar a 0. 79

10 0 0 Figura 5. Distacia de u puto al hiperplao frotera. El criterio para deducir la regla de apredizae del Perceptró cosiste e miimizar la distacia total al hiperplao de separació de los putos clasificados icorrectamete por el Perceptró, es decir, miimizar la fució D( ( z( ( ( I dode I es el couto de patroes de etreamieto clasificados icorrectamete, { {,,..., } : ( ( ( 0 ó ( ( ( 0} I p z < z. Para ello podemos utilizar el método del desceso del gradiete dode la direcció de búsqueda viee dada por la direcció del gradiete pero e setido opuesto: D( ( ( η ( η z( ( si I 0 si I Se puede observar que dicha regla es la regla del Perceptró defiida e (3 puesto que ( z( para I. E caso de modificar los pesos siápticos solamete después de haber itroducido todos los patroes del couto de etreamieto evaluar sus salidas se tiee que η D( η z( ( si I I 0 si I a que e este caso o depede de. La regla obteida es la regla de apredizae por lotes del Perceptró simple. 4.4 Iterpretació de la regla de apredizae del Perceptró Supogamos que e la regla de apredizae (4 utilizamos ua tasa de apredizae es η 0.5. Dicha regla se puede escribir tambié de la maera siguiete: 80

11 ( a( si ( a( ( 0 ( (8 ( e otro caso dode ( a ( ( si si z( z( Nos idica que se realiza las correccioes siempre cuado se produce clasificacioes icorrectas, es decir, si ( a( ( 0 (9 Ua iterpretació geométrica de la regla de apredizae (8 se muestra e la figura 6. Vemos como el vector de pesos siápticos ( se mueve directamete hacia el hiperplao (icluso lo cruza, (a( ( 0, cuado se le suma el vector a(. Así, se mueve el vector de pesos siápticos ( e ua direcció que busca el icremeto de la catidad (a( ( tratado de coseguir que sea positiva así la clasificació es correcta. a( ( a( ( Figura 6. Variació del vector de pesos siápticos e la regla de apredizae del Perceptró Por lo tato, la regla de apredizae del Perceptró iteta ecotrar ua solució para el siguiete sistema de desigualdades: a( > 0,,,, p p (ua desigualdad por cada patró. Este plateamieto os lleva a establecer u criterio para deducir la regla de apredizae del Perceptró. Se trata de obteer u procedimieto para miimizar la siguiete fució criterio: J ( a( (0 I ( dode I( es el couto de patroes clasificados icorrectamete utilizado el vector de pesos siápticos (es decir, (a( 0. Así, J uca es egativo si dicho couto es vacío etoces J alcaza su valor míimo, J 0. Desde el puto de vista geométrico, J( es proporcioal a la suma de las distacias de las muestras clasificadas icorrectamete a la frotera de decisió (hiperplao. Cuato meor sea J( meor será el vector de pesos siápticos. 8

12 U procedimieto para miimizar dicha fució criterio viee dado por el método del desceso del gradiete, es decir, como la compoete del gradiete de J es J /, etoces de la epresió (0 se tiee que el gradiete de J( es: J I ( ( a( Así, la regla de actualizació basada e el desceso del gradiete, que cosiste e desplazarse e la direcció opuesta al gradiete co ua logitud del paso regulada por el parámetro η(, viee dada por la siguiete epresió: ( ( η( J ( η ( I ( a( Aquí actualizamos el vector de pesos siápticos después de evaluar las salidas de la red para todos los patroes de etreamieto. Por ello, se llama algoritmo del Perceptró co etreamieto por lotes, que resumimos a cotiuació: Algoritmo de apredizae del Perceptró co etreamieto por lotes Paso 0: Iicializació Iicializar los pesos siápticos co úmeros aleatorios del itervalo [-,]. Fiar u valor de parada s. Ir al paso co Paso : (-ésima iteració Correcció de los pesos siápticos Paso : Parada Si ( ( η ( η ( a( < s parar. I ( I ( a( E otro caso, ir al Paso co. E este algoritmo se puede modificar la tasa de apredizae η( e cada iteració. Cuado η( se matiee costate e todas las iteracioes se dice que la regla es de icremeto fio. Si actualizamos el vector de pesos siápticos e cada iteració (etreamieto idividualizado etoces tedríamos que ( ( η( a( cuado el patró itroducido e la iteració resulta clasificado icorrectamete, ( ( e caso cotrario. Resulta así la regla de apredizae del Perceptró co etreamieto idividualizado estudiada al comiezo del tema. 8

13 4.5 Modificacioes: El algoritmo del Perceptró co bolsillo Cosiste e teer e cueta el úmero de iteracioes cosecutivas del algoritmo de Perceptró e las cuales o se ha modificado el vector de pesos siápticos (para cada uo de los vectores que va geerado, es decir, teer e cueta el úmero de patroes que se ha clasificado correctamete co dicho vector hasta que se ha ecotrado el primer patró que clasifica icorrectamete. Se tiee guardado e el bolsillo la meor solució eplorada, es decir, el vector de pesos siápticos geerado que ha coseguido, hasta el mometo, el maor úmero de iteracioes si ser modificado. Cuado se ecuetra u uevo vector de pesos siápticos que cosigue u maor úmero de clasificacioes correctas cosecutivas que el que ha e el bolsillo etoces el vector del bolsillo se reemplaza por este. La solució fial viee dada por el vector de pesos siápticos guardado e el bolsillo. Así, el obetivo de esta modificació es ecotrar u vector de pesos siápticos que maimice el úmero de clasificacioes correctas. Como los patroes de etreamieto se preseta a la red de maera aleatoria el couto de patroes es fiito, etoces la red puede ecotrar u vector de pesos siápticos óptimo co alta probabilidad. Auque este algoritmo o garatiza ua solució óptima pero la evidecia empírica os muestra que coduce a bueos resultados. Para evitar que la mala suerte os pueda llevar a u vector de pesos siápticos que sea ua mala solució se puede hacer otra ueva modificació. Cosiste e reemplazar el vector de pesos siápticos que ha e el bolsillo por aquel que tega ua racha maor de clasificacioes correctas que además clasifica correctamete a u maor úmero de patroes del couto completo de los p patroes de etreamieto. Esta modificació es mas costosa computacioalmete por lo que se suele usar sólo e la fase fial del etreamieto. 4.6 Implemetació de la fució lógica OR mediate u Perceptró Supogamos que deseamos saber si ua paloma es capaz de apreder la maera de coseguir la comida. Para ello, se coloca dos pulsadores, uo al lado del otro cada pulsador puede estar ecedido o apagado. Para coseguir la comida tiee que picar e cualquiera de los pulsadores, salvo cuado los dos está apagados que debe picar solamete e el pulsador derecho (figura 7. Aprederá la paloma a picar siempre e el pulsador adecuado para coseguir la comida? El Perceptró simple puede hacerlo. Para ello vamos a represetar el problema mediate u vector bipolar (,, 3, dode toma el valor ó segú que el pulsador de la izquierda esté ecedido o o, respectivamete; toma el valor ó segú que el pulsador de la derecha esté ecedido o o, 3 toma el valor ó segú que la paloma pique e el pulsador de la izquierda o e el de la derecha, respectivamete. Por lo tato, el problema se reduce a u problema de clasificació, dode las etradas (, (, (, (, (, (, ( coduce a u éito (, la etrada ( a u fracaso (. El Perceptró aprederá esta regla mediate etreamieto, es decir, itroduciedo varias veces e la red el couto de patroes de etrada modificado los pesos siápticos segú la regla de apredizae. Así, el Perceptró de la figura 8 coduce siempre a ua salida correcta, es decir, ha apredido dicha regla. 83

14 Figura 7. Eperimeto para el apredizae. 0.8 θ Figura 8. Pesos siápticos umbral del Perceptró. Ahora modificamos el eperimeto de maera que para coseguir la comida tiee que picar e el pulsador de la derecha, salvo cuado los dos está apagados, e cuo caso tiee que picar e el pulsador de la izquierda. Podrá ua paloma apreder esta regla? El Perceptró simple o. El problema se reduce a u problema de clasificació, dode las etradas (, (, (, ( coduce a u éito (, las etradas a u fracaso (. (, (, (, ( ( ( ( ( ( ( ( ( Figura 9. Los vértices del cubo como patroes de etreamieto. 84

15 E la figura 9 se puede observar como los patroes de etreamieto so los vértices de u cubo; los vértices que represetamos por los círculos relleos de egro se correspode co acierto mietras que los restates co fracaso. Como estos vértices o se puede separar liealmete de los restates, el Perceptró simple o puede apreder dicha regla o fució lógica. Si embargo, como veremos e el siguiete capítulo, si utilizamos dos capas de euroas artificiales podemos implemetar cualquier fució Booleaa,, por lo tato, dicha fució. 4.7 La ADALINA Otro modelo clásico de redes euroales es la ADALINA (tambié llamada ADALINE, pues correspode al acróimo de ADAptive Liear NEuro o euroa co adaptació lieal que fue itroducida por Widro e 959. Esta euroa es similar al Perceptró simple pero utiliza como fució de trasferecia la fució idetidad e lugar de la fució sigo. La salida de la ADALINA es simplemete ua fució lieal de las etradas (poderadas co los pesos siápticos: θ Obsérvese que ahora la salida de la red es cotiua e lugar de biaria. Si cosideramos ua etrada adicioal co valor cuo peso siáptico θ, etoces podemos escribir simplemete Así, de forma geeral podemos tratar el valor umbral θ como u peso siáptico adicioal co etrada igual a. Co la ADALINA se pretede implemetar la correspodecia etre las etradas las salidas de u sistema utilizado u couto fiito de relacioes etre etradas,,..., p sus salidas. Supogamos que dispoemos de p patroes de etrada { } correspodietes salidas deseadas { z z,..., z p },. Se trata de determiar los pesos siápticos que cosigue que las salidas de la red sea lo más parecidas a las salidas deseadas para el couto dado de patroes de etreamieto. Es decir, se trata de determiar los pesos siápticos de maera que se miimice la fució de error cuadrático siguiete: E ( z ( z p p ( Para ello vamos a seguir el método de desceso del gradiete, es decir, e la misma direcció e setido opuesto al gradiete. Si e la iteració hemos itroducido el patró de etreamieto, cua salida deseada es z, los pesos siápticos so (,,,,, etoces la modificació de los mismos motivada por dicho patró es: ( ( (, r r r dode E r ( η ( r 85

16 [ z ( ] r η, r,,, ( El parámetro η cotrola la logitud del paso que vamos a dar e la direcció opuesta del gradiete. Coforme maor sea η maor será la catidad por la que se modificará los pesos siápticos. Dicho parámetro debe ser u valor pequeño para evitar dar pasos demasiado largos, es decir, que os lleve a solucioes peores que la que teíamos, puesto que el método del gradiete solamete garatiza el decrecimieto de la fució de error si os desplazamos e la direccioes opuesta del gradiete pero e u etoro suficietemete pequeño. A η lo llamaremos parámetro de apredizae o tasa de apredizae. E el proceso de etreamieto hemos itroducido u patró e cada iteració, por ello diremos que hemos realizado u apredizae e líea. ambié podemos itroducir los p patroes directamete comparar las salidas de la red co las salidas deseadas, pasado etoces a actualizar los pesos siápticos, e cuo caso diremos que el apredizae es por lotes. La modificació de los pesos siápticos se hace tomado como fució de error el error medio (se divide por p el error total, es decir, p p E ( z ( z p p así la regla de apredizae es E η η ( p p [ z ( ] Obsérvese que aquí el peso siáptico o depede del patró itroducido, es el mismo para los p patroes puesto que se actualiza coutamete segú el error medio para los p patroes. 4.8 Neuroas co salida cotiua: Regla de apredizae de Widro- Hoff Vamos a cosiderar uidades de proceso co salidas cotiuas. Ua uidad de proceso cotiua es aquella cua salida viee dada por la siguiete epresió: g dode ( ',,..., R e la etrada de la uidad, ( ',,..., R es el vector de pesos siápticos g es la fució de trasferecia. La fució de trasferecia va a ser ua fució difereciable o decreciete, vamos a elegir, como fució de trasferecia, a ua de las siguietes fucioes: a La fució logística 86

17 g ( ep ( β cua represetació gráfica se muestra e la figura 0. Es ua fució de aplastamieto puesto que pasa los valores del potecial siáptico, que so del itervalo (,, al itervalo [0, ]. Figura 0. Fucioes logísticas. El parámetro de gaacia β cotrola la pediete de la curva, es decir, cuato maor es β la curva tiee más pediete se aproima más a la fució escaló. Se utiliza dicha fució como fució de trasferecia puesto que su derivada, que después vamos a utilizar e la regla de apredizae, es mu simple, ' g β g g, es decir, es ua fució de la propia fució. ( ( [ ( ] b La fució tagete hiperbólica, g e e β e e β ( tah( β β β cua represetació gráfica se muestra e la figura. Es ua fució de aplastamieto puesto que pasa los valores del potecial siáptico al itervalo [-, ]. Figura. Fucioes tagetes hiperbólicas. ambié se utiliza dicha fució como fució de trasferecia puesto que su derivada ' es mu simple, g ( β [ g( ], es decir, es tambié ua fució de la propia fució. Asimismo, cuato maor es el parámetro de gaacia β maor es la pediete de la curva más se asemea a la fució sigo. c La fució idetidad, g(. A la catidad h se le llama potecial siáptico. E la figura represetamos gráficamete ua uidad de proceso cotiua. 87

18 3 3 Figura. Neuroa aalógica. Co esta uidad de proceso cotiua se pretede implemetar la correspodecia etre las etradas las salidas de u sistema, utilizado u couto fiito de relacioes etre,,..., p etradas salidas. Supogamos que dispoemos de p patroes de etrada { } sus correspodietes salidas deseadas { z, z,..., z p }. Se trata de determiar los pesos siápticos que cosigue que las salidas de la red sea lo más parecidas a las salidas deseadas para el couto dado de los patroes de etreamieto. Es decir, se trata de determiar los pesos siápticos de maera que se miimice la fució de error cuadrático siguiete: p p E ( z ( z g( ( El método de desceso del gradiete (desplazar los pesos e setido opuesto a la direcció del gradiete os coduce a la siguiete regla de apredizae, coocida co el ombre de regla de Widro-Hoff, regla de míimos cuadrados medios o regla LMS (Least Mea Squares: E ( η ( [ z ( ] g' ( h η,,,, dode h es el potecial siáptico. E el caso de apredizae por lotes, tomaremos como fució de error cuadrático medio p p E ( z ( z g( p p así, E η η g'( h (3 p p [ z ( ] 88