Universidad de Oviedo

Transcripción

1 Uversdad de Ovedo Máster Uverstaro e Modelzacó e Ivestgacó Matemátca, Estadístca y Computacó Trabajo F de Máster Recoocmeto de patroes proyectvo-varates medate redes euroales de varable compleja Autor: Pablo José Ata Gozález Drector: D. César Lus Aloso Gozález Julo, 05

2 A m madre

3 Idce Idce de fguras y procedeca 3 Idce de tablas 7 0. Objetvos y orgazacó del Proyecto 8. Itroduccó hstórca a las redes euroales. El perceptró multcapa de varable real 9.. Defcó de euroa y red euroal 9.. Fucoes de actvacó El perceptró multcapa El apredzaje de las redes euroales El algortmo de retropropagacó La fucó de error cuado la red euroal se etrea para regresó La fucó de error cuado la red se etrea para hacer clasfcacó Esquemas de las versoes del algortmo de retropropagacó Redes euroales de varable compleja Justfcacó de la mportaca de las redes euroales de varable compleja El algortmo de retropropagacó complejo El algortmo de retropropagacó complejo co mometum La ortogoaldad de las froteras de decsó de las euroas complejas La geometría proyectva y sus varates La geometría proyectva Ivarates de las trasformacoes afes Mometos varates a afdades (AMIs) Ivarates a trasformacoes proyectvas Trasformacoes proyectvas geerales... 04

4 5. Clasfcacó de patroes proyectvo-varates medate u perceptró de varable compleja Los putos domates de ua curva El clasfcador protectvo-varate basado e redes euroales de varable compleja Evaluacó del desempeño del clasfcador descrto e el Apartado Evaluacó del desempeño del clasfcador co trasformacoes afes Evaluacó del desempeño del clasfcador co homografías Evaluacó del desempeño del clasfcador co proyectvdades geerales Cometaros a los resultados de los expermetos. Apédce. Expresoes útles para el trabajo co las fucoes de actvacó... 3 Apédce. Coceptos de la Teoría de probabldades.. 5 Apédce 3. Coceptos de la Teoría de la Iformacó.. 38 Apédce 4. El cálculo de Wrtger 46 Apédce 5. Logtud de arco de curva varate a afdades 48 Bblografía.. 54

5 Idce de fguras y procedeca Fgura.. La euroa de McCulloch-Ptts (los pesos so fjos). [58], Fgura.. El perceptró clásco de Rosseblatt. [], Pág Fgura.3. El perceptró smplfcado de Msky y Papert. [78], Pág Fgura.4. El perceptró (los pesos so varables). [58], 4 Fgura.. Ejemplo de fucó cuadrátca que dvde la recta real e dos regoes R y R. [9], Pág Fgura.. Ua red euroal artfcal de ocho odos. [30], Pág Fgura.3. Ilustracó del problema del sobreajuste. [30], Pág Fgura.4. Dcotomías separables medate rectas. [79], Pág Fgura.5. Ua dcotomía o separable medate rectas. [79], Pág Fgura.6. U perceptró multcapa que costa de ua sola euroa de etrada y ua sola euroa de salda. [89], Pág Fgura.7. Fucoes represetadas por la red co H=400 y parámetros σ bas = 8,6,4,3,,.6,.,0.8,0.4,0.3,0., σ = 5σ bas y σ out = [89], Pág Fgura.8. Propedades de ua fucó represetada por ua red euroal aleatora. [89], Pág Fgura.9. Actualzacó o-le Fgura.0. Actualzacó e lotes (batch) Fgura 3.. La fucó OR. [5], Pág

6 Fgura 3.. La fucó XOR. [5], Pág Fgura 3.3. La fucó de actvacó ϕ ( z). [5], Pág Fgura 3.4. a) Re( + e z ) Realzado co el software Matlab... Fgura 3.4. b) Im( + e z ) Realzado co el software Matlab... Fgura 3.5. a) Re( tgh( z )) Realzado co el software Matlab Fgura 3.5. b) Im( tgh( z )) Realzado co el software Matlab Fgura 3.6. Resultados del Expermeto (co mometo 0.00) Realzado co el software estadístco R Fgura 3.7. Resultados del Expermeto (co mometo 0.06) Realzado co el software estadístco R Fgura 3.8. Resultados del Expermeto (co mometo 0.00) Realzado co el software estadístco R Fgura 3.9. Resultados del Expermeto (co mometo 0.06) Realzado co el software estadístco R Fgura 3.0. Froteras de decsó de la red euroal compleja de dos capas. [65], Pág Fgura 3.. Froteras de decsó de la red euroal real de dos capas -4-, que claramete o so ortogoales. [65], Pág Fgura 4.. El efecto de perspectva e las vías de tre Fgura 4.. La Escuela de Ateas, de Rafael. Ua muestra de la perfeccó e el arte de la perspectva alcazada e el Reacmeto

7 Fgura 4.3. Proyeccó de ua fgura plaa sobre u plao [40], Pág Fgura 4.4. Rayo paralelo al plao proyectvo [40], Pág Fgura 4.5. Trasformacoes de smlardad, afí y proyectva de u cuadrado. [3].. 89 Fgura 4.6. a) grafo de r =, =, = = = 0 b) grafo de r = 3, = 3 = (los demás expoetes cero) [44], Pág Fgura 4.7. Áreas que tervee e CR ( 0;,,3, 4) [6] Fgura 4.8. Uas curvas y sus btagetes [04] Fgura 5.. U cotoro, su frma dstaca de los putos de la curva a su cetrode y los cuatro vértces cales [35], Pág Fgura 5.. Patró Perro 0 Fgura 5.3. Patró Gato 0 Fgura 5.4. Ua muestra de las curvas de la clase Perro obtedas aplcado afdades. Realzado co OpeCV... Fgura 5.5. Ua muestra de las curvas de la clase Gato obtedas aplcado afdades. Realzado co OpeCV... Fgura 5.6. Putos domates de ua curva de la clase Perro obteda aplcado afdades. Realzado co OpeCV.. 3 Fgura 5.7. Putos domates de ua curva de la clase Gato obteda aplcado afdades. Realzado co OpeCV. 3 Fgura 5.8. Ua muestra de las curvas de la clase Perro obtedas aplcado homografías. Realzado co OpeCV. 6 5

8 Fgura 5.9. Ua muestra de las curvas de la clase Gato obtedas aplcado homografías. Realzado co OpeCV... 6 Fgura 5.0. Putos btagetes de uas curvas de la clase Perro obtedas aplcado homografías. Realzado co OpeCV.. 8 Fgura 5.. Putos btagetes de uas curvas de la clase Gato obtedas aplcado homografías. Realzado co OpeCV.. 8 Fgura 5.. Clasfcacó por K-meas de los cross-ratos de las curvas obtedas aplcado homografías. Realzado co el software estadístco R. 9 Fgura 5.3. Vsta e alzado de la relacó etre la superfce bdmesoal que cotee a ua fgura y el plao de proyeccó. Las flechas represeta los rayos proyectates. Realzado co Pat... 0 Fgura 5.4. Muestra de las curvas de la clase Perro a las que se ha aplcado ua trasformacó proyectva geeral. Realzado co OpeCV... 0 Fgura 5.5. Muestra de las curvas de la clase Gato a las que se ha aplcado ua trasformacó proyectva geeral. Realzado co OpeCV. Fgura A.. El frame móvl y el frame fjo de ua curva. [54], Pág

9 Idce de tablas Tabla 3.. Fucó OR bdmesoal Tabla 3.. Fucó XOR bdmesoal 50 Tabla 3.3. La fucó XOR e u espaco de etrada de mayor dmesó. 5 Tabla 3.4. La fucó XOR represetada por u perceptró complejo 5 Tabla 3.5. Patroes del Expermeto de Ntta 7 Tabla 3.6. Rato de covergeca del Expermeto (co mometo 0.00).. 73 Tabla 3.7. Rato de covergeca del Expermeto (co mometo 0.06).. 74 Tabla 3.8. Patroes del Expermeto de Ntta 74 Tabla 3.9. Rato de covergeca del Expermeto (co mometo 0.00).. 75 Tabla 3.0. Rato de covergeca del Expermeto (co mometo 0.06) 76 Tabla 3.. Patroes de etreameto de la red euroal -- empleada e el aálss de las froteras de decsó

10 0. Objetvos y orgazacó del Proyecto. Ua de las tareas más mportates de la Vsó por Computador es el Recoocmeto de Patroes, que cosste e clasfcar objetos represetados e mágees a partr de formacó extraída de éstas. A pesar de su mportaca (es dspesable para que los ordeadores eteda las mágees) y de los esfuerzos vertdos e su desarrollo, s embargo, aú preseta desafíos. La causa de ello radca e la gra varabldad que muestra el aspecto de los objetos por cambos e el puto de vsta, e la escala, cambos de lumacó, de color, etc; de etre ellos, destaca los prmeros, los llamados efectos de perspectva, por la dfcultad que etraña, y so de los que os vamos a ocupar e este Proyecto. Geométrcamete, las deformacoes que sufre las fguras por cambos e el puto de vsta se descrbe medate trasformacoes proyectvas, de las cuales e Recoocmeto de Patroes se ha empleado fudametalmete las homografías, e partcular las afdades cuado la dstaca de la fgura a la cámara es mucho mayor que el tamaño de la fgura. El problema es que la teoría de homografías (y la de afdades, pues es u caso partcular) sólo se puede aplcar e la clasfcacó de fguras cotedas e plaos. Etoces, qué hacer s las fguras está cludas e superfces bdmesoales, pero o plaas? E la lteratura, el recoocmeto y clasfcacó de fguras bdmesoales se resuelve medate la técca del mage warpg, que cosste e recostrur las superfces bdmesoales que cotee a las fguras. Auque exste dversas téccas para hacer esta recostruccó [3] [09] [69] [6], todas ellas costa de dos fases: ) se detfca ua sere de putos homólogos e las mágees ) a partr de éstos se costruye ua superfce que cumple algú crtero de optmzacó. La superfce se puede represetar por el producto tesoral de B-sples [3], NURBS [6], etc. E geeral, estos métodos sólo fucoa be cuado las mágees preseta perspectva afí, lo cual es ua lmtacó; úcamete, el método Schwarps [7] cosdera proyectvdades geerales, pero la superfce se obtee resolvedo u sstema de ecuacoes dferecales parcales D, lo que requere dspoer de bastate formacó local bdmesoal de las mágees. Supogamos, y éste es el objeto del Proyecto, que se dspoe de u cojuto de curvas, las cuales represeta los cotoros de uas fguras dbujadas e uas superfces plaas oretadas aleatoramete; a cotuacó, estas superfces se deforma s rasgaduras, també de forma aleatora; lo úco que se exge es que al fal las fguras o presete oclusoes al proyectarse e el plao de proyeccó. La clasfcacó de estas curvas es u problema de clasfcacó proyectvo-varate, pero de la dscusó ateror se desprede que e la resolucó de este problema o es posble aplcar los métodos tradcoales. E este Proyecto sólo os ocuparemos de objetos bdmesoales, que a partr de ahora deomaremos fguras. ' Las homografías 3D cosste e proyectar sobre u plao β las fguras plaas cotedas e otro ' plao β ; hacedo abstraccó de β y β, es decr, detfcado ambos plaos co u plao geérco, se puede cosderar a las homografías ua trasformacó D. 8

11 La solucó aportada e este Proyecto cosste e combar u detector de putos domates de los cotoros de las fguras co ua red euroal de varable compleja que tome como etradas dchos putos y clasfque las fguras. La razó de la eleccó de ua red euroal de varable compleja y o ua real, que es lo usual, se debe a la mayor capacdad fucoal de las prmeras. Problemas que resuelve fáclmete las redes de varable compleja o puede ser resueltos por sus homólogas reales. E la prmera parte del Proyecto se descrbe las redes euroales de varable compleja, co sus partculardades y problemas, y se detalla u algortmo de retropropagacó complejo para su etreameto. Los putos domates de ua curva so aquellos co u valor de curvatura elevado. Estos putos tee mucha mportaca e vsó por computador, pues se demuestra que so los que capta la atecó y permte, e gra medda, recoocer las fguras. El problema es que su cálculo requere hacer dervadas, y esto sempre es complcado cuado se trabaja co mágees. Por lo tato, e este Proyecto para obteerlos se ha escogdo u método desarrollado por D Ruberto y Morgera [35] [36] [37] [98], que es smple y o requere dervar. El Proyecto se dvde báscamete e dos partes: la prmera, que abarca los tres prmeros capítulos, se dedca al estudo de las redes euroales, e cocreto de los perceptroes, tato e la versó real como e la compleja; la seguda parte, formada por los dos últmos capítulos, versa sobre las trasformacoes proyectvas y la aplcacó de las redes euroales de varable compleja e problemas de recoocmeto de patroes proyectvo-varates. Al fal del Proyecto se ha cludo uos apédces que resume alguos coceptos ecesaros para segur los razoametos del Proyecto. A cotuacó, ua descrpcó más detallada de la orgazacó del Proyecto: Capítulo uo. Se preseta brevemete los prcpales htos e el desarrollo de las redes euroales. Capítulo dos. Se repasa los coceptos prcpales de los perceptroes multcapa de varable real. Capítulo tres. El capítulo se dvde e cuatro partes: ) se estuda la problemátca asocada a las redes euroales de varable compleja, ) se desarrolla el algortmo de retropropagacó complejo orgalmete presetado por Ntta para etrear al perceptró multcapa de varable compleja, 3) se aalza la adcó de u térmo mometo al algortmo de retropropagacó co la f de acelerar su covergeca 4) se demuestra que las froteras de decsó de los perceptroes de varable compleja so ortogoales, lo cual explca la mayor capacdad fucoal que tee estos perceptroes e comparacó co sus homólogos reales.. Capítulo cuatro. Se estuda las trasformacoes proyectvas, tato las afdades como las homografías, así como los varates correspodetes a cada uo. U supuesto esecal de las homografías es que las fguras 9

12 proyectadas sea plaas; s este o es el caso estamos ate ua proyectvdad geeral. La últma parte del Capítulo trata brevemete de este tema. Capítulo 5. Se descrbe los putos domates y cómo combarlos co u perceptró de varable compleja para resolver dversos problemas de proyectvdades. Apédce uo. Recopla ua sere de expresoes útles para el trabajo co las fucoes de actvacó de las euroas. Apédce dos. Se hace u breve resume de los coceptos de la Teoría matemátca de la Probabldad ecesaros para segur las argumetacoes del Proyecto. Apédce tres. Se hace u breve resume de los coceptos de la Teoría de la Iformacó ecesaros para segur las argumetacoes del Proyecto. Apédce cuatro. Se explca muy brevemete el fudameto del Cálculo de Wrtger. Apédce cco. Se desarrolla el cálculo de la logtud de arco de curva y de la curvatura varates a trasformacoes afes. 0

13 . Itroduccó hstórca a las redes euroales Las redes euroales artfcales so sstemas computacoales sprados e las redes euroales bológcas, dseñados co el f de emular la capacdad que tee el cerebro de resolver certas tareas complejas, deomadas del mudo real, e las que la formacó que se procesa es masva, dstorsoada e mprecsa [90], y para las cuales o resulta adecuados los paradgmas tradcoales de la telgeca artfcal, basados e el tádem lógca booleaa-máqua de Vo Neuma [90]. U ejemplo típco de esta clase de problemas es el recoocmeto de patroes. Las redes euroales, las redes bayesaas, los algortmos evolutvos, la lógca fuzzy,... so téccas de procesameto de formacó que se egloba bajo el ombre de Soft Computg [90 ][06 ]. La teoría de las redes euroales artfcales comeza e 943 co la publcacó del artículo A logcal calculus of the deas mmaet euros actvty [93], e el que McCulloch y Ptts preseta el prmer modelo matemátco de la actvdad de ua euroa aslada, así como u estudo de sus capacdades computacoales. Las euroas de McCulloch y Ptts tee las sguetes característcas [0]: ) So udades procesadoras bestado (actvo o actvo); las sapss que las coecta també so bestado (exctado o hbdo). ) Para que ua euroa se actve e u state t es ecesaro que prevamete, durate u tervalo temporal fjo deomado tempo de lateca, se cumpla smultáeamete dos codcoes: Se excte sapss de la euroa, sedo u úmero fjo que o depede de la actvdad preva de la euroa de su poscó e la red. No se hba gua sapss; e caso cotraro, la actvacó de la euroa sería eutralzada. 3) Los pesos de la euroa so fjos. 4) La exctacó de las sapss colleva u certo retardo, deomado retardo sáptco. 5) Los datos de etrada a la euroa se expresa e u alfabeto {0,}.

14 E la fgura se muestra u esquema smplfcado de la euroa de McCulloch-Ptts: Fgura.. La euroa de McCulloch-Ptts (los pesos so fjos) Lo verdaderamete teresate de este modelo de euroa es que su característca todo o ada le permte actuar como ua calculadora lógca, es decr, represetar cualquer expresó proposcoal fta. Por lo tato, e prcpo es posble costrur cualquer crcuto lógco (cluso u ordeador) combado estas euroas [48]. El artículo de McCulloch y Ptts tuvo gra flueca e el desarrollo posteror de las redes euroales, e cluso de los ordeadores basados e el paradgma de Vo Neuma; o obstate, es ecesaro señalar que, desde el coocmeto actual que se tee de la fsología de las euroas, el modelo que platea es erróeo. Por otro lado, ua red euroal compuesta de euroas de McCulloch y Ptts tee u campo de aplcacó estrecho debdo a la aturaleza bara de sus euroas y al valor costate de los pesos. No obstate, este modelo supuso u prmer paso decsvo. Durate los quce años sguetes a la publcacó del artículo orgal de McCulloch y Ptts fuero aparecedo uevos coceptos y desarrollos que erquecero la teoría de redes euroales artfcales 3. Uo de los más mportates fue la troduccó e 949 de la regla de Hebb, presetada como ua hpótess del fucoameto de las sapss (las sapss que fucoa segú la regla de Hebb se deoma hebbaas) por el pscólogo caadese Doald Hebb e su lbro The orgazato of behavour [6], a partr de los datos de la fsología del cerebro dspobles e su época. Hebb establece que la trasmsó de formacó etre dos euroas udas por ua sapss (trasmsó sáptca) tee dos característcas fudametales [59]: ) depede de la scroía e la actvacó de dchas euroas, ) depede de la accó cojuta de ambas euroas. Por lo tato, la trasmsó de formacó sáptca es u feómeo local, pues requere cotgüdad espaco-temporal e la actvdad de las euroas mplcadas e la trasmsó, y es u mecasmo que precsa de ua correlacó estadístca postva etre las actvacoes de las euroas presáptcas y postsáptcas. [ 59] preseta ua versó actualzada de la regla de Hebb: La fuerza de ua sapss que coecta dos euroas se cremeta s éstas se actva smultáeamete. 3 Todas las redes euroales dscutdas e el Proyecto so artfcales, por lo tato a partr de ahora se va a prescdr de este adjetvo al ombrarlas, s que de lugar a cofusó.

15 E cambo, s las euroas se actva de forma asícroa, la fuerza de la sapss se deblta o aula (este puto o estaba e la versó orgal de la regla). Auque la regla de Hebb ace del estudo de la fsología del cerebro, e el fodo euca ua observacó de setdo comú: feómeos correlacoados postvamete está efectvamete relacoados etre s (obvamete, o se cosdera las correlacoes espuras). La mportaca de esta regla es que establece u mecasmo para modfcar la fuerza de las sapss; es decr, para modfcar lo que e la teoría actual de redes euroales so los pesos de la red (recordemos que e el modelo de McCulloch y Ptts los pesos era fjos). Basádose e este prcpo, a lo largo de los años ccueta dversos vestgadores fuero desarrollado uevos modelos de redes euroales. Por ejemplo, Uttley demostró e 956 que ua red euroal co sapss varables podía apreder a hacer clasfcacoes baras [30]. El sguete hto e la evolucó de las redes euroales lo costtuyó el Perceptró, desarrollado por Frak Rosseblatt e 957 e el Laboratoro Aeroáutco de Corell [6]. El Perceptró orgal estaba formado por tres capas de euroas: ua capa de N euroas de etrada, las cuales recogía la formacó procedete de u cojuto de sesores deomado reta (que o formaba parte de la red), ua capa de M euroas de asocacó y ua capa de salda. La tarea mpuesta a la red era apreder ua relacó bara { } { } N d :,, ( ) a partr de u cojuto de pares de ejemplos x, d( x ) p p E la versó orgal del Perceptró, la coectvdad etre la reta y la capa de etrada era determsta y o-adaptatva, y aleatora etre las restates capas. La sguete fgura muestra u esquema de esta red:. Fgura.. El Perceptró clásco de Rosseblatt El Perceptró de Rosseblatt fue smplfcado por Msky y Papert [94]. El fucoameto del uevo modelo se lustra e la fgura.3: u cojuto de sesores escaea dversas regoes de ua mage, y esta formacó se pasa a las fucoes 3

16 baras φ h, deomadas fucoes predcado (represetadas e la fgura por los paralepípedos); las saldas de estas fucoes se comba lealmete e la euroa Ω, y el resultado se toma como etrada de ua fucó bara Ψ, de cuya salda se fere s e la fgura hay ua certa forma geométrca (por ejemplo, ua X) o o. Fgura.3. El Perceptró smplfcado de Msky y Papert. La versó actual del Perceptró prescde de la reta, sus etradas puede tomar cualquer valor y los pesos o so fjos. Esquemátcamete: Fgura.4. El Perceptró (los pesos so varables) Podemos observar que el esquema del Perceptró es smlar al de la euroa de McCulloch y Ptt. La dfereca está e que e el perceptró los pesos puede varar, metras que e la euroa de McCulloch y Ptt o. El etreameto del Perceptró cosste e ajustar los pesos medate el sguete algortmo de apredzaje [78]:. Los pesos se calza co valores aleatoros. 4

17 . Se seleccoa u ejemplo de etrada x. 3. La red calcula ua salda y a partr de x. S y d( x) medate la expresó Δ wh = d( x) xh; s y = d( x) 4. Cotuar e. hasta que todos los ejemplos cumpla y = d( x) se modfca los pesos o se modfca los pesos. El respaldo teórco a la efcaca del Perceptró descasa e el Teorema de covergeca del perceptró, que se puede eucar [78]: * S exste u cojuto de pesos w que permte al perceptró represetar la trasformacó y = d( x), etoces, para cualquer eleccó cal de los pesos, la regla de apredzaje del perceptó coverge a ua solucó (que * puede ser gual o o a w ) e u úmero fto de pasos.. Desde el mometo de la publcacó del trabajo de Rosseblatt, y e muy breve tempo, umerosos vestgadores fuero presetado uevos modelos de redes euroales (Adale de Wdrow y Hoff [39] etreado medate Mea Least Square (LMS), Madale de Wdrow [38], etc) que resultaro teer éxto como fltros de señales, ecualzadores, etc, aparte de la vetaja de la secllez de su mplemetacó e crcutos aalógcos o VLSI. S embargo, el paorama favorable al paradgma euroal se vo freado a partr de 969, año e el que los vestgadores Marv Msky y Seymour Papert publcaro el lbro Perceptros [94], e el cual señalaba los problemas que teía los perceptroes para resolver tareas de clasfcacó que fuera más complejas que la smple clasfcacó leal: s los perceptroes era moocapa, era capaces de resolver u problema como el XOR exclusvo u operador de comparacó; s era multcapa, e teoría podía resolver este problema, pero e aquel mometo o se coocía u algortmo capaz de dstrbur el error (la dfereca etre la salda de la red asocada a u determado patró de etrada, y el correspodete patró de salda) etre los pesos de las dsttas capas durate la fase de etreameto, lo cual sgfcaba que e la práctca estas redes o se podía etrear. Auque alguos autores afrma que la flueca efasta de dcho estudo es realmete u mto ([0] cosdera que el freo al desarrollo de las redes euroales debe atrburse o tato al ctado estudo como a la competeca de otras téccas de la telgeca artfcal que e aquella época resultaro más atractvas, así como al aumeto de la poteca de los computadores dgtales), lo certo es que el paradgma euroal estuvo codeado al ostracsmo durate todos los años seteta. Posblemete, lo más reseñable realzado e esta época sea el trabajo realzado por alguos vestgadores co las redes auto-orgazadas de etreameto compettvo [3] [40]. S embargo, esta stuacó de estacameto varó a partr de los años ocheta. A cotuacó se expoe brevemete alguos de los avaces más sgfcatvos que se ha dado desde etoces e el campo de las Redes Neuroales so [59]: 5

18 E 980 Fukushma preseta el Neocogtró [46], ua red de apredzaje o supervsado capaz de clasfcar objetos e mágees. Esta red se auto-orgaza e u sstema jerárquco de capas. E 980 Grossberg descubre u uevo prcpo de auto-orgazacó deomado Adaptve Resoace Theory (ART) [53]. Hopfeld descubre e 98 el paralelsmo exstete etre las Redes Neuroales Recurretes co sapss smétrcas y el modelo de Isg de la físca estadístca [68]. Las redes de Hopfeld so u ejemplo de redes dámcamete estables que puede almacear formacó. E 98 Kohoe preseta las redes que lleva su ombre, e las cuales la formacó se represeta e forma de mapas bdmesoales de característcas [76]. E 983 Barto, Sutto y Aderso publca u mportate artículo sobre Apredzaje por Refuerzo (Reforcemet Learg) [8], que es u tpo de autoapredzaje (por lo tato, o cofudr co el Apredzaje Supervsado) e el que los agetes toma decsoes racoales co el f de maxmzar ua recompesa acumulable proporcoada por el etoro. E 986 Rumelhart, Hto y Wllams publca su famoso trabajo sobre el algortmo Back-Propagato de etreameto de perceptroes multcapa [4][5]. Este algortmo resuelve el problema señalado e el lbro de Msky y Papert. Es el algortmo de etreameto más amplamete utlzado para etrear a los perceptroes multcapa. E 988 Broomhead y Lowe descrbe las Redes de Base Radal (Radal Bass Fuctos, RBF) [5], que costtuye ua alteratva a los perceptroes multcapa. Auque el prmer artículo que mecoa el uso combado de lógca fuzzy y redes euroales fue escrto por los hermaos Lee e 974 [8], es durate los años ocheta que la uó de ambas téccas cobra mportaca. La fusó de las redes euroales y la lógca fuzzy se puede llevar a cabo de dos formas [06]: ) reemplazado los valores escalares de la redes euroales tradcoales por regoes fuzzy (Fuzzy-Neural Network, FNN), ) potecado algua de las característcas de u sstema fuzzy (velocdad, flexbldad, etc) medate la ayuda de ua red euroal auxlar, actuado ambas téccas por separado, pero de forma colaboratva, e dsttas partes del msmo problema (Neural-Fuzzy System, NFS). Basádose e que las reglas de la lógca fuzzy so dferecables [07], e 988 Paul Verbos aplcó por prmera vez el algortmo de backpropagato e ua FNN [35]. Desde etoces, e la lteratura es posble ecotrar ua gete catdad de ejemplos de la combacó de ambos paradgmas. E 990 se preseta las Máquas de Soporte Vectoral (Support Vector Maches) [4], de gra utldad e recoocmeto de patroes. 6

19 La dea de etrear las redes euroales hacedo uso de algortmos geétcos aparece ya e 975 e el lbro Adaptato atural ad artfcal systems de Joh H. Hollad [67]; o obstate, o es hasta los años oveta que la combacó de ambas téccas adquere relevaca. E 989 Motaa y Davs auca que ha logrado etrear ua red euroal medate algortmos geétcos [96], y señala que el procedmeto ha dado resultados aú mejores que co u etreameto backpropagato. U detalle mportate es que las téccas de algortmos geétcos o fucoa be para optmzar los pesos (este problema se ecuetra e la lteratura bajo el ombre de Competg Covectos Problem [] [96], o Permutatos problem []); por lo tato, es e la evolucó de la topología de la red dode los algortmos geétcos demuestra su poder [37]. A partr de los años oveta se adverte e la lteratura u fuerte crecmeto del úmero de aplcacoes que comba las redes euroales co la lógca dfusa y los algortmos evolutvos (algortmos geétcos [75], programacó geétca [45], algortmos de ejambre [39], etc). E la lteratura, a este cojuto de téccas computacoales se les egloba bajo el ombre de Itelgeca Computacoal (Computacoal Itellgece) [06]. Los prmeros estudos referetes a Redes Neuroales de Varable Compleja fuero realzados por vestgadores rusos durate los años 70 y 80, pero fuero publcados e ruso y tuvero poca repercusó teracoal [5]. S embargo, a partr de los años oveta el estudo de las redes euroales de varable compleja comeza a crecer de forma mportate. E [5] se puede ecotrar u breve resume de la evolucó de este campo de estudo:. E 97, Azeberg, Ivaskv y Pospelov descrbe por prmera vez ua fucó de actvacó compleja [6].. E 99 y 99, H.Leug y S. Hayk [8], G. Georgou y C. Koutsougeras [50], preseta de maera depedete u algortmo de retropropagacó de ua red euroal co pesos y fucoes de actvacó complejos. Estos autores demuestra que su algortmo coverge mejor que la versó real. 3. E 99, Akra Hrose descrbe las Redes Neuroales Totalmete Complejas (Fully-Complex Neural Networks) [66] y el Algortmo de Retropropagacó Complejo (Complex Back-Propagato Algorthm) [64]. 4. Tohru Ntta preseta e 997 u uevo algortmo de retropropagacó complejo [0]. Es el prmer vestgador e ocuparse de las euroas cuateró [00]. 5. Smoe Fore extede e 003 y 005 el cocepto de Apredzaje Hebbao a las redes euroales de varable compleja [4] [43]. 6. S. Buchholz y G. Sommer preseta e 008 u estudo de la computacó euroal basada e las álgebras de Clfford (que so geeralzacoes de los campos complejo y cuateró) [7]. 7

20 7. Alguos autores ha cetrado sus vestgacoes e las aplcacoes de las redes euroales de varable compleja. Por ejemplo, Goh y Madc ha realzado cotrbucoes al estudo del uso de estas redes como fltros de señales [5], y Md. F. Am et al. las ha empleado para resolver problemas de clasfcacó [] [3]. 8

21 . El perceptró multcapa de varable real.. Defcó de euroa y red euroal. La modera teoría del perceptró multcapa ace co la terpretacó que Msky y Papert hace del perceptró de Rosseblatt. U perceptró multcapa es u tpo partcular de red euroal; es ecesaro, por lo tato, comezar co la Teoría de las Redes Neuroales. A cotuacó, se formalza el cocepto de euroa [30]: Defcó. Neuroa o Udad Procesadora Ua euroa o udad procesadora, sobre u cojuto de odos N, es ua trpleta ( X, f, Y ), dode X es u subcojuto de N, Y es u odo de N y f : es ua fucó euroal (també llamada fucó de actvacó) que calcula u valor de salda para Y basado e los valores de los compoetes de X: dode h( { x; x X} ) ( ({ ; })) Y = f h x x X es ua fucó de los valores de las compoetes de X y se deoma actvdad de la euroa. X, Y y f so el cojuto de odos de etrada, de salda y la fucó euroal de la euroa, respectvamete. Depededo de la aturaleza de la fucó h se dstgue dsttos tpos de modelos euroales. El más típco (es el que se va a utlzar e el resto del trabajo) es el modelo adtvo, correspodete a: ({ ; }) h= h x x X = wx + θ x X dode w es u peso o factor multplcador que se aplca a la varable de etrada x y θ es u valor umbral, que puede terpretarse como el peso correspodete a u odo auxlar cuyo valor sempre es. E el modelo adtvo, h se deoma actvdad leal de la euroa. Los modelos adtvos so adecuados para represetar y clasfcar cojutos de datos que cumple: a) sus varables represetatvas (varables de etrada al modelo) o teraccoa etre ellas b) los bordes de decsó o so cócavos c) o exste regoes de decsó coexas. 9

22 S algua de las codcoes aterores o se cumple, el modelo adtvo o es capaz de clasfcar los datos. Por ejemplo, e [9] aparece u ejemplo secllo co dos regoes de decsó coexas: Se cosdera ua partcó de e los cojutos R y R, tal como se muestra e la Fgura.. Ua fucó dscrmate leal o puede crear ua frotera que srva como crtero para decdr s u puto de perteece a uo u otro cojuto; e cambo, al proyectar el domo del problema e, ua fucó cuadrátca de la forma f ( x) = wx + wx + w0 puede costtur ua frotera plausble al elegr adecuadamete los pesos w 0, w y w : Fgura. Ejemplo de fucó cuadrátca que dvde la recta real e dos regoes R y R El crtero de decsó será: x : x R f ( x) >. 0 E realdad, e casos como el del ejemplo, o es ecesaro acudr a u espaco de etrada de mayor dmesó s e vez de modelos adtvos se usa multplcatvos. El modelo multplcatvo más secllo tee la expresó: m h= wm + θ = dode cada uo de los M es u moomo de la forma: M = x x x k d d... dk sedo d, d,, d k eteros o egatvos (a d + d dk se le deoma orde del moomo). Por lo tato: m = k dk k h= w x + θ 0

23 Ua euroa cuya actvdad respode a la expresó ateror se deoma udad sgma-p. El modelo multplcatvo permte costrur polomos de varas varables de la forma: P= w + wx + w xx + w xx x k k k k k k j j jl j l = = j= = j= l= medate redes euroales. A partr de la defcó formal de euroa se obtee la defcó formal de red euroal [30]: Defcó. Red euroal artfcal Ua red euroal artfcal (RNA) es u par ( NU, ), dode N es u cojuto de odos y U u cojuto de udades procesadoras sobre N, que satsface la sguete codcó: cada odo X N tee que ser u odo de etrada o de salda de al meos ua udad procesadora de U. E la Fgura. [30] se muestra u ejemplo de red euroal de ocho odos {,..., } cco udades procesadoras: ({,, },,{ }) ({,, },,{ }) ({,, },,{ }) ({,, },,{ }) {,, },,{ } U = x x x f x 3 4 U = x x x f x 3 5 U = x x x f x U = x x x f x ( ) U = x x x f x x x y 8 Fgura.. Ua red euroal artfcal de ocho odos

24 E resume, ua red euroal es u cojuto de udades procesadoras, deomadas euroas, que tercamba formacó etre ellas medate uas coexoes drgdas co pesos; e cada euroa, la formacó procedete de otras euroas se comba, dado lugar a la actvdad (modelo adtvo, modelo sgma-p,...), la cual, a su vez, es trasformada por la fucó de actvacó f, geerádose así la salda.. Fucoes de actvacó. Las redes euroales puede emplear dversas famlas de fucoes como fucoes de actvacó. Los tpos más usuales so: Fucoes leales, que tee la expresó: c ( ) f x = cx x Fucoes escaló. So fucoes baras, cuya salda depede de s el valor de etrada supera o o u determado valor umbral. Las más típcas so: a) La fucó sgo: sg ( x) x < 0 = x 0 x b) La fucó escaló: 0 x < 0 Θ ( x) = x 0 x Las fucoes sgmodales. So fucoes moótoas acotadas o leales. Las más mportates so: a) La fucó logístca (o fucó de Ferm): f c ( x) = cx e x + b) La fucó tagete hperbólca: e f ( x) = tah ( cx) = e cx e + e cx c cx cx x Se cumple (demostracó e Apédce ): cx y = = cx tah e + +

25 A la hora de mplemetar e u ordeador ua red euroal es coveete usar el sguete desarrollo smplfcado de tah ( cx ): f c = cx + e ( x) pues sólo requere evaluar ua expoecal frete a las cuatro de la expresó orgal. Esto proporcoa ahorro computacoal, ya que el cálculo de la expoecal de las lbrerías matemátcas usuales es leto []. E Matlab este desarrollo de tah ( cx ) se deoma ta sg ( cx ). E el Apédce se demuestra que la expresó orgal de tah (cx) y la smplfcada so equvaletes. Como se verá más adelate, e el etreameto de la red euroal por el método de retropropagacó (backpropagato) tee mucha mportaca la dervada de la fucó de actvacó. Por ello, resulta útl dspoer de ua lsta co las dervadas de aquellas fucoes de actvacó mecoadas más arrba que sea dervables: a) Fucó leal: b) Fucó logístca ' c ( ) c) Fucó tagete hperbólca f x = c x ( ) ( )( ( )) f x = cf x f x x ' c c c ( c ) ( ) ( ) f ' x c f x c = x (La demostracó de estas expresoes está e el Apédce ).3. El perceptró multcapa. U perceptró multcapa es u tpo partcular de red euroal que: ) tee sus euroas dstrbudas e capas, ) todas sus coexoes so haca delate, 3) todas las euroas de ua capa se coecta co las euroas de la capa sguete. Las capas se clasfca así: Capa de etrada: formada por aquellas euroas que recbe formacó del exteror de la red. Capa de salda: compuesta por las euroas cuyas saldas so evadas al exteror de la red. 3

26 Capa termeda u oculta: formada por euroas cuyas etradas procede de euroas de la red y sus saldas permaece detro de la red (so etradas de otras euroas). El perceptró multcapa está costtudo por ua capa de etrada, ua capa de salda y u certo úmero de capas ocultas. E el recueto del úmero de capas o se tee e cueta la de etrada. Por ejemplo, u perceptró de ua capa está costtudo por las capas de etrada y salda; u perceptró de dos capas costa de la capa de etrada, de la capa oculta y ua capa de salda. Las coexoes de los perceptroes so del tpo coexoes haca delate (las redes euroales que cumple esto se deoma redes feedforward), es decr, las euroas de ua capa se coecta co euroas de la capa sguete. Además, e u perceptró todas las euroas de ua capa se coecta co todas las euroas de la capa sguete. E geeral, las redes euroales puede teer otros tpos de coexoes: laterales, o coexoes etre euroas de la msma capa; recurretes o haca atrás, e los que las euroas de ua capa se coecta co euroas de capas precedetes. També exste redes e las que las euroas de ua capa o está coectadas co todas las euroas de la capa sguete. La red euroal de la fgura Fgura. es u perceptró de dos capas..4 El apredzaje de las redes euroales. Las redes euroales so especalmete hábles e represetar o modelar sstemas, problemas, etc. (e geeral, etoros) a partr de los datos que geera éstos. Teedo e cueta que, segú la Teoría del Apredzaje Automátco, el coocmeto es sómo de represetacó, etoces las redes euroales se puede cosderar sstemas capaces de extraer coocmeto de su etoro. El apredzaje de la red es el proceso medate el cual adquere dcho coocmeto. Exste dos grades categorías de apredzaje: supervsado y o supervsado. El prmero usa parejas de datos como patroes de apredzaje: a cada dato de etrada le acompaña su correspodete dato de salda, y el objetvo del apredzaje es obteer u mapeo etre los domos de etrada y salda; e el segudo caso, úcamete hay patroes de etrada (exste u tercer tpo de apredzaje, híbrdo de los dos aterores, que emplea tato formacó supervsada como o-supervsada, y se deoma apredzaje sem-supervsado). El apredzaje supervsado se subdvde, a su vez, e dos tpos: clasfcacó, s el recorrdo del mapeo es fto (a los elemetos del recorrdo se les llama etquetas de clase), y regresó, s el recorrdo es fto. Las redes euroales más usuales (los perceptroes etre ellos) emplea el apredzaje supervsado: a partr de parejas de datos, y medate u proceso teratvo de ajuste de los pesos, se mmza ua fucó de error que mde la dfereca de valor etre los patroes de salda y las correspodetes saldas calculadas por la red utlzado los patroes de etrada. Ua vez falzado el apredzaje, la red guarda su coocmeto del etoro codfcado e el valor de los pesos. La fucó de error se ha de escoger segú el tpo de aplcacó que se vaya a dar a la red. Alguas de las fucoes de error más comues so [30]: 4

27 La suma de los cuadrados de los errores (Sum of the Square Errors, SSE), defda por: r b p p= bp dode r es el úmero de patroes de valdacó, b p es el vector salda p-ésmo calculado por la red a partr del vector de etrada a p, y b p es el patró salda p- ésmo. La raíz cuadrada de la suma de los cuadrados de los errores (Root Square Error, RSE): r b p p= b p La raíz cuadrada del error cuadrátco medo (Root Mea Square Error, RMSE): r b p p= b r p El error máxmo: max bp bp p=,...,r Las redes euroales també se puede etrear medate apredzaje o supervsado, del cual exste varos tpos (apredzaje hebbao, compettvo, feature mappg, etc). Por ctar u caso, los mapas auto-orgazados de Kohoe usa apredzaje compettvo. Otra posbldad es etrear a las redes euroales medate combacoes mxtas de apredzaje supervsado-o supervsado, como es el apredzaje híbrdo (la red usa los dos tpos de apredzaje, pero e capas dsttas) y el apredzaje reforzado (basado e el cocepto de codcoameto por refuerzo: se refuerza los pesos que acerta las saldas, y se pealza los que falla; el objetvo es mmzar ua fucó de error global que mde el comportameto de la red). Por ejemplo, las redes de base radal usa apredzaje híbrdo. Ua vez que la red ha sdo etreada es ecesaro comprobar la bodad de su ajuste co el feómeo a modelar. Esta comprobacó se deoma test de geeralzacó, y se lleva a cabo co la red e fase de recuerdo o ejecucó (Nota: las redes euroales tee dos modos de operacó: modo apredzaje o etreameto, y modo recuerdo o ejecucó. El prmero es el que hemos descrto: la red usa el cojuto de patroes de apredzaje para evolucoar, ajustado sus pesos y/o estructura; e el modo recuerdo, la red, que ahora tee fjada su topología y los pesos, calcula las saldas a partr de los datos de etrada). Co el f de poder llevar a cabo el test de geeralzacó, lo usual es 5

28 que el cojuto de patroes dspobles para el apredzaje de la red se dvda e dos grupos: patroes de etreameto y patroes de prueba o geeralzacó. El cojuto de patroes de etreameto suele dvdrse, a su vez, e cojuto de etreameto propamete dcho y cojuto de valdacó, usado para ajustar el modelo. Esta forma de proceder se deoma valdacó cruzada (cross-valdato). Es muy mportate que el cojuto de prueba o cotega datos usados e la fase de etreameto (error coocdo como comprobacó sobre el cojuto de etreameto). Suele ser típco utlzar el 80% de los datos para etreameto y del 0% restate, usar ua mtad para valdar y el resto como test de geeralzacó (es u crtero oretatvo). U problema a evtar cuado se etrea la red, y que se hace patete durate la valdacó, es el feómeo del sobreajuste (overfttg): debdo a u apredzaje excesvamete adaptado a los patroes de etreameto, el rudo herete a éstos es corporado al modelo apreddo, que perde así geeraldad; e cosecueca, la red produce pobres resultados cuado se le sumstra datos dsttos a los usados para etrearla. Es decr, ua red sobreajustada modela los datos de apredzaje, pero o el feómeo que los geera. E las Fguras.4. a), b), c) y d) se lustra el problema del sobreajuste. E la fgura a) se muestra u ajuste perfecto a los datos de etreameto (putos egros); s embargo, e b) se hace patete que tal etreameto resultó e u sobreajuste, pues la red o se comporta muy be co los datos de valdacó (putos blacos); e c) se muestra el etreameto s sobreajuste; e d) se compara ambos etreametos. Fgura.3. Ilustracó del problema del sobreajuste Geeralmete, el sobreajuste está asocado a u exceso de parámetros (pesos, bas) de la red. Esto hace que sea preferbles las redes pequeñas a las grades, supuesto que ambas sea capaces de modelar el feómeo (Prcpo de parsmoa, també llamado Prcpo de la avaja de Occam: las solucoes más secllas tee el mejor desempeño). Además, s ua red es pequeña es más fácl de etrear. Es ecesaro 6

29 resaltar que alguos autores dscrepa de la utldad de este prcpo e el dseño de las redes euroales [33][5]. De todas formas, exste varos procedmetos para cosegur redes co el tamaño óptmo: téccas de poda (se parte de ua red euroal de tamaño cosderable y se elma euroas, coexoes o capas hasta lograr ua red de meor tamaño y desempeño satsfactoro), téccas de crecmeto (justo lo cotraro: se parte de ua red muy pequeña y se va añadedo euroas, coexoes y capas hasta lograr el tamaño óptmo), etc. El etreameto bayesao ormalmete mmza el problema de sobreajuste [89]. Lo cotraro del sobreajuste es el problema de bajoajuste, que cosste e que la red costruye u modelo erróeo a partr de los patroes de etreameto por algua de estas razoes:. El úmero de euroas, coexoes o capas es feror al que se ecesta para modelar el feómeo del que procede los datos.. El úmero de teracoes empleadas e el etreameto es feror al requerdo para que el error sea sufcetemete pequeño. El prmer puto poe de mafesto la ecesdad que tee las redes euroales de u certo grado de complejdad para que su apredzaje resulte satsfactoro. E realdad, cualquer sstema de apredzaje precsa de u equlbro óptmo etre complejdad, ecesara para que el sstema dspoga de ua adecuada capacdad de adaptacó a los datos (de lo cotraro, daría lugar a bajoajuste), y smplcdad (s o, habría sobreajuste). Se requere, etoces, dspoer de u crtero práctco de complejdad; e teoría de apredzaje automátco se utlza co este f la dmesó de Vapk-Chervoeks f x, Θ, dode (VC), que mde la capacdad de ua determada famla de fucoes ( ) f represeta a la famla y Θ el cojuto de parámetros, de realzar partcoes baras (esto es, clasfcacoes baras) e el espaco de las varables de etrada. Se defe del sguete modo: dada la famla f ( x, Θ ), la dmesó VC es el cardal del mayor cojuto de datos para el cual toda partcó bara (dcotomía) es represetable por algua de las fucoes de f ( x, Θ ). U ejemplo secllo e [48]: supogamos f x, Θ = w + wx + w x Θ= w, w, w (es decr, el cojuto de la famla ( ) 0, co ( ) 0 rectas de ); como se adverte e la Fg..5., para u cojuto de datos de cardal =3 es posble represetar todas las dcotomías medate rectas: Fgura.4. Dcotomías separables medate rectas 7

30 S embargo, s =4 la sguete dcotomía o se puede represetar por ua recta: Fgura.5. Ua dcotomía o separable medate rectas Por lo tato, la dmesó VC de f ( x Θ ) = w0 + wx + wx, e es 3. (Nota: la defcó de dmesó VC se fudameta e clasfcacoes baras, pero exste extesoes de este cocepto para clasfcacoes -aras [] [3]). Observemos que cuato mayor es la dmesó VC de ua famla de fucoes, mayor es su capacdad de represetar clasfcacoes. Ua red euroal puede terpretarse como ua famla de fucoes, cada ua de las cuales realza u mapeo etre el espaco de las varables de etrada y el de saldas (los pesos de la red costtuye los parámetros de dcha famla). Por lo tato, la dmesó VC es aplcable a las redes euroales. Mactyre y Sotag demostraro que las redes euroales feedforward ftas co fucoes de actvacó sgmodales teía ua dmesó VC fta [88]. La capacdad clasfcatora de la red crece al aumetar el úmero de pesos (se suele decr que la red tee mayor expresvdad ). Se demuestra que la dmesó VC de ua red euroal feedforward co fucoes de actvacó sgmodales y W pesos tee u orde de crecmeto O lmtado superormete por 4 ( ) OW [7]. Se puede ecotrar formacó sobre estos temas e [87]. La combacó óptma etre el ajuste de la red a los datos de etreameto y su poder de geeralzacó se mde medate el resgo esperado, que se defe de la sguete forma [08]: supogamos que la red etreada f ( x, ζ ) represeta u mapeo etre X Z, el resgo esperado es R z f x dp x z ( X, Z) ( ζ ) = (, ζ ) (, ) co P la fucó de probabldad cojuta etre x y z. S exste ua fucó de desdad cojuta etre x y z, la expresó ateror queda: R( ζ ) = z f ( x, ζ ) p ( x, z ) dx, dz ( X, Z) 8

31 El resgo esperado mde la bodad del etreameto de la red: cuato más pequeño sea p x, z o es coocda, y o podemos R mejor etreada estará la red. Geeralmete ( ) calcular R ( ζ ). S embargo, exste la sguete cota que se cumple co probabldad ρ (0 ρ ): dode R ( ζ ) R ( ζ ) + emp N ρ h log + log h 4 N N R ζ se deoma resgo empírco: Remp ( ζ ) = z f ( x, ζ ) ( ) emp úmero de patroes de etreameto. h es la dmesó VC (se cumple N > h) N =, co N A la parte derecha de la desgualdad se le llama cota del resgo, y al segudo térmo de la cota del resgo se le llama cofaza de VC. La cota del resgo es p xz,. depedete de ( ) Lo que teresa al etrear ua red euroal (e geeral, ua máqua de apredzaje) es obteer ua cota de resgo co el meor valor posble; el problema es que la cota de resgo depede de h y o es posble calcularla e la mayoría de las ocasoes (excepto e el caso de los modelos leales, e los que se basa la teoría de las Máquas de Soporte Vectoral). Por lo tato, lo úco posble es hacer aálss empírcos co las redes euroales, e tetar extraer alguas coclusoes práctcas. Por ejemplo, MacKay [89] estuda las fucoes represetadas por perceptroes aleatoros de dos capas (la capa oculta y la capa de salda) co ua euroa de etrada y otra de salda. E la fgura sguete vemos u esquema de la red euroal: Fgura.6. U perceptró multcapa que costa de ua sola euroa de etrada y ua sola euroa de salda Los pesos del perceptró capa oculta, y ( ) w { } j ( ) w { } lj l j {,..., H}, co H=úmero de euroas de la, y los bas θ ( ) y θ ( ) costtuye varables aleatoras j 9

32 gaussaas de meda 0; σ, y ( ) θ y ( ) ( ) w j tee σ 4 out θ j tee desvacó típca bas σ, ( ) w tee desvacó típca jl Claramete, la forma de estas fucoes depede de los valores de H, σ bas, σ y σ out. Por ejemplo, e la fgura Fgura..7. se muestra varas fucoes obtedas usado los valores H=400, σ bas = 8, 6, 4,3,,.6,., 0.8, 0.4, 0.3, 0., σ = 5σ bas y σ out = 0.05 (las abscsas represeta los valores de etrada a la red, y las ordeadas los de salda): Fgura.7. Fucoes represetadas por la red co H=400 y parámetros σ = 8,6,4,3,,.6,.,0.8,0.4,0.3,0., σ = 5σ y σ = 0.05 bas E geeral, estas fucoes tee ua forma típca: bas out Fgura.8. Propedades de ua fucó represetada por ua red euroal aleatora. 4 ( ) A lo largo de este trabajo, u peso w deota el peso de la sapss que ue la euroa l co la lj euroa j de la capa sguete. Otros autores usa otras otacoes, por ejemplo Mackay [89]. 30

33 Se observa: a) La escala vertcal de las fucoes, es decr, la dfereca etre sus valores mayor y meor, es Hσ. out b) La zoa de mayor varabldad de las fucoes tee ua proyeccó horzotal cuyo acho es del orde de σ bas σ, y la regó horzotal co meor varabldad tee u acho del orde de σ. c) Al aumetar σ bas, σ y σ out las fucoes se vuelve más complejas y sesbles a los datos de etrada. Neal [99] muestra que la estructura de estas fucoes o depede de H s éste este es sufcetemete grade; es decr, la complejdad de las fucoes o depede del úmero de parámetros, so de la magtud de éstos. Geeralmete, al trabajar co datos reales el úmero de parámetros es grade; resulta razoable, por lo tato, cotrolar la magtud de éstos para lmtar la complejdad de la fucó represetada por la red euroal e depedzarla del rudo herete a los datos (aumetar el poder de geeralzacó de la red). Ua forma de lograrlo es emplear u térmo de regularzacó e la fucó de error. E la lteratura sobre redes euroales a veces se cosdera que el tamaño óptmo de la capa oculta es H = k+, sedo k el úmero de euroas de la capa de etrada, basádose e u artículo de Hecht-Nelse [6]; s embargo, como se señala e [5], las fucoes de actvacó que emplea este autor e dcho trabajo so mucho más complejas que las sgmodales utlzadas ormalmete, de ahí que, e la práctca sea frecuete que el úmero de euroas ocultas ecesaras para etrear correctamete la red o cocda co dcho límte teórco. Así pues, por esta razó, lo más coveete al dseñar u perceptró suele ser prescdr de cuestoes teórcas y tomar como guía alguas cosderacoes justfcadas por la experceca; por ejemplo [9]: S H cocde co el úmero de patroes, la red tede aturalmete a hacer que cada euroa de la capa termeda se especalce e u patró, e vez de geeralzar. E cosecueca, se debe evtar que H cocda co el úmero de patroes. Alguos autores afrma que H debe ser como mímo el 75% del úmero de euroas de la capa de etrada. E la práctca se ha ecotrado que la arqutectura de red más efcaz e la mayor parte de los problemas es la que tee u úmero de euroas ocultas H que cumple: P P < H < N N 3

34 sedo P el úmero de patroes de etreameto. N el úmero de patroes de la capa de etrada..5 El algortmo de retropropagacó. El proceso de etreameto del perceptró cosste e obteer el vector de pesos w * que mmza la fucó de error E ( w ). La forma más usual de etrear el perceptró multcapa es medate el algortmo de retropropagacó (backpropagato), que es u método teratvo basado, a su vez, e el método del desceso del gradete (gradet descet). E eseca, el algortmo cosste e u desplazameto teratvo por el espaco de cofguracoes de los pesos, e la dreccó del gradete y e el setdo de su dsmucó [30]. El algortmo de retropropagacó se puede aplcar a cualesquera fucoes de error, sempre y cuado sea dervables. Cas todas la fucoes de error de terés práctco tee ua expresó E de la forma P = p p= ( ) E E w p sedo P el úmero de patroes y E ( w ) ua fucó de error que mde el comportameto de la red para el p-ésmo patró (e [3] se puede ecotrar ua p justfcacó de la forma de E). Lo más coveete es elegr las fucoes E segú el tpo de problema que se desea resolver co la red euroal. Por ejemplo, la fucó cuadrátca es la fucó de error más apropada s la red se emplea para hacer regresoes, y la fucó de etropía cruzada cuado se usa para clasfcar (al fal de este capítulo se demuestra estas afrmacoes). Exste dos modaldades del algortmo de retropropagacó: o-le y batch. E ambos casos, cada peso w jk (peso de la coexó etre la euroa k y la euroa j de la capa ateror) ve modfcado su valor proporcoalmete a la meos dervada de u error Err: Err γ w Δ wjk = jk La dfereca está e que e la versó o-le: Err = E. Por lo tato: Err E p =, y e la versó batch: p E Δ wjk = γ versó o-le w jk 3