2.3.1 Antecedentes. La regla de aprendizaje del Perceptrón de Rosenblatt y el

Transcripción

1 8.3 BACKPROPAGATION.3. Atecedete. La regla de apredizae del Perceptró de Reblatt y el algrit LMS de Widrw y Hff fuer dieñad para etrear rede de ua la capa. C e dicutió aterirete eta rede tiee la devetaa que ól puede relver prblea liealete eparable fue et l que llevó al urgiiet de la rede ulticapa para brepaar eta dificultad e la rede hata etce ccida. El prier algrit de etreaiet para rede ulticapa fue dearrllad pr Paul Werb e 974 éte e dearrlló e u ctext geeral para cualquier tip de rede ied la rede eurale ua aplicació epecial razó pr la cual el algrit fue aceptad detr de la cuidad de dearrlladre de rede eurale. Fue ól hata ediad de l añ 80 cuad el algrit Bacprpagati algrit de prpagació ivera fue redecubiert al i tiep pr vari ivetigadre David Ruelhart Geffrey Hit y Ral Willia David Parer y Ya Le Cu. El algrit e ppularizó cuad fue icluid e el libr Parallel Ditributed Prceig Grup pr l icólg David Ruelhart y Jae McClellad. La publicació de éte tra cig u auge e la ivetigacie c rede eurale ied la Bacprpagati ua de la rede á apliaete epleada au e uetr día. U de l grade avace lgrad c la Bacprpagati e que eta red aprvecha la aturaleza paralela de la rede eurale para reducir el tiep Cpyright 000 Uiveridad Teclógica de Pereira

2 8 requerid pr u prceadr ecuecial para deteriar la crrepdecia etre u patre dad. Adeá el tiep de dearrll de cualquier itea que e eté tratad de aalizar e puede reducir c cecuecia de que la red puede apreder el algrit crrect i que alguie tega que deducir pr aticipad el algrit e cuetió. La ayría de l itea actuale de cóput e ha dieñad para llevar a cab fucie ateática y lógica a ua velcidad que reulta abraete alta para el er hua. Si ebarg la detreza ateática e l que e eceita para luciar prblea de recciiet de patre e etr ruid caracterítica que iclu detr de u epaci de etrada relativaete pequeñ puede llegar a cuir uch tiep. El prblea e la aturaleza ecuecial del prpi cputadr; el cicl tar eecutar de la aturaleza V Neua ól perite que la áquia realice ua peració a la vez. E la ayría de l ca el tiep que eceita la áquia para llevar a cab cada itrucció e ta breve (típicaete ua illéia de egud) que el tiep eceari para u prgraa aí ea uy grade e iigificate para l uuari. Si ebarg para aquella aplicacie que deba explrar u gra epaci de etrada que iteta crrelaciar tda la perutacie pible de u cut de patre uy cple el tiep de cputació eceari e hace batate grade. L que e eceita e u uev itea de prceaiet que ea capaz de exaiar td l patre e paralel. Idealete ee itea tedría que Cpyright 000 Uiveridad Teclógica de Pereira

3 83 er prgraad explícitaete l que haría e adaptare a í i para apreder la relació etre u cut de patre dad c eepl y er capaz de aplicar la ia relació a uev patre de etrada. Ete itea debe etar e capacidad de ccetrare e la caracterítica de ua etrada arbitraria que e aeee a tr patre vit previaete i que igua eñal de ruid l afecte. Ete itea fue el gra aprte de la red de prpagació ivera Bacprpagati. La Bacprpagati e u tip de red de apredizae uperviad que eplea u cicl prpagació adaptació de d fae. Ua vez que e ha aplicad u patró a la etrada de la red c etíul éte e prpaga dede la priera capa a travé de la capa uperire de la red hata geerar ua alida. La eñal de alida e cpara c la alida deeada y e calcula ua eñal de errr para cada ua de la alida. La alida de errr e prpaga hacia atrá partied de la capa de alida hacia tda la eura de la capa culta que ctribuye directaete a la alida. Si ebarg la eura de la capa culta ól recibe ua fracció de la eñal ttal del errr baáde aprxiadaete e la ctribució relativa que haya aprtad cada eura a la alida rigial. Ete prce e repite capa pr capa hata que tda la eura de la red haya recibid ua eñal de errr que decriba u ctribució relativa al errr ttal. Baáde e la eñal de errr percibida e actualiza l pe de cexió de cada eura para hacer que la Cpyright 000 Uiveridad Teclógica de Pereira

4 84 red cvera hacia u etad que perita claificar crrectaete td l patre de etreaiet. La iprtacia de ete prce cite e que a edida que e etrea la red la eura de la capa iteredia e rgaiza a í ia de tal d que la ditita eura aprede a reccer ditita caracterítica del epaci ttal de etrada. Depué del etreaiet cuad e le preete u patró arbitrari de etrada que ctega ruid que eté icplet la eura de la capa culta de la red repderá c ua alida activa i la ueva etrada ctiee u patró que e aeee a aquella caracterítica que la eura idividuale haya apredid a reccer durate u etreaiet. Y a la ivera la uidade de la capa culta tiee ua tedecia a ihibir u alida i el patró de etrada ctiee la caracterítica para reccer para la cual ha id etreada. Varia ivetigacie ha detrad que durate el prce de etreaiet la red Bacprpagati tiede a dearrllar relacie itera etre eura c el fi de rgaizar l dat de etreaiet e clae. Eta tedecia e puede extraplar para llegar a la hipótei citete e que tda la uidade de la capa culta de ua Bacprpagati aciada de algua aera a caracterítica epecífica del patró de etrada c cecuecia del etreaiet. L que ea exactaete la aciació puede reultar evidete para el bervadr hua l iprtate e que la red ha ectrad ua repreetació itera que le perite geerar la alida deeada cuad e Cpyright 000 Uiveridad Teclógica de Pereira

5 85 le da la etrada e el prce de etreaiet. Eta ia repreetació itera e puede aplicar a etrada que la red haya vit ate y la red claificará eta etrada egú la caracterítica que cparta c l eepl de etreaiet..3. Etructura de la Red. La etructura típica de ua red ulticapa e berva e la figura.3. Figura.3. Red de tre capa Puede tare que eta red de tre capa equivale a teer tre rede tip Perceptró e cacada; la alida de la priera red e la etrada a la eguda y la alida de la eguda red e la etrada a la tercera. Cada capa puede teer diferete úer de eura e iclu ditita fució de traferecia. Cpyright 000 Uiveridad Teclógica de Pereira

6 86 E la figura.3. W repreeta la atriz de pe para la priera capa W l pe de la eguda y aí iilarete para tda la capa que icluya ua red. Para idetificar la etructura de ua red ulticapa e epleará ua tació abreviada dde el úer de etrada va eguid del úer de eura e cada capa: R : S : S : S 3 (.3.) Dde S repreeta el úer de eura y el expete repreeta la capa a la cual la eura crrepde. La tació de la figura.3. e batate clara cuad e deea ccer la etructura detallada de la red e idetificar cada ua de la cexie per cuad la red e uy grade el prce de cexió e tra uy cple y e batate útil utilizar el equea de la figura.3. Figura.3. Ntació cpacta de ua red de tre capa Cpyright 000 Uiveridad Teclógica de Pereira

7 Regla de Apredizae. El algrit Bacprpagati para rede ulticapa e ua geeralizació del algrit LMS ab algrit realiza u labr de actualizació de pe y gaacia c bae e el errr edi cuadrátic. La red Bacprpagati trabaa ba apredizae uperviad y pr tat eceita u et de etreaiet que le decriba cada alida y u valr de alida eperad de la iguiete fra: {p t } {p t }... {p Q t Q } (.3.) Dde p Q e ua etrada a la red y t Q e la crrepdiete alida deeada para el patró q-éi. El algrit debe autar l paráetr de la red para iiizar el errr edi cuadrátic. El etreaiet de ua red eural ulticapa e realiza ediate u prce de apredizae para realizar ete prce e debe iicialete teer defiida la tplgía de la red et e: úer de eura e la capa de etrada el cual depede del úer de cpete del vectr de etrada catidad de capa culta y úer de eura de cada ua de ella úer de eura e la capa de la alida el cual depede del úer de cpete del vectr de alida patre betiv y fucie de traferecia requerida e cada capa c bae e la tplgía ecgida e aiga valre iiciale a cada u de l paráetr que cfra la red. Cpyright 000 Uiveridad Teclógica de Pereira

8 88 E iprtate recalcar que exite ua técica para deteriar el úer de capa culta i el úer de eura que debe cteer cada ua de ella para u prblea epecífic eta elecció e deteriada pr la experiecia del dieñadr el cual debe cuplir c la liitacie de tip cputacial. Cada patró de etreaiet e prpaga a travé de la red y u paráetr para prducir ua repueta e la capa de alida la cual e cpara c l patre betiv alida deeada para calcular el errr e el apredizae ete errr arca el cai a adecuad para la actualizació de l pe y gaacia que al fial del etreaiet prducirá ua repueta atifactria a td l patre de etreaiet et e lgra iiizad el errr edi cuadrátic e cada iteració del prce de apredizae. La deducció ateática de ete prcediiet e realizará para ua red c ua capa de etrada ua capa culta y ua capa de alida y lueg e geeralizará para rede que tega á de ua capa culta. Figura.3.3 Dipició de ua red ecilla de 3 capa Cpyright 000 Uiveridad Teclógica de Pereira

9 89 E iprtate aclarar que e la figura.3.3 q: equivale al úer de cpete el vectr de etrada. : úer de eura de la capa culta l: úer de eura de la capa de alida Para iiciar el etreaiet e le preeta a la red u patró de etreaiet el cual tiee q cpete c e decribe e la ecuació (.3.3) p p M P pi M pq (.3.3) Cuad e le preeta a la red ua patró de etreaiet ete e prpaga a travé de la cexie exitete prducied ua etrada eta e cada ua la eura de la iguiete capa la etrada eta a la eura de la iguiete capa debid a la preecia de u patró de etreaiet e la etrada eta dada pr la ecuació (.3.4) ótee que la etrada eta e el valr ut ate de paar pr la fució de traferecia q i W i p i + b (.3.4) Cpyright 000 Uiveridad Teclógica de Pereira

10 90 W i: Pe que ue la cpete i de la etrada c la eura de priera capa culta p i : Cpete i del vectr p que ctiee el patró de etreaiet de q cpete b : Gaacia de la eura de la capa culta Dde el uperídice ( ) repreeta la capa a la que perteece cada paráetr e ete ca la capa culta. Cada ua de la eura de la capa culta tiee c alida a que etá dada pr la ecuació (.3.5) a q f W i i p i + b (.3.5) f : Fució de traferecia de la eura de la capa culta La alida a de la eura de la capa culta (de l cpete) la etrada a l pe de cexió de la capa de alida a ete cprtaiet eta decrit pr la ecuació (.3.6) W a + b (.3.6) Cpyright 000 Uiveridad Teclógica de Pereira

11 9 W : Pe que ue la eura de la capa culta c la eura de la capa de alida la cual cueta c eura a : Salida de la eura de la capa culta la cual cueta c eura. b : Gaacia de la eura de la capa de alida. : Etrada eta a la eura de la capa de alida La red prduce ua alida fial decrita pr la ecuació (.3.7) ( ) a f (.3.7) f : Fució de traferecia de la eura de la capa de alida Reeplazad (.3.6) e (.3.7) e btiee la alida de la red e fució de la etrada eta y de l pe de cexió c la ultia capa culta a f W a + b (.3.8) La alida de la red de cada eura a e cpara c la alida deeada t para calcular el errr e cada uidad de alida (.3.9) ( t a ) δ (.3.9) Cpyright 000 Uiveridad Teclógica de Pereira

12 9 El errr debid a cada patró p prpagad etá dad pr (.3.) ep ( ) δ (.3.0) ep : δ : Errr edi cuadrátic para cada patró de etrada p Errr e la eura de la capa de alida c l eura Ete prce e repite para el úer ttal de patre de etreaiet (r) para u prce de apredizae exit el betiv del algrit e actualizar td l pe y gaacia de la red iiizad el errr edi cuadrátic ttal decrit e (.3.) e r p ep (.3.) e : Errr ttal e el prce de apredizae e ua iteració lueg de haber preetad a la red l r patre de etreaiet El errr que geera ua red eural e fució de u pe geera u epaci de dieie dde e el úer de pe de cexió de la red al evaluar el gradiete del errr e u put de eta uperficie e btedrá la direcció e la cual la fució del errr tedrá u ayr creciiet c el betiv del prce de apredizae e iiizar el errr debe tare la direcció egativa del gradiete para bteer el ayr decreet del errr y de eta fra Cpyright 000 Uiveridad Teclógica de Pereira

13 93 u iiizació cdició requerida para realizar la actualizació de la atriz de pe e el algrit Bacprpagati: W+ W α ep (.3.) El gradiete egativ de ep e detará c ep y e calcula c la derivada del errr repect a td l pe de la red E la capa de alida el gradiete egativ del errr c repect a l pe e: ep W W l a ( t ) ( ) a t a W (.3.3) ep a W W : Cpete del gradiete ep repect al pe de la cexió de la eura de la capa de alida y la eura de la capa culta W : Derivada de la alida de la eura de la capa de alida repect al pe W Para calcular a W e debe utilizar la regla de la cadea pue el errr e ua fució explícita de l pe de la red de la ecuació (.3.7) puede vere que la alida de la red a eta explícitaete e fució de y de la ecuació (.3.6) Cpyright 000 Uiveridad Teclógica de Pereira

14 94 puede vere que eta explícitaete e fució de W ciderad et e geera la ecuació (.3.3) a W a W (.3.4) Tad la ecuació (.3.4) y reeplazádla e la ecuació (.3.3) e btiee ep W a ( t ) a W (.3.5) W : Derivada de la etrada eta a la eura de la capa de alida repect a l pe de la cexió etre la eura de la últia capa culta y la capa de alida a : Derivada de la alida de la eura de la capa de alida repect a u etrada eta. Reeplazad e la ecuació (.3.5) la derivada de la ecuacie (.3.6) y (.3.7) e btiee Cpyright 000 Uiveridad Teclógica de Pereira

15 95 ep W ( t a ) f ' ( ) a (.3.6) C e berva e la ecuació (.3.6) la fucie de traferecia utilizada e ete tip de red debe er ctiua para que u derivada exita e td el iterval ya que el téri f ( ) e requerid para el cálcul del errr. La fucie de traferecia f á utilizada y u repectiva derivada la iguiete: f + e lgig: () f '() f () ( f () ) f () a( a) ' (.3.7) f taig: () e e pureli: () e f '() ( f () ) + e f '() ( a ) (.3.8) f f '() (.3.9) De la ecuació (.3.6) l téri del errr para la eura de la capa de alida etá dad pr la ecuació (.3.0) la cual e le deia cúete eitividad de la capa de alida. ( t a ) f ' ( ) δ (.3.0) Cpyright 000 Uiveridad Teclógica de Pereira

16 96 Ete algrit e deia Bacprpagati de prpagació ivera debid a que el errr e prpaga de aera ivera al fuciaiet ral de la red de eta fra el algrit ecuetra el errr e el prce de apredizae dede la capa á itera hata llegar a la etrada; c bae e el cálcul de ete errr e actualiza l pe y gaacia de cada capa. Depué de ccer (.3.0) e prcede a ectrar el errr e la capa culta el cual eta dad pr: ep W i W i l l a ( t ) ( ) a t a W i (.3.) Para calcular el últi téri de la ecuació (.3.) e debe aplicar la regla de la cadea e varia caie c e berva e la ecuació (.3.) puet que la alida de la red e ua fució explícita de l pe de la cexió etre la capa de etrada y la capa culta a W i a a a W i (.3.) Tda l téri de la ecuació (.3.3) derivad repect a variable de la que depeda explícitaete reeplazad (.3.) e (.3.) tee: Cpyright 000 Uiveridad Teclógica de Pereira

17 Cpyright 000 Uiveridad Teclógica de Pereira 97 ( ) i l i W a a a a t W ep (.3.3) Tad la derivada de la ecuacie (.3.4) (.3.5) (.3.6) (.3.7) y reeplazádla e la ecuació (.3.3) e btiee la expreió del gradiete del errr e la capa culta ( ) ( ) ( ) i l i f f a t W ep p W ' ' (.3.4) Reeplazad la ecuació (.3.0) e la ecuació (.3.4) e tiee: ( ) i l i f W ep p W ' δ (.3.5) L téri del errr para cada eura de la capa culta etá dad pr la ecuació (.3.6) ete téri tabié e deia eitividad de la capa culta ( ) l f ' W δ δ (.3.6)

18 98 Lueg de ectrar el valr del gradiete del errr e prcede a actualizar l pe de tda la capa epezad pr la de alida para la capa de alida la actualizació de pe y gaacia etá dada pr (.3.7) y (.3.8). ( t + ) W ( t) αδ W (.3.7) ( t + ) b ( t) αδ b (.3.8) α : Rata de apredizae que varía etre 0 y depedied de la caracterítica del prblea a luciar. Lueg de actualizar l pe y gaacia de la capa de alida e prcede a actualizar l pe y gaacia de la capa culta ediate la ecuacie (.3.9) y (.3.30) W b i ( t ) W i ( t) αδ pi + (.3.9) ( t ) b ( t) αδ + (.3.30) Eta deducció fue realizada para ua red de tre capa i e requiere realizar el aálii para ua red c d á capa culta la expreie puede derivare de la ecuació (.3.6) dde l téri que e ecuetra detr de la uatria perteece a la capa iediataete uperir ete algrit e Cpyright 000 Uiveridad Teclógica de Pereira

19 99 ccid c la regla Delta Geeralizada dearrllada pr Ruelhart D [3] la cual e ua exteió de la regla delta dearrllada pr Widrw [34] e 930 Algu autre deta la eitividade de la capa pr la letra S reecribied la ecuacie (.3.0) y (.3.6) c eta tació e btiee la ecuacie (.3.3) y (.3.3) S M M M ( )( t a) f (.3.3) + T + ( )( W ) para M... f (.3.3) E la ecuació (.3.3) M repreeta la últia capa y S M la eitividad para eta capa la ecuació (.3.3) exprea el cálcul de la eitividad capa pr capa cezad dede la últia capa culta cada u de et téri ivlucra que el téri para la eitividad de la capa iguiete ya eté calculad. C e ve el algrit Bacprpagati utiliza la ia técica de aprxiació e pa decediete que eplea el algrit LMS la úica cplicació etá e el cálcul del gradiete el cual e u téri idipeable para realizar la prpagació de la eitividad. E la técica de gradiete decediete e cveiete avazar pr la uperficie de errr c icreet pequeñ de l pe; et e debe a que tee ua ifració lcal de la uperficie y e abe l le l cerca que Cpyright 000 Uiveridad Teclógica de Pereira

20 00 e etá del put íi c icreet grade e crre el rieg de paar pr ecia del put íi c icreet pequeñ auque e tarde á e llegar e evita que et curra. El elegir u icreet adecuad ifluye e la velcidad de cvergecia del algrit eta velcidad e ctrla a travé de la rata de apredizae α la que pr l geeral e ecge c u úer pequeñ para aegurar que la red ecuetre ua lució. U valr pequeñ de α igifica que la red tedrá que hacer u gra úer de iteracie i e ta u valr uy grade l cabi e l pe erá uy grade avazad uy rápidaete pr la uperficie de errr c el rieg de altar el valr íi del errr y etar cilad alrededr de él per i pder alcazarl. E recedable auetar el valr de α a edida que diiuye el errr de la red durate la fae de etreaiet para garatizar aí ua rápida cvergecia teied la precaució de tar valre deaiad grade que haga que la red cile aleáde deaiad del valr íi. Alg iprtate que debe teere e cueta e la pibilidad de cvergecia hacia algu de l íi lcale que puede exitir e la uperficie del errr del epaci de pe c e ve e la figura.3.4. Figura.3.4 Superficie típica de errr Cpyright 000 Uiveridad Teclógica de Pereira

21 0 E el dearrll ateátic que e ha realizad para llegar al algrit Bacprpagati e aegura e igú et que el íi que e ecuetre ea glbal ua vez la red e aiete e u íi ea lcal glbal cea el apredizae auque el errr iga ied alt. E td ca i la lució e adiible dede el put de vita del errr iprta i el íi e lcal glbal i e ha deteid e algú et previ a alcazar u verdader íi. Para ilutrar el cálcul de cada u de et téri utiliza el algrit Bacprpagati para aprxiar la iguiete fució: t π i p para el it erval p 4 (.3.33) La fució e ha retrigid al iterval etre y para cervarla detr de líite bervable c e berva e la figura.3.5 Figura.3.5 Iterval de la fució t Cpyright 000 Uiveridad Teclógica de Pereira

22 0 La cfiguració ecgida para la red crrepde a ua red :: egú la tació defiida c ateriridad e decir ua etrada d eura e la capa culta y ua alida; eta etructura e viualiza e la figura.3.6 Figura.3.6 Red utilizada para aprxiar la fució C e berva la alida de la red para la priera capa etá dada pr a taig(w p T +b) (.3.34) La rede tip Bacprpagati utiliza pricipalete d fucie de traferecia e la priera capa: lgig cuad el rag de la fució e iepre pitiv y taig c e ete ca cuad e le perite a la fució cilar etre valre pitiv y egativ liitad e el iterval. Cpyright 000 Uiveridad Teclógica de Pereira

23 03 La alida de la eguda capa etá deteriada iepre pr la fució de traferecia pureli la cual reprduce exactaete el valr reultate depué de la uatria. a pureli(w * a +b ) (.3.35) Al evaluar la ecuació (.3.33) e l diferete patre de etreaiet e btiee l valre de la etrada y u alida aciada ya que c e di ate la red Bacprpagati e ua red de apredizae uperviad. E iprtate detacar que e etrictaete eceari el cciiet de la fució a aprxiar bata c ccer la repueta a ua etrada dada u regitr etadític de alida para delar el cprtaiet del itea liitad el prblea a la realizació de prueba a ua caa egra. L paráetr de etrada y u valre de alida aciad e berva e la tabla p t Tabla.3. Set de etreaiet de la red L valre iiciale para la atriz de pe y el vectr de gaacia de la red e ecgier e fra aleatria aí: Cpyright 000 Uiveridad Teclógica de Pereira

24 W b W [ ] [ 0.8] b α 0. Para el prce de cálcul e le preeta a la red el paráetr p de eta fra la priera iteració e c igue a taig a ( 0.) [ ] + [ 0.8] et - a - - (0.63) -.63 C e eperaba la priera iteració ha id uficiete para aprxiar la fució crrectaete aí que e calculará la eitividad para iiciar el prce de actualizació de l valre de l pe y la gaacia de la red. L valre de la derivada del errr edi cuadrátic : f ( ) a f ( ) Y la eitividade epezad dede la últia hata la priera capa ( 0.8 ) 0 -() (-.63) ( 0.83 ) ( 3.6) Cpyright 000 Uiveridad Teclógica de Pereira

25 05 C et valre y de acuerd a la regla de actualizació decrita aterirete l uev paráetr de la red : W () [ ] 0.(3.6) [ ] [ ] W () b () b () [ 0.8] 0.(3.6) ( ) C et e cpleta la priera iteració y el algrit queda lit para preetar a la red el iguiete patró y ctiuar el prce iterativ hata bteer u valr de tleracia aceptable para el errr. E 989 Fuahahi [5] detró ateáticaete que ua red eural ulticapa puede aprxiar cualquier fució lieal apa lieal ultivariable f (x) R R Ete terea e de exitecia pue prueba que la red exite per idica c ctruirla y tapc garatiza que la red aprederá fució. El algrit Bacprpagati e fácil de ipleetar y tiee la flexibilidad de adaptare para aprxiar cualquier fució ied ua de la rede ulticapa á ptete; eta caracterítica ha cvertid a eta red e ua de la á apliaete utilizada y ha llevad al dearrll de ueva técica que perita u eraiet. Detr de eta técica e ecuetra d étd heurític y d étd baad e algrit de ptiizació uérica. Cpyright 000 Uiveridad Teclógica de Pereira

26 06 Detr de l étd heurític tee:.3.3. Red Bacprpagati c etu [30]. Eta dificació etá baada e la bervació de la últia ecció de la gráfica del errr edi cuadrátic e el prce de cvergecia típic para ua red Bacprpagati; ete prce puede vere e la figura.3.7 e la cual e ta la caída bruca del errr e la iteració para la cual alcaza cvergecia Figura.3.7 Cprtaiet típic del prce de cvergecia para ua red Bacprpagati Ete cprtaiet puede cauar cilacie deeada pr l que e cveiete uavizar eta ecció de la gráfica icrprad u filtr paa-ba al itea. Para ilutrar el efect pitiv del filtr e el prce de cvergecia e aalizará el iguiete filtr de prier rde: y( ) γy( ) + ( γ ) w( ) (.3.36) Dde w() e la etrada al filtr y() u alida y γ e el ceficiete de etu que etá e el iterval: 0 γ Cpyright 000 Uiveridad Teclógica de Pereira

27 07 El efect del filtr puede bervae e la figura.3.8 e la cual e tó c etrada al filtr la fució: π w( ) + e 6 (.3.37) Figura.3.8 Efect del ceficiete de etu El ceficiete de etu e auió γ 0. 9 para la gráfica de la izquierda y γ 0.98 para la gráfica de la derecha. De eta figura puede tare c la cilació e er a la alida del filtr la cilació e reduce a edida que γ e decreeta el predi de la alida del filtr e el i que el predi de etrada al filtr auque ietra γ ea icreetad la alida del filtr erá á leta. Recrdad l paráetr de actualizació eplead pr la red Bacprpagati tradicial: T W ( ) α ( a ) (.3.38) Cpyright 000 Uiveridad Teclógica de Pereira

28 08 b ( ) α (.3.39) Al adiciar el filtr c etu a ete algrit de actualizació e btiee la iguiete ecuacie que repreeta el algrit Bacprpagati c etu: W ( ) γ W ( ) ( γ ) α ( a ) (.3.40) T b ( ) γ b ( ) ( γ ) α (.3.4) Ete algrit hace que la cvergecia ea etable e iclu á rápida adeá perite utilizar ua rata de apredizae alta. La figura.3.9 referecia el cprtaiet del algrit c etu e el put de cvergecia: Figura.3.9 Trayectria de cvergecia c etu.3.3. Red Bacprpagati c rata de apredizae variable [30]: Del aálii de la ecció.3.3 e vi que e(x ) e el gradiete del errr de igual Cpyright 000 Uiveridad Teclógica de Pereira

29 09 fra e defiirá e (x) c la Heiaa de la fució de errr dde x repreeta la variable de la cuale depede el errr (pe y gaacia) eta atriz e iepre de la fra: e ( x) e x e x x : e xx ( x) e( x) x ( x) e( x) x : ( x) e( x) x x x ( x ) e... xx e... xx... : e... x ( x ) ( x ) (.3.4) La uperficie del errr edi cuadrátic para rede de ua la capa e iepre ua fució cuadrática y la atriz Heiaa e pr tat ctate ét lleva a que la áxia rata de apredizae etable para el algrit de pa decediete ea el áxi valr prpi de la atriz Heiaa dividid HBD[]. Para ua red ulticapa la uperficie del errr e ua fució cuadrática u fra e diferete para diferete regie del epaci la velcidad de cvergecia puede icreetare pr la variació de la rata de apredizae e cada parte de la uperficie del errr i brepaar el valr áxi para apredizae etable defiid aterirete. Exite varia técica para dificar la rata de apredizae; ete algrit eplea u prcediiet ediate el cual la rata de apredizae varia de acuerd al rediiet que va preetad el algrit e cada put; i el errr diiuye va pr el cai crrect y e puede ir á rápid icreetad Cpyright 000 Uiveridad Teclógica de Pereira

30 0 la rata de apredizae i el errr aueta e eceari decreetar la rata de apredizae; el criteri de variació de α debe etar e ccrdacia c la iguiete regla heurítica:. Si el errr cuadrátic de td l paráetr del et de etreaiet e icreeta e u prcetae ζ típicaete etre % y 5% depué de la actualizació de l pe ea actualizació e decartada la rata de apredizae e ultiplica pr u factr 0 < ρ < y el ceficiete de etu e fiad e cer.. Si el errr cuadrátic e decreeta depué de la actualizació de l pe ea actualizació e aceptada y la rata de apredizae e ultiplicada pr u factr η >. Si γ había id previaete puet e cer e retra a u valr rigial. 3. Si el errr cuadrátic e icreeta e u valr er a ζ l pe actualizad aceptad per la rata de apredizae y el ceficiete de etu cabiad. Figura.3.0 Caracterítica de cvergecia para ua rata de apredizae variable Cpyright 000 Uiveridad Teclógica de Pereira

31 La figura.3.0 uetra la trayectria de la rata de apredizae para ete algrit e cparació c la caracterítica de cvergecia Exite ucha variacie de ete algrit pr eepl Jacb[] prpu la regla delta-bar-delta e la cual cada u de l paráetr de la red (pe y gaacia) teía u prpia rata de apredizae. El algrit icreeta la rata de apredizae para u paráetr de la red i el paráetr ecgid ha etad e la ia direcció para varia iteracie; i la direcció del paráetr ecgid cabia etce la rata de apredizae e reducida. L algrit Bacprpagati c etu y c rata de apredizae variable l d étd heurític á utilizad para dificar el algrit Bacprpagati tradicial. Eta dificacie garatiza rápida cvergecia para algu prblea i ebarg preeta d prblea pricipale: prier requiere de u gra úer de paráetr( ζ ρ γ) l que la ayría de la vece e defie pr u étd de eay y errr de acuerd a la experiecia del ivetigadr ietra que el algrit tradicial ól requiere defiir la rata de apredizae; egud eta dificacie puede llevar a que el algrit uca cvera y e tre cilate para prblea uy cple. C e eció ate exite tabié étd de dificació baad e técica de ptiizació uérica de eta clae de dificacie e detacará la á brealiete; e iprtate recalcar que et étd requiere ua ateática á exigete que el iple del dii de cálcul diferecial. Cpyright 000 Uiveridad Teclógica de Pereira

32 Métd del Gradiete Cugad [30]. Ete algrit ivlucra el cálcul de la eguda derivada de la variable y cverge al íi de la fució cuadrática e u úer fiit de iteracie. El algrit del gradiete cugad i aplicarl aú al algrit de prpagació ivera cite e:. Selecciar la direcció de p 0 la cdició iicial e el etid egativ del gradiete: Dde p () (.3.43) 0 g 0 ) g e x x ( (.3.44) x. Selecciar la rata de apredizae α para iiizar la fució a l larg de la direcció x + + α (.3.45) x p 3. Selecciar la direcció iguiete de acuerd a la ecuació c g + p p β (.3.46) T T T g T g g g β β (.3.47) g p g g 4. Si el algrit e ete put aú ha cvergid e regrea al ueral Cpyright 000 Uiveridad Teclógica de Pereira

33 3 Ete algrit puede er aplicad directaete a ua red eural prque el errr e ua fució cuadrática; l que afecta al algrit e d fra prier e hábil para iiizar la fució a l larg de ua líea c e requerid e el pa ; egud el errr íi erá alcazad ralete e u úer fiit de pa y pr et el algrit eceitará er iicializad depué de u úer deteriad de iteracie. A pear de eta cplicacie eta dificació del algrit Bacprpagati cverge e uy pca iteracie y e iclu u de l algrit á rápid para rede ulticapa c puede tare e la figura.3. Figura.3. Trayectria del Gradiete Cugad Algrit de Leveberg Marquardt [30]. Ete algrit e ua dificació del étd de Newt el que fue dieñad para iiizar fucie que ea la ua de l cuadrad de tra fucie lieale; e pr ell que el algrit de Leveberg - Marquardt tiee u excelete deepeñ e el Cpyright 000 Uiveridad Teclógica de Pereira

34 4 etreaiet de rede eurale dde el rediiet de la red eté deteriad pr el errr edi cuadrátic. El étd de Newt para ptiizar el rediiet e(x) e: X + X A g (.3.48) A e(x) g e(x) x x x x (.3.49) Si aui que e(x) e ua ua de fucie cuadrática: e(x v i i T ( x) v (x)v(x) ) (.3.50) El gradiete puede er ecrit etce e fra atricial: T e(x) J (x)v(x ) (.3.5) Dde J(x) e la atriz Jacbiaa. Autad el étd de Newt btee el algrit de Leveberg Marquardt T T [ J (x )J(x ) I] J (x )v(x ) x+ x + µ (.3.5) Cpyright 000 Uiveridad Teclógica de Pereira

35 5 deteriad directaete el icreet: T T [ J (x )J(x ) + I] J (x )v(x ) x µ (.3.53) La ueva ctate µ deteria la tedecia el algrit cuad µ e icreeta ete algrit e aprxia al algrit de pa decediete para rata de apredizae uy pequeña; cuad cvierte e el étd de Gau - Newt µ e decreeta ete algrit e El algrit cieza c u valr pequeñ para µ pr l geeral 0.0 i e ee pa e alcaza el valr para e(x) etce el pa e repetid c ultiplicad pr u factr ϑ >. Si e ha ecgid u valr pequeñ de pa e la direcció de pa decediete e(x) debería decrecer. Si u pa prduce u pequeñ valr para e(x) etce el algrit tiede al étd de Gau - Newt el que e upe garatiza ua rápida cvergecia. Ete algrit geera u cpri etre la velcidad del étd de Gau-Newt y la garatía de cvergecia del étd de pa decediete. µ L eleet de la atriz Jacbiaa eceari e el algrit de Leveberg- Marquardt de ete etil: Cpyright 000 Uiveridad Teclógica de Pereira

36 Cpyright 000 Uiveridad Teclógica de Pereira 6 [ ] x e q l h J (.3.54) Dde x e el vectr de paráetr de la red que tiee la iguiete fra: [ ] [ ] S R S T b b w w w x x x x (.3.55) Para utilizar ete algrit e la aplicacie para rede ulticapa e redefiirá el téri eitividad de fra que ea á iple hallarl e cada iteració. q i q h i e (.3.56) Dde h(q-)s M + C la eitividad defiida de eta aera l téri de la atriz Jacbiaa puede er calculad á fácilete: * * * ] [ q h i i q i h i i q i q i q i q l h a w w e w e J (.3.57) para la gaacia:

37 7 e e [ ] b q q i q h l * i h * bi i q bi J (.3.58) i q i i h De eta fra cuad la etrada p Q ha id aplicada a la red y u crrepdiete alida a M Q ha id cputada el algrit Bacprpagati de Leveberg-Marquardt e iicializad c: M M Sq f ( M q (.3.59) ) Cada clua de la atriz S M Q debe er prpagada iveraete a travé de la red para prducir ua fila de la atriz Jacbiaa. La clua puede tabié er prpagada cutaete de la iguiete aera: S q f ( q )(W + ) T S + q (.3.60) La atrice eitividad ttal para cada capa e el algrit de Leveberg- Marquardt frada pr la exteió de la atrice cputada para cada etrada: S [ S ][ S ]... [ S ] (.3.6) Q Para cada ueva etrada que e preetada a la red l vectre de eitividad prpagad hacia atrá et e debe a que e ha calculad cada errr e Cpyright 000 Uiveridad Teclógica de Pereira

38 8 fra idividual e lugar de derivar la ua al cuadrad de l errre. Para cada etrada aplicada a la red habrá S M errre u pr cada eleet de alida de la red y pr cada errr e geerara ua fila de la atriz Jacbiaa. Ete algrit puede reuire de la iguiete aera:. Se preeta tda la etrada a la red e calcula la crrepdiete alida y cada u de l errre egú e q q M q t a (.3.6) e calcula depué la ua de l errre cuadrad para cada etrada e(x). Se calcula la eitividade idividuale y la atriz eitividad ttal y c eta e calcula l eleet de la atriz Jacbiaa. 3. Se btiee x 4. Se recalcula la ua de l errre cuadrad uad x + x. Si eta ueva ua e á pequeña que el valr calculad e el pa etce e divide µ pr ϑ e calcula x + x + x y e regrea al pa. Si la ua e reduce etce e ultiplica µ pr ϑ y e regrea al pa 3. El algrit debe alcazar cvergecia cuad la ra del gradiete de Cpyright 000 Uiveridad Teclógica de Pereira

39 9 T e(x) J (x)v(x) (.3.63) ea er que algú valr predeteriad cuad la ua de l errre cuadrad ha id reducida a u errr que e haya trazad c eta. El cprtaiet de ete algrit e viualiza e la figura.3. la cual uetra la trayectria de cvergecia c µ 0. 0 y ϑ 5 Figura.3. Trayectria del algrit Leveberg-Marquardt C puede vere ete algrit cverge e e iteracie que cualquier étd dicutid aterirete pr upuet requiere ucha á cputació pr iteració debid a que iplica el cálcul de atrice ivera. A pear de u gra efuerz cputacial igue ied el algrit de etreaiet á rápid para rede eurale cuad e trabaa c u derad úer de paráetr e la red i el úer de paráetr e uy grade utilizarl reulta pc práctic. Cpyright 000 Uiveridad Teclógica de Pereira