2.2.1 Antecedentes. Al mismo tiempo que Frank Rosenblatt trabajaba en el

Transcripción

1 63. ADALINE..1 Antcdnts. Al mismo timpo qu Fran Rosnblatt trabajaba n l modlo dl Prcptrón Brnard Widrow y su studiant Marcian Hoff introdujron l modlo d la rd Adalin y su rgla d aprndizaj llamada algoritmo LMS Last Man Squar. La rd Adalin s similar al Prcptrón, xcpto n su función d transfrncia, la cual s una función d tipo linal n lugar d un limitador furt como n l caso dl Prcptrón. La rd Adalin prsnta la misma limitación dl Prcptrón, n cuanto al tipo d problmas qu pudn rsolvr, ambas rds pudn sólo rsolvr problmas linalmnt sparabls. Sin mbargo l algoritmo LMS s más potnt qu la rgla d aprndizaj dl Prcptrón, ya qu minimiza l rror mdio cuadrático, caractrística qu lo hac bastant práctico n las aplicacions d procsaminto d sñals digitals, por jmplo las línas tlfónicas d gran distancia utilizan la rd Adalin para canclar l ruido inhrnt a su rcorrido. El término Adalin s una sigla, sin mbargo su significado cambió ligramnt a finals d los años ssnta cuando dcayó l studio d las rds nuronals, inicialmnt s llamaba ADAptiv LInar NEuron Nurona Linal Adaptiva, para pasar dspués a sr Adaptiv LInar Elmnt Elmnto Linal Adaptivo, st cambio s dbió a qu la Adalin s un dispositivo qu consta d un único lmnto d procsaminto, como tal no s técnicamnt una rd nuronal.

2 64 El lmnto d procsaminto raliza la suma d los productos d los vctors d ntrada y d psos, y aplica una función d salida para obtnr un único valor d salida, l cual dbido a su función d transfrncia linal srá +1 si la sumatoria s positiva o 1 si la salida d la sumatoria s ngativa. En términos gnrals la salida d la rd stá dada por a T W p..1 En st caso, la salida s la función unidad al igual qu la función d activación; l uso d la función idntidad como función d salida y como función d activación significa qu la salida s igual a la activación, qu s la misma ntrada nta al lmnto. El Adalin s ADaptivo n l sntido d qu xist un procdiminto bin dfinido para modificar los psos con objto d hacr posibl qu l dispositivo proporcion l valor d salida corrcto para la ntrada dada; l significado d corrcto para fctos dl valor d salida dpnd d la función d trataminto d sñals qu sté sindo llvada a cabo por l dispositivo. El Adalin s LInal porqu la salida s una función linal sncilla d los valors d la ntrada. Es una NEurona tan solo n l sntido muy limitado dl PE. También s podría dcir qu l Adalin s un Elmnto Linal, vitando por complto la dfinición como NEurona

3 65.. Estructura d la rd. La structura gnral d la rd tipo Adalin pud visualizars n la figura..1 Figura..1 Estructura d una rd Adalin La salida d la rd stá dada por: a purlin Wp + b Wp + b.. Para una rd Adalin d una sola nurona con dos ntradas l diagrama corrspond a la figura.. Figura.. Adalin d una nurona y dos ntradas

4 66 En similitud con l Prcptrón, l límit d la caractrística d dcisión para la rd Adalin s prsnta cuando n 0, por lo tanto: w T p + b 0..3 spcífica la lína qu spara n dos rgions l spacio d ntrada, como s mustra n la figura..3 Figura..3. Caractrística d dcisión d una rd tipo Adalin La salida d la nurona s mayor qu cro n l ára gris, n l ára blanca la salida s mnor qu cro. Como s mncionó antriormnt, la rd Adalin pud clasificar corrctamnt patrons linalmnt sparabls n dos catgorías...3 Rgla d aprndizaj. Al igual qu l Prcptrón, la rd Adalin s una rd d aprndizaj suprvisado qu ncsita conocr d antmano los valors asociados a cada ntrada. Los pars d ntrada/salida tinn la siguint forma:

5 67 { { { }, p, t },..., p Q, t } p..4 1, t1 Q Dond p Q s la ntrada a la rd y t Q s su corrspondint salida dsada, cuando una ntrada p s prsntada a la rd, la salida d la rd s comparada con l valor d t qu l s asociado. El algoritmo LMS s driva d la rgla Widrow-Hoff dlta, la qu n términos gnrals para un procso d actualización d los psos d una rd Adalin, s dduc d la siguint manra: W 1 W + α p p +..5 En l cual rprsnta la itración actual dl procso d actualización, W +1 s l siguint valor qu tomará l vctor d psos y W s l valor actual dl vctor d psos. El rror actual s dfinido como la difrncia ntr la T rspusta dsada t y la salida d la rd a W p actualización: ants d la T t W p..6 La variación dl rror n cada itración s rprsntada por

6 68 T W p * W T t p..7 En concordancia con la cuación..5 la actualización d los psos, tnindo n cunta l rror s: W W + 1 W α p p..8 Combinando las cuacions..8 y..7, s obtin: p p α α p T..9 D sta forma, l rror s rducido por un factor α mintras los psos van cambiando a mdida qu s prsnta un valor d ntrada. Cada vz qu s prsnta un nuvo patrón l ciclo d actualización inicia nuvamnt; l siguint rror s rducido por un factor α, y l procso continua. Los valors inicials dl vctor d psos son usualmnt scogidos como cro y s actualizan hasta qu l algoritmo alcanc convrgncia. La lcción d α controla la stabilidad y vlocidad d la convrgncia dl procso d ntrnaminto; si s scog un valor muy pquño d α,l algoritmo

7 69 pird vlocidad y tarda mucho n alcanzar convrgncia, si por l contrario s toma un valor muy grand, l algoritmo pird stabilidad y s torna oscilant alrddor dl valor d convrgncia. Para patrons d ntrada indpndints n l timpo, la stabilidad s garantizada para valors d α qu varín ntr 0 < α <..10 Si s fija α n un valor mayor a 1 l rror s inncsariamnt sobr-corrgido, por lo tanto un rango d valors prácticos para la rata d aprndizaj s: 0.1 < α < Est algoritmo s auto-normalizado n l sntido qu la lcción d α no dpnd d la magnitud d las sñals d ntrada; cada pso actualizado s colinal con los parámtros d ntrada y su magnitud s invrsamnt proporcional a p. Si s mpla como ntradas binarias 1 y 0, la actualización no ocurr para psos cuya ntrada sa cro, mintras con ntradas binarias ± 1 todos los psos son actualizados n cada itración y la convrgncia s más rápida. Por sta razón, las ntradas simétricas +1 y 1 son gnralmnt prfridas. Una dscripción gométrica dl procso d actualización d psos n la rgla Widrow-Hoff dlta o algoritmo LMS, s dscrib n la figura..4

8 70 Figura..4 Actualización d psos dl algoritmo LMS D acurdo a la cuación..8, W +1 quival la suma d W y W admás W s parallo con l vctor d ntrada p,. D la cuación..7, l cambio n l rror s igual al producto ngativo d p y W, como l algoritmo LMS slcciona a W d tal forma qu sa colinal con p, l cambio n l rror dsado s calcula con la mnor magnitud d W posibl. Extndindo l algoritmo a la actualización d las ganancias, s tin: b + 1 b + α..1 El algoritmo LMS corrig l rror y si todos los patrons d ntrada son d igual longitud, la actualización d psos y ganancias tind a minimizar l rror mdio cuadrático, sta s la principal propidad d st algoritmo.

9 71 En l algoritmo LMS, los valors d los incrmntos W y b s calculan con bas n las drivadas parcials d la función dl rror mdio cuadrático con rspcto a psos y ganancias rspctivamnt. Para xplicar l cálculo dl rror mdio cuadrático s considrará una rd Adalin d una sola nurona y s mplará un algoritmo d pasos dscndints aproximado, como l qu utilizaron Widrow y Hoff. La función d rror s una función matmática dfinida n l spacio d psos multidimnsional para un conjunto d patrons dados, s una suprfici qu tndrá muchos mínimos globals y locals y la rgla d aprndizaj va a buscar l punto n l spacio d psos dond s ncuntra l mínimo global d sa suprfici; aunqu la suprfici d rror s dsconocida, l método d gradint dscndint consigu obtnr información local d dicha suprfici a través dl gradint, con sa información s dcid qué dircción tomar para llgar hasta l mínimo global d dicha suprfici. Con st algoritmo calculando l gradint n cada itración gradint instantáno y no l gradint sobr l rror total dspués d habr prsntado todos los patrons, la función para l rror mdio cuadrático s: t a..13

10 7 En la cuación..13 t rprsnta la salida sprada n la itración y a rprsnta la salida d la rd; l rror cuadrático sprado ha sido rmplazado por l rror cuadrático n la itración, por lo tanto n cada itración s tin un gradint dl rror d la siguint forma: ] R j para w w j j i j,..., 1, [ 1,,..14 y [ ] b b R Los primros R lmntos dl rror son drivadas parcials con rspcto a los psos d la rd, mintras qu los lmntos rstants son drivadas parcials con rspcto a las ganancias S valuará primro la drivada parcial d con rspcto a j i w, : [ ] j i R i i i j i j i w b p w t w b t w, 1 1,, 1, + + p * w T..16

11 73 Dond p i s l i-ésimo lmnto dl vctor d ntrada n la -ésima itración, sto pud simplificars así: w i, j p j..17 D manra similar s obtin l lmnto final dl gradint, corrspondint a la drivada parcial dl rror con rspcto a la ganancia: b En sta cuación pudn vrs las vntajas d la simplificación dl rror mdio cuadrático al podr sr calculado por mdio dl rror n la itración, y así para calcular l rror s ncsita solo multiplicar l rror por l númro d ntradas. Esta aproximación d, pud sr usada n l algoritmo d pasos dscndints tal como aparc n la cuación..5 para darl forma final a la actualización d psos y ganancias dl algoritmo LMS d las cuacions..14 y..15 w 1 w + α p b + 1 b + α..0

12 74 La rata d aprndizaj α s tomó constant durant l procso d dducción dl algoritmo. En forma matricial l algoritmo d actualización para psos y ganancias para la rd Adalin, s xprsa como: W T 1 W + α p +..1 b 1 b + α +.. Nóts qu ahora l rror y la ganancia b son vctors..4 Principal aplicación d la rd Adalin. La rd Adalin ha sido ampliamnt utilizada n l procsaminto d sñals; para valorar l ral aport d sta rd n s campo, s dtallarán un poco las hrramintas hasta ahora mpladas n los procsos d filtrado. A cominzos dl studio d las comunicacions lctrónicas, s disñaban filtros analógicos mplando circuitos RLC Rsistncias, Inductors, Condnsadors para liminar l ruido n las sñals mpladas d comunicacions; st procsaminto s ha transformado n una técnica d múltipls factas, dstacándos n la actualidad l uso d procsadors digitals d sñals DSP, qu pudn llvar a cabo los mismos tipos d aplicacions d filtrado jcutando

13 75 filtros d convolución ralizados mdiant programación convncional, n cualquir lnguaj d programación conocido. El procso d filtrado sigu ocupando un lugar muy important n la industria, pus simpr srá ncsario liminar l ruido n sñals portadoras d información. Considérs una transmisión d radio n AM, las técnicas lctrónicas d comunicación, bin san para sñals d audio o d datos constan d una codificación y una modulación d la sñal. La información qu hay qu transmitir, s pud codificar n forma d una sñal analógica qu rproduc xactamnt las frcuncias y las amplituds dl sonido original. Dado qu los sonidos qu s stán codificando rprsntan un valor continuo qu va dsd l silncio, pasando por la voz, hasta la música, la frcuncia instantána d la sñal variará con l timpo, oscilando ntr 0 y Hz aproximadamnt. En lugar d intntar transmitir dirctamnt sta sñal codificada, s transmit la sñal n forma más adcuada para la transmisión por radio; sto s logra modulando la amplitud d una sñal portadora d alta frcuncia con la sñal d información analógica. Para la radio AM, la frcuncia portadora stará n l intrvalo d los 550 a los 1650 Hz, dado qu la frcuncia d la portadora s muy suprior a la frcuncia máxima d la sñal d información, s pird muy poca información como conscuncia d la modulación; la sñal modulada pud sr transmitida dspués a una stación rcptora o s pud rtransmitir a cualquira qu tnga un rcptor d radio, n la cual la sñal s dmodula y s rproduc n forma d sonido.

14 76 La razón más vidnt para utilizar un filtro n una radio d AM s qu cada prsona tin sus prfrncias d música y divrsión y dado qu hay tantas misoras d radio difrnts s ncsario prmitir qu cada usuario sintonic su rcptor a una cirta frcuncia slccionabl. Al sintonizar la radio, lo qu s stá hacindo s, modificar las caractrísticas d rspusta n frcuncia d un filtro pasa banda qu stá dntro d la radio, st filtro sólo dja pasar las sñals procdnts d la misora n la qu s sté intrsado y limina todas las dmás sñals qu stén sindo transmitidas dntro dl spctro AM. Figura..5 Técnicas d codificación d información y modulación n amplitud

15 77 La hrraminta matmática para l disño d filtros más utilizada s la Sri d Fourir, qu dscrib la naturalza d las sñals priódicas n l dominio frcuncial y vin dada por: x t ancos nf0 t + bnsnπnf0t n 0 n 1 π..3 En dond f 0 : Frcuncia fundamntal d la sñal n l dominio dl timpo a n y b n : Coficints ncsarios para modular la amplitud d los términos individuals d la sri. Las primras ralizacions d los cuatro filtros básicos d la figura..6 posían una gran limitación: solo ran ajustabls n un pquño intrvalo Figura..6 Caractrísticas d los cuatro filtros básicos

16 78 Todos los filtros s pudn caractrizar a partir d su rspusta h n a la función d impulso unitario, qu s rprsnta por δ n n la forma: ] h n R[ δ n..4 La vntaja d sta formulación s qu una vz s conoc la rspusta dl sistma para l impulso unitario, la salida dl sistma para cualquir ntrada stá dada por [ ] x n y n R h i x n i..5 i Dond x n s la ntrada al sistma Esta cuación dscrib una convolución ntr la sñal d ntrada y la rspusta dl sistma al impulso unitario. Para st caso, basta tnr n cunta qu la convolución s una opración d suma ntr productos, similar al tipo d opración qu raliza un Prcptrón cuando calcula su sñal d activación. La rd Adalin mpla st mismo cálculo para dtrminar cuánta stimulación d ntrada rcib a partir d una sñal instantána d ntrada; sta rd tin disñado n su intrior una forma d adaptar los coficints pondrabls psos d la rd para hacr aumntar o disminuir la stimulación qu rcibirá la próxima vz qu s l prsnt la misma sñal. La utilidad d sta capacidad s pon d manifisto cuando s disña un filtro digital por mdio d softwar; con un

17 79 programa normal, l programador db sabr xactamnt como s spcífica l algoritmo d filtrado y cuáls son los dtalls d las caractrísticas d las sñals; si s ncsitarán modificacions, o si cambian las caractrísticas d la sñal, s ncsario rprogramar; cuando s mpla una rd tipo Adalin, l problma s convirt, n qu la rd sa capaz d spcificar la sñal d salida dsada, dada una sñal d ntrada spcífica. La rd Adalin toma la ntrada y la salida dsada, y s ajusta a sí misma para sr capaz d llvar a cabo la transformación dsada. Admás, si cambian las caractrísticas d la sñal, la rd Adalin pud adaptars automáticamnt. En ordn a usar la rd tipo Adalin para implmntar un filtro adaptivo, s db incorporar l concpto d rtardos n lína, l cual s visualiza n la figura..7 Figura..7 Rtardos n lína

18 80 Si s combina la rd Adalin con un bloqu d rtardos n lína, s ha crado un filtro adaptivo como l d la figura..8 Figura..8 Filtro adaptivo Cuya salida stá dada por: R a purlin Wp + b w y i b..6 i 1 1, i