ETSETB- DEPARTAMENT D ENGINYERIA ELECTRONICA

Transcripción

1 PC IVERSIA POLIECICA DE CAALYA ESEB- DEPARAE D EGIYERIA ELECROICA Crso e Rees eronales Artfcales (- El Perceptrón $XWR 6HJL %HPHR 5HVSRQVDEOH GHO FXVR -RDQ DEHVWDQ\

2

3 ítol el capítol. El Perceptrón Los perceptrones son los sstemas neronales más smples, anqe no por ello resltan exentos e tla ya qe son, a pesar e ss nherentes lmtacones, efcentes procesaores e nformacón. Así pes, s esto como enta nepenente está plenamente jstfcao. Dao qe algnas e ss característcas, tales como s comportamento geométrco y estaístco, la flosofía e ss algortmos e aprenzaje, el balance qe se ebe efectar en s seño entre el poer e aproxmacón y el e estmacón, son extensbles a otros sstemas neronales más complcaos, el análss en etalle e estos sencllos spostvos pee ar na ea e las ventajas y lmtacones e otras estrctras relaconaas... Arqtectra. El perceptrón en s forma más general (Fg. tene na arqtectra qe se pee escomponer en tres partes:. na sere e procesaores-φ qe realzan na transformacón entre el espaco e entraa X e mensón y el espaco V e mensón (pre-procesao.. na sma poneraa e los componentes el vector e entraa transformao más n valor e polarzacón (o mbral. 3. na transformacón τ realzaa sobre la sma poneraa. x g - (x - (x ( x φ ( x g(x f(x τ(g(x τ τ τ Fgra. El Perceptrón. 3 ( g ( g g; lneal e βg ; sgmoe s g ( g ; escalón s g < Arqtectras típcas. La varante más tlzaa es la qe se erva e no tlzar nngún procesaor-φ sobre el espaco e entraa (Fg.. Así nos poemos encontrar con el perceptrón conoco como L (hreshol Logc nt en el qe τ es la fncón escalón (, mentras qe los perceptrones tlzaos en la estrctra LP (ltlayer Perceptron, emplean fncones ervables para sntetzar τ, seno la más tlzaa e entre estas la fncón sgmoe ( s g τ 3( g ; s g < ( τ ( g ; βg e ( A partr e aqí, peen ervarse algnas varantes sano ferentes fncones g, tales como: g ( x x (3

4 ítol el llbre g ( x x x j ; j x x j (4 x x g(x f(x τ(g(x x ( g x x Fgra. El Perceptrón sn procesaores-φ. oos e operacón. En el perceptrón se stngen os formas e operacón prncpales, epeneno e s la fncón τ toma valores scretos o contnos:. Como aproxmaor e fncones e sala bnara o clasfcaor. Cano τ(g(x toma valores scretos (,- ó, el perceptrón se pee conserar como n clasfcaor e patrones qe pertenecen a os clases. Es ecr qe el perceptrón es na fncón qe realza na transformacón no lneal el tpo xr {-,} o {,} asgnano así x a la clase cano toma el valor y a la clase cano toma el valor - (ó. n caso partclar e fncones e sala bnara son las fncones lógcas qe son el tpo {,} {,}. De esta forma se pee afrmar qe n perceptrón (en s forma más general pee mplementar calqer fncón el álgebra e Boole.. Como aproxmaor e fncones reales. Cano τ(g(x toma valores contnos (R el perceptrón se pee tlzar como n aproxmaor e fncones reales. S τ es lneal, o sea τ(g(xg(x, el perceptrón se converte en n aproxmaor e fncones lneal teneno {f(x, f(x,, f (x, } como fncones báscas...3. Interpretacón vectoral: comportamento geométrco el perceptrón. El espaco e entraa (R sobre el qe opera el perceptrón, pee conserarse como n espaco vectoral en el qe caa no e los posbles valores e entraa son pntos (vectores efnos sobre cho espaco. Así n perceptrón constrye na fncón entre el espaco e entraa y e sala realzano versas manplacones y transformacones entre los espacos vectorales exstentes (Fg. 3. En prmer lgar se realza na transformacón no lneal e n espaco e entraa X e mensón a no V e mensón, one. Sobre cho espaco actúa na fncón g, enomnaa scrmnante lneal. Esta se pee expresar e la sgente manera: H g( v ; ( v ( v H s v s v φ( x v ( φ x < (5 one H (v es la stanca mínma entre el vector v y el hperplano H formao por la ecacón g. Este hperplano H nce a s vez na hpersperfce H' en el espaco e entraa cya ecacón es g(x.

5 ítol el capítol 3 Fnalmente g se pee volver a transformar e manera no lneal a través e la fncón τ con objeto, por ejemplo, e lmtar el rango e la fncón mplementaa por el perceptrón, pesto qe g, al ser rectamente proporconal a H, toma valores entre (-,. S la fncón τ es el tpo escalón ( (g o (g-(-g, el perceptrón realza na partcón lneal el espaco φ, asgnano a too patrón v por encma e H (g> y (o - a too patrón por ebajo e cho hperplano (g<. De esta manera poemos constrr n clasfcaor e os clases...4. Capaca aproxmatva e los perceptrones cano actúan como clasfcaores. n clasfcaor e os clases, como el perceptrón, tenrá máxma capaca aproxmatva s para patrones e entraa calesqera (qe peen ser por ejemplo los patrones e entrenamento es capaz e mplementar la práctca totala e las posbles solcones o cotomías, qe en el peor e los casos será n. Deberemos por lo tanto calclar el número e cotomías qe el perceptrón es capaz e realzar para patrones e entraa e mensón, D p (,, para así cantfcar s poer comptaconal. Pesto qe el perceptrón scrmna tlzano n hperplano H stao sobre el espaco V, D p venrá ao por el número e cotomías lneales exstentes en este espaco e mensón. Así D p (, L(, seno L(, el número e cotomías lneales para patrones (Fg.4. Para calclar L(, eberemos e tener presente qe la stacón e los patrones en el espaco V nflye en el número e separacones lneales qe poemos realzar. Asmremos el peor e los casos posbles qe es qe los patrones estén en poscón general en el espaco -mensonal. Esto sgnfca qe no exste nngún sbconjnto e pntos qe caga en n hperplano (--mensonal (Fg. 5. El número e cotomías lneales para este caso lo enomnaremos L G (,. En general tenremos qe L(, L G (, pesto qe en la práctca los patrones no tenen qe estar en poscón general y por lo tanto el número e cotomías será menor. H X H x - g> g> v H V g - a b τ g ( v H ( v ( v H s v s v < DL Fgra 3. El perceptrón como n procesaor geométrco. DL DL DL3 DLcotomía lneal a b DL Fgra 4. Dcotomías lneales en R para os posbles conjntos e 3 pntos. a Para pntos en poscón general, b Para pntos en poscón no general.

6 4 ítol el llbre c c a b Fgra 5. Partcones lneales e 3 pntos en R. a Para pntos en poscón general, b Para pntos en poscón no general. El número e cotomías lneales en V para pntos en poscón general, L G (,, vene aa por la sgente expresón (p.37; lsson, 965: > > ( s s L, (6 G s s one es el coefcente bnomal. (! (!! eneno en centa qe para pntos en poscón general el nmero e cotomías lneales exstentes es, la probabla e qe na e estas posbles cotomías sea mplementaa por el perceptrón, enomnaa P G (, es (p.39; lsson, 965: P G (, s > s (7 Anqe esta ecacón se pee expresar tambén e la sgente manera (p.7; Da, 973: > ( s P, (8 G s S tomamos proporconal al número e parámetros ajstables el perceptrón,, qea como λ ( (9 Para λ exste n efecto mbral tal qe s <(, P G (, a mea qe y s >(, P G (, a mea qe.

7 ítol el capítol Dseño el perceptrón: Balance entre s poer comptaconal y s mensón VC. En el peor e los casos, patrones en poscón general, D p (, L G (, y la probabla e qe na posble cotomía pea ser mplementaa por el perceptrón, P p (,, es gal a P G (,. A tenor el apartao anteror, s qeremos qe el perceptrón pea mplementar calqer posble cotomía, lneal en V pero no lneal en X, eberemos asegrar qe sea lo sfcentemente grane y qe el nmero e patrones a clasfcar no excea el oble el número e parámetros el perceptrón,. De esta manera poemos garantzar qe n complcao problema e clasfcacón e patrones en n espaco e entraa e mensón, na vez transformao a n espaco e mensón elevaa ( sea con bastante segra lnealmente separable ya qe la probabla e qe pea ser mplementao por el perceptrón Pp(,, sempre y cano el número e patrones a clasfcar,, no excea e (. Poemos así ecr qe el perceptrón porá resolver calqer problema e clasfcacón e patrones en poscón general ( el problema es lnealmente separable en φ s y solo s: <( con grane (>>, ( Pero en general úncamente vamos a poer calclar e manera fable los parámetros el perceptrón s el sstema e ecacones (resltante e mponer n prefjao valor e la sala el perceptrón para caa no los vectores e entraa está sobreetermnao (p.69; Da, 973, es ecr cano hay mchas más ecacones qe parámetros: >> ( Dcho e otra manera, úncamente nos asegraremos e qe los parámetros calclaos tengan bena capaca e generalzacón (más allá e los vectores extraíos el problema a resolver s el error e estmacón e chos parámetros es peqeño. La teoría e aprenzaje y generalzacón e Vapn (Vapn, 995 nos asegra qe esto es así s y solo s /h> one h es la mensón VC en este caso el perceptrón. Es fácl emostrar, empleano L G (,, qe la mensón VC el perceptrón es gal a, esto es el número e parámetros a calclar. Por consgente la ecacón qea fnalmente e la sgente manera: >( ( Como se pee ver exste na total ncompatbla entre las ecacones ( y (. En la práctca no se pee ntrocr n número elevao e procesaores-φ ( ya qe reslta mposble estmar e manera aecaa los parámetros con n conjnto fnto e atos e tamaño. Debe exstr forzosamente en el seño el perceptrón, qe mplca escoger n certo tpo y número e procesaores-φ, n balance entre s capaca e aproxmacón y capaca estmatva. Pesto qe no es posble sbr nefnamente, se eberá escoger n certo tpo e procesaores-φ qe permta mplementar al perceptrón na cotomía útl para el problema en cestón teneno sempre presente qe los parámetros e está solcón pean ser calclaos fablemente a través e los patrones e entrenamento sponbles. Para conclr este apartao remos qe el análss efectao ha so realzao para el peor e los casos posbles (orst-case analyss, es ecr para el caso en el qe se spone e patrones en poscón general. En la práctca estamos en mejores concones ya qe los patrones peen no estar en poscón general. Así nos poemos encontrar qe las concones ( y ( se relajen peno ncrementar teneno n fjo por encma e lo aceptable y consgeno a pesar e ello n sstema con na bena capaca e generalzacón... Algortmos e aprenzaje no paramétrcos

8 6 ítol el llbre En este apartao hablaremos e versos algortmos e entrenamento no paramétrcos, es ecr algortmos qe no necestan tener conocmento e las formas e las fncones ensa e probabla e los patrones e entraa y sala. De esta manera peen ser aplcaos a calqer tpo e problema. Báscamente el problema el aprenzaje en el caso el perceptrón se pee escomponer como veremos a contnacón en os pasos:. Proponer na fncón a mnmzar cya solcón mplqe consegr lo qe persegmos (por ejemplo, consegr n scrmnante qe separe os clases lnealmente separables o qe separe os clases lnealmente no separables e la mejor forma posble.. Proponer n métoo e optmzacón qe nos permta a través el conjnto e entrenamento (e tamaño obtener la solcón eseaa. Esto es, n algortmo qe sea capaz e calclar (en n tempo fnto los parámetros el spostvo qe sean solcón el sstema e ecacones resltantes. Pesto qe se pee proponer nfna e fncones a mnmzar y métoos e optmzacón qe mnmcen chas fncones, restrngremos nestro esto a varas fncones y en concreto a n únco métoo e optmzacón qe las mnmce, el basao en el escenso (o ascenso e graente estocástco. Aemás analzaremos chos algortmos para os casos ben ferencaos: Cano τ es na fncón el tpo escalón y por ello no ervable (perceptrones tpo I Cano τ es na fncón real, contna y ervable (perceptrones tpo II Flosofía general e los algortmos. Antes e comenzar a estar versos algortmos e aprenzaje para perceptrones el tpo I y II, comentaremos el mecansmo general e toos ellos ncano la ferenca en el planteamento entre los qe están basaos en n tpo otro e perceptrones. Como hemos comentao, n algortmo e aprenzaje en s forma más smple consste en n crtero a mnmzar y n métoo e optmzacón qe efectvamente mnmza el crtero propesto. Cabe ecr qe al no exstr crteros y métoos e optmzacón nversalmente mejores qe los emás, es ecr qe fnconan mejor para calqer tpo e stacones, en la práctca para n problema partclar la eleccón fnal e n algortmo se eberá efectar probano varos y veno cal e ellos encaja más con los objetvos e seño planteaos (tempo e cálclo, cala e la solcón obtena, etc.. eneno presente esto, hablaremos e n certo tpo e algortmos qe báscamente se han escogo porqe son my sencllos e entener e mplementar y fnconan aceptablemente en gran varea e stacones. Dchos algortmos están basaos toos ellos en el métoo e optmzacón el graente. Cestones prevas acerca e la forma e la fncón e coste J Como hemos comentao exsten os aproxmacones algorítmcas epeneno e s el perceptrón es ervable o no. En el caso e qe no lo sea (perceptrón el tpo I y τ sea el tpo escalón (g, τ no es ervable cano g y a la vez para g ferente e cero la ervaa vale cero. Por lo tanto no se pee plantear n algortmo basao en escenso e graente mnmzano na fncón J qe epena e la sala el perceptrón. Por ello la estratega e entrenamento empleaa para este tpo e perceptrones es mnmzar fncones J qe tlcen la fncón scrmnante g(x (Fg.7. En cambo para el otro tpo e perceptrones, la fncón J pee epener rectamente e s sala (Fg. 8.

9 ítol el capítol 7 x - (x - (x - g(x b f(x z {(x,z }.. $OJ $SHQGL]DH e Fgra 7. Aprenzaje en n perceptrón el tpo I con τ(g(x-b. x - (x - (x g(x y f(x - {(x,y }.. $OJ $SHQGL]DH e Aprenzaje para τ no ervable. Fgra 8. Aprenzaje en n perceptrón el tpo II. Cano τ es el tpo escalón, el perceptrón mplementa n clasfcaor. S tlzamos na fncón τ(g(x-b (o τ(g(x-b-(b-g(x, one es la fncón escalón, g(x jega el papel e n scrmnante generalzao (no lneal. De esta manera el clasfcaor asgna a la clase ("" lógco en el caso e fncones booleanas a too x tal qe g(x>b y a la clase ("" lógco a too x tal qe g(x<b. S g(xb en prncpo el clasfcaor pee no asgnar el patrón e entraa a nngna clase (estao e ncertmbre o ben asgnarla, por ejemplo, a la clase. A b se le conoce con el nombre e margen. Pesto qe aqí el perceptrón clasfca patrones e entraa nos nteresa estar algortmos qe en na solcón en casos en los qe las clases no sean lnealmente separables en el espaco e entraa, ya qe son este tpo e problemas los qe nos vamos a encontrar en la práctca con na mayor ncenca. Como hemos vsto s transformamos el espaco e entraa e mensón a no e mensón mcho mayor el problema es más ssceptble e ser lnealmente separable. Iealmente s el problema sería lnealmente separable, pero como hemos vsto para n conjnto fnto e atos e entrenamento e tamaño necestamos qe el sstema e ecacones (qe ebe ser reselto rante el aprenzaje esté sobreetermnao, es ecr qe el número e parámetros el sstema ( sea mcho menor qe. Así s el problema e clasfcacón no es lnealmente separable en X, probablemente tampoco lo será en el espaco transformao V ya qe no porá ser emasao grane en relacón a. Por consgente los

10 8 ítol el llbre algortmos e aprenzaje qe nos nteresan eberían e ser capaces e resolver problemas lnealmente no separables en el espaco transformao. Aqí nos poemos encontrar os tpos e aproxmacones o planteamentos a segr a la hora e señar chos algortmos e entrenamento (Fg 9.: Incalmente se señan algortmos para el caso separable y posterormente se hacen las mofcacones oportnas para consegr n algortmo estable para el caso no lneal. Se constryen rectamente algortmos qe reselvan el caso no separable y por extensón el caso separable. Algortmos para patrones lnealmente separables PLR Relajacón Algortmos para patrones lnealmente no separables PLR termal, Relajacón termal, LS Fgra 9. Prncpales algortmos e aprenzaje basaos en escenso e graente. PLR (Pepceptron Learnng Rle El PLR (cap.4; lsson, 965, 99 entrena perceptrones el tpo II y converge en fntas teracones para el caso en el qe los patrones sean lnealmente separables en el espaco transformao V. En caso e qe esto no scea el PLR no convergerá, osclano nefnamente sobre la regón en la qe los patrones e ambas clases se solapan. Será entonces necesaro mofcar lgeramente cho algortmo para garantzar tambén aqí s convergenca. Algortmo e entrenamento en línea sn margen (b. Dervacón geométrca. Sea n conjnto e entrenamento formao por patrones. Dcho conjnto se pee vr en os sbconjntos y formaos por patrones pertenecentes a la clase y respectvamente. La sala el perceptrón ebe ser postva para patrones e la clase y negatva (o cero para patrones e la clase. Pesto qe poemos tlzar calqer tpo e procesaor-φ, los patrones staos en el espaco e entraa X (pertenecentes a y a e mensón son transformaos, e manera no lneal en el caso general, a n espaco V e mensón. Incalmente sponremos qe los patrones en el espaco transformao son lnealmente separables. El problema el entrenamento qea entonces reco a bscar sobre el espaco e pesos e mensón n vector tal qe permta separar lnealmente el conjnto e patrones transformaos (. Según lo cho el vector e pesos qe ebemos bscar cmple la sgente ecacón: g g ( x φ ( x ( x φ ( x < x > x (5

11 ítol el capítol 9 o expresaa e manera compacta en notacón vectoral: ' > ' < φ( x ' con, ; φ ( x { }, { }, j j ( x φ φ j ( x, { x }, { x } (6 one el vector es el vector resltante e transformar x al espaco V, amentao en n componente cyo valor es sempre gal a. Así poemos star sobre el espaco e pesos los vectores transformaos y amentaos (Fg.. Dchos patrones forman hperplanos qe ven el espaco e pesos. Exstrá en cho espaco na regón, enomnaa regón e la solcón, one toos los pesos qe allí resan serán solcón e las ecacones (5 y (6 (Fg. a. El PLR ebe entonces a partr e n valor ncal e los pesos (n pnto sobre el espaco e pesos alcanzar cha regón (Fg. b. H ' Regón e la solcón X Fgra. ransformacones e espacos y lgar geométrco el vector e pesos amentao ' qe consge separar correctamente los patrones e entrenamento. W [] [ ] PLR a Fgra. a Lgar geométrco e la solcón (la flecha nca la zona one el procto escalar entre y ' es postva. b Evolcón el PLR hasta alcanzar na posble solcón. b

12 ítol el llbre Spongamos qe para algún patrón qe pertenece a la clase el perceptrón tene na respesta errónea (< o netermnaa (. Esto sgnfca qe ' está o ben stao en el lao negatvo el hperplano formao por Y o jsto encma e él. Este error pee ser corrego moveno ' al lao postvo el hperplano. El camno más recto es a través e la línea normal a cho hperplano (Fg. a. Basta para ello smar al vector n vector qe tenga la msma reccón y sento qe (c (Fg. b. De esta manera poemos llegar a plantear el PLR (en s versón en línea tal y como sge: Paso. Escoge (aleatora o cíclcamente n patrón x. Paso. Calcla como [ f(x fm(x ] Paso 3. S x clase y <',> entonces ''c (<.,.> enota procto escalar Paso 4. S x clase y <',>> entonces ''-c Paso 5. S toavía qean patrones por clasfcar correctamente ve a paso, sno acaba. ' [] [] a b Fgra. a Geometría exstente entre ', y H. b Efecto e ncrementar ' con c. En este algortmo qea por etermnar el valor e c, qe etermna el ncremento el peso. La opcón más evente es tlzar n valor fjo e c para toos los casos. Pesto qe la stanca qe separa a e pasar al otro lao el hperplano varará mcho epeneno e caa caso, esta solcón pee hacer qe el algortmo converja más lentamente en el caso e qe c sea emasao peqeño en relacón a cha stanca o pee nclso crear certa nestabla s c es emasao grane. Por lo tanto, es convenente tlzar n valor e c qe sea proporconal en caa caso a la stanca qe separa a el hperplano: ' c (7 La convergenca e este algortmo en n número fnto e teracones, anqe en n tempo qe crece exponencalmente con la mensón el vector e pesos, qea garantzaa para c> y λ sempre y cano las clases sean lnealmente separables (Ver cap. 5; lsson, 965, 99 ó cap. ; nsy, 969, 988 Algortmo e entrenamento en lotes con margen (b>. Descenso e graente sobre la fncón e coste el perceptrón J p. Defnmos na fncón e coste a mnmzar e la sgente manera:

13 ítol el capítol ( ( ( ( ( p b J,,, ; (8 one (' es el conjnto e mestras e entrenamento qe pertenecen a la clase mal clasfcaas por ' y (' es el conjnto e mestras e entrenamento qe pertenecen a la clase mal clasfcaas por '. Esta fncón J p es sempre y úncamente vale cero cano toas las mestras están correctamente clasfcaas. Recoremos qe el perceptrón asgna n patrón e entraa x a c s y sólo s <',> b y a la c en caso contraro. S calclamos el graente e J p respecto a ' la ecacón teratva qea e la sgente manera: [ ] [ ] [] ( [] ( c (9 Como se pee aprecar el PLR en línea con b es n caso partclar e esta ecacón. Destacar qe la ecacón (9 realza escenso e graente e tpo estocástco. La aleatorea provene e las mestras e entrenamento qe en el caso general, cano no son etermnstas, son representatvas e na fncón ensa e probabla. El algortmo e relajacón. Defnmos e na fncón e coste a mnmzar enomnaa J r : ( ( (,,, ; r b b b J ( one e nevo (' es el conjnto e mestras e entrenamento qe pertenecen a la clase mal clasfcaas por ' y (' es el conjnto e mestras e entrenamento qe pertenecen a la clase mal clasfcaas por '. Al calclar s graente respecto a ' la ecacón teratva qea ahora e la sgente manera: [ ] [ ] [ ] ( [ ] ( [] [ ] ( [ ] ( b b c b b c ( one <',>b (' es la stanca mínma entre ' y el hperplano formao por la ecacón <',>b. De esta manera s c> caa membro e los smatoros contrbrá a qe ' salte al otro lao el hperplano y así la clasfcacón e esa mestra será ya correcta. Varantes para el caso no separable. na stacón más acore con la reala es aqella en la qe las clases en el espaco transformao φ no se pean separar lnealmente. Entonces el objetvo el aprenzaje pasaría a ser el e encontrar n vector e pesos qe separara lnealmente las os clases e manera qe el número e errores cometo (o la

14 ítol el llbre probabla e error fera mínmo. Como ya se ha comentao los os anterores algortmos, el PLR y el e relajacón, no garantzan la convergenca haca na solcón en este caso. S analzamos la mecánca e estos algortmos poemos prever qe el hperplano constro por el vector e pesos qee osclano en la zona one está el solapamento entre clases. Entonces, para acabar con el entrenamento, bastaría establzar la solcón provocano qe el vector e pesos ejara e moverse. na manera smple e hacer esto sería r smnyeno c a mea qe el entrenamento avance. Otra solcón posble sería la comentaa en (Frean, 99 qe a contnacón vamos a ver en el contexto el PLR en línea, pero qe pee ser aplcao en el resto e los algortmos. PLR ermal na senclla solcón para parar el algortmo pasaría por mover el vector e pesos ncalmente haca calqer vector no mporta cal sea la stanca entre ellos y hacer qe a mea qe el entrenamento fera avanzano, ' úncamente se movera haca aqellos vectores qe estveran caa vez más cerca e él. De esta manera haríamos qe el vector e pesos se stara sobre la regón one esta la frontera entre clases y qe convergera haca n pnto stao en cha regón. Llegamos entonces al PLR termal (Frean, 99 qe poría qear como sge: for ( t ; t< rlen; t{ Paso. Escoge (aleatoramente n patrón X pertenenente a. Paso. Calcla como [ f(x fm(x ] Paso 3. Calcla (emperatra o( - (t/rlen Paso 3. c' c exp(- <',> / Paso 3. S x clase y <',> entonces ''c Paso 4. S x clase y <',>> entonces ''-c } El algortmo LS (Least ean Sqare Introccón al LS: Regresón lneal por mínmos caraos Spongamos qe tenemos n vector aleatoro X y na varable aleatora Y, qereno constrr n estmaor e Y, con na fncón f(x qe en el caso lneal tene la sgente expresón: Y f ( X x x x ( Para calclar necestamos na mea qe nos nqe la cala e la aproxmacón. Entonces poremos calclar para qe mnmce (o maxmce cha mea. En el caso e conserar el crtero e mínmos caraos, esta mea es la sgente: [( Y Y ] D E (3 XY Así ebemos calclar tal qe mnmce D. S ervamos D respecto a e galamos a cero obtenemos en este caso el valor e qe mnmza D. S lo hacemos obtenemos las enomnaas ecacones normales o e Wro-Hopf: E [( y f ( x ] R YX R XX (4

15 ítol el capítol 3 one R YX es el vector e correlacón crzaa entre Y y X; R XX es la matrz e atocorrelacón el vector aleatoro X. La solcón e esta ecacón nos a el vector e pesos óptmo qe en el caso e qe exsta la nversa e la matrz R XX es : R XX R YX (5 na ecacón teratva basaa en el escenso e graente qe obtenría el msmo resltao es la sgente: [ ] [ ] [( y f ( x[] ] [] ( E η (6 [] c R R [] YX XX Estmacón e las ecacones normales. LS. En la práctca la estaístca e Y y X son esconocas, y por lo tanto no se pee obtener empleano las ecacones (5 o (6 sno qe obtenremos na estmacón e él, gracas a estmar chas ecacones a través e n conjnto e entrenamento {(x,y }..-: [ ] [ ] [( y f ( x[] ] [] R XX R YX (7 E η [] c RYX RXX [] ; [ ] (8 Qea por etermnar los estmaores e R XX y R YX. Los estmaores qe se peen emplear en los os casos son aqellos qe tlzan toas las mestras se entrenamento seno los más habtales los sgentes: R R XX YX x x y x (9 (3 S se tlza la ecacón (8 tambén es posble constrr los enomnaos estmaores nstantáneos qe reqeren úncamente n par e mestras: con mo. R R XX YX [] x x [] y x (3 (3 Estas últmas os ecacones jnto con la (8 es lo qe se conoce con el nombre e algortmo o regla LS. Por lo tanto, el algortmo LS es na técnca qe bsca n estmaor e la solcón e las ecacones normales a través e realzar escenso e graente qe es en este caso estocástco, ya qe los valores etermnstas e R XX y R YX son aproxmaos con estmaores qe son en sí varables aleatoras.

16 4 ítol el llbre De hecho el algortmo LS se erva tambén a partr e estmar la ecacón (3, tlzano la fncón (y-f(x² y aplcano la técnca el escenso e graente para mnmzar cha fncón. Igal se poría ecr e las ecacones (8 (9 y (3 qe son las resltantes e aplcar escenso e graente sobre la sgente fncón: E [( ( ] y f x ( y f ( x (33 LS y el perceptrón e tpo I La fncón a mnmzar en s expresón más general, tlzano la técnca el escenso e graente qe permta estmar la solcón e las ecacones normales, es en el caso el perceptrón e tpo I: J s ( ;(, b,,(, b E ( b ( a ( a j j [ ] ( b (34 one b a s clase ( y b -a (a> s clase (. Esta ecacón cano converge a E X [(b -<',>²] (35 S a E X [(b -<',>²] se pee escomponer e la sgente manera: E X [(b -<',>²] E X [(g o (x -<',>²] (-E X [g o ²(x] (36 one g o (x P(c\x-P(c\xP(c\x-, la fncón scrmnante qe hace qe la P(E sea mínma. Por lo tanto mnmzar la ecacón (35 respecto e ', pesto qe (-E X [g o ²(x] no epene e él, eqvale mnmzar E X [(g o (x -<',>²], la ferenca promeo entre el mejor e los scrmnantes posbles g o (x y el scrmnante el perceptrón <',>. Por consgente poemos ecr qe mnmzar (34 cano a, mplca e manera asntótca (cano mnmzar la ferenca promeo entre el scrmnante óptmo y el el perceptrón. Anqe es necesaro ecr qe esta mnmzacón no garantza obtener n scrmnante lneal con la menor P(e posble ya qe E X [(g o (x -<',>²] pone énfass en aqellos pntos en los qe f X (x, la fncón ensa e probabla e X, es grane en lgar e en aqellos pntos en los qe g o (x. En el caso e qe exsta poco solapamento entre las clases la regón G formaa por pntos cercanos a go(x tenrá poco mpacto en el valor e E, ya qe en esa zona f X (x. En cambo s exste n gran solapamento entre las os clases la contrbcón e G a la ntegral será conserable ya qe f X (xg será grane (Fg. 3. Así poemos esperar qe mnmzar J s fnconará mejor en aqellos casos one el solapamento entre clases sea conserable. El algortmo e aprenzaje qe se erva e aplcar la técnca e escenso e graente a la ecacón (34 es el sgente: [] ( [] a a [] ( j j [ ] [ ] c (37 j

17 ítol el capítol 5 y s versón en línea: [ ] [ ] ( ( [] a [] a [] c s clase s clase con mo (38 f X (x\cp(c f X (x\cp(c f X (x\cp(c f X (x\cp(c go(x go(x f X (x f X (x go(x go(x a b Fgra 3. a solapamento peqeño entre clases: la regón cercana a g o (x tene poco efecto en la ntegral. b solapamento grane entre clases: la regón cercana a g o (x tene n gran efecto en la ntegral..3. Aprenzaje para τ ervable. LS. Cano τ es na fncón real (contna y ervable el perceptrón mplementa a n regresor e fncones. La técnca más senclla para consegr n algortmo e aprenzaje sería aplcar escenso e graente sobre la sgente fncón: J E XY [( ( ] y f x ( y f ( x (39 one {(x, y } es el conjnto e entrenamento y f(x es la sala el perceptrón. El algortmo teratvo qe bsca ' tal qe mnmza J qearía e la sgente manera: [] c g [ ] [ ] ( y f []( x τ ( x (4 [] y en la versón en línea: g [ ] [] c[] ( y f []( x τ ( x con mo (4 [ ] Pesto qe J estma E ( y f ( x XY en el caso e qe sea n ben estmaor, la solcón obtena e mnmzar sobre J será cercana a la qe se hbera obteno e mnmzar E [( y f ( x ] XY (Fg. 4. S tenemos en centa qe: []

18 6 ítol el llbre E XY [( y f ( x ] EXY EY X [ y x] f ( x [( \ ] EXY ( y EY \ X [ y x] [ ], mnmzar cha esperanza mplca mnmzar el error carátco meo entre [ y x] el caso e qe y valga s xclase y valga s x clase : [ y x] P( X c x E Y \ X, por lo qe mnmzano J se pee constrr n estmaor e P( X c x E Y X \ y f ( x. En, necesaro en el caso e constrr n estmaor el clasfcaor e Bayes (el clasfcaor con la P(E mínma para os clases. [ ] ( y ( f x J E ( y f ( x arg mnj D E XY [( y f ( x ] [ ] ( [ y x] X mnd mne ( f ( x f ( x arg arg XY o ; fo x EY \ s J D ( s f x; f ( x o ( ( f f x; f o x Fgra 4. Relacones exstentes entre lo eseao y lo obteno tlzano el LS..3. El perceptrón como clasfcaor Gassano. Antes e fnalzar el esto el perceptrón vamos a estar n caso e nferenca estaístca íntmamente lgao con el perceptrón. Sean os clases gassanas cyas fncones ensa e probabla están efnas e la sgente manera: one m j f X C j ( x ( π ( x m K ( x m j e K j j, es la esperanza e clase j y K es na matrz e covaranzas común para las os clases. (4 Se pee emostrar qe en este caso la probabla a posteror e pertenecer a la clase es gal a: ( x P C K e ( m m ; a ; a x ; o m o K m m K ( ( C P C m ln P (43 Por lo tanto na fncón scrmnante tal qe mnmze la probabla e error en la clasfcacón será gal a:

19 ítol el capítol 7 g g o o ( x P( C x P( C x P( C x ; g ( x [, ] e ( x P( C x ; g ( x [, ] a o e e a a o (44 one en el prmer caso el mbral e ecsón estará en y en el segno en ½. Como vemos la forma e la fncón scrmnante necesara para constrr n scrmnante óptmo (en el caso e os clases gassanas con éntca matrz e covaranzas es gal qe la el n perceptrón con na fncón e actvacón el tpo sgmoe. En el caso e tlzar como algortmo e entrenamento el LS pesto qe cho algortmo constrye n estmaor e E Y X [ y x] P( X c x \ (en el caso e qe y valga s xclase y valga s x clase, el perceptrón porá ser n ben estmaor el scrmnante óptmo sempre qe haya sfcentes atos para entrenar al sstema. Referencas (Da, 973 Da, R.O. Hart, P.E. "Pattern Classfcaton an Scene Analyss", Wley-Interscence, 973 (Frean, 99 Frean, arcs. "A hermal Perceptron Learnng Rle", eral Comptaton, Vol. 4, pp , 99 (Koso, 99a Koso, Bart. "eral etors for Sgnal Processng", Prentce-Hall, 99 (nsy, 969, 988 nsy, arvn L. Papert, Seymor A. "Perceptrons. An ntrocton to Comptatonal Geometry", 988 Expane Eton, I Press, 988 (lsson, 965, 99 lsson, ls J. "he athematcal Fonatons of Learnng achnes", organ Kafmann, 99