Regresión no lineal mediante la evolución de modelos Híbridos de Redes Neuronales 1

Transcripción

1 Regresón no lneal edante la evolucón de odelos Híbrdos de Redes Neuronales César Hervás Departaento de Inforátca y A.N. Unversdad de Córdoba 407- Córdoba- {chervas}@uco.es Francsco J. Martínez Facultad de Cencas Econócas y Epresarales (ETEA). Unversdad de Córdoba {festud}@etea.co. Pedro A. Gutérrez Aarón Ruz Departaento de Inforátca y A.N. Unversdad de Córdoba 407- Córdoba {0gupep0ruoa}@uco.esT Resuen El presente trabao es una prera aproxacón a la foracón de odelos de redes neuronales con undades ocultas de tpo híbrdo (sgodes producto) que sendo aproxadores unversales puedan utlzarse coo odelos no lneales de regresón cuando las característcas del espaco de las varables ndependentes lo aconseen. Dada la dfcultad que presenta la aplcacón de algortos de aprendzae de búsqueda local para esta tpología de odelos se utlza un algorto de prograacón evolutva donde se defnen operadores de utacón específcos. Los experentos realzados con cuatro funcones de prueba las tres funcones de Fredan y una propuesta por los autores uestran resultados uy proetedores en esta dreccón.. Introduccón El análss de étodos de regresón no lneal es una de las áreas de ayor nterés en la actualdad en el capo del odelado de ssteas dnácos reales en dferentes áreas de nvestgacón. Asocado a este análss se han desarrollado en los últos años dferentes odelos de redes neuronales artfcales para regresón y clasfcacón redes de tpo perceptrón ultcapa (MLP) basadas en la utlzacón de undades de base sgode US coo funcones de transferenca en los nodos de la capa oculta de la red; funcones de base radal (RBF) tabén llaadas funcones de ventana radal redes neuronales de regresón generales (GRNN) desarrolladas por Specht [] y redes ultplcatvas y dentro de ellas redes de undades de base producto UP []. Por otra parte a pesar del carácter de aproxadores unversales de las redes neuronales basadas en undades de dferente tpo (MLP RBF y UP) la velocdad de aprendzae y la copledad de la red fnal pueden dferr de fora sgnfcatva de un caso a otro. La velocdad de convergenca y la copledad de las redes utlzadas se converte en uno de los prncpales probleas a resolver. Este problea ha sdo abordado desde dferentes puntos de vsta. Una de las propuestas en este sentdo ha sdo la foracón de odelos híbrdos con el dseño de redes neuronales con dferentes tpos de undades en la capa oculta. Así se han defndo odelos híbrdos donde los nodos de la capa oculta tenen dferentes funcones de actvacón/transferenca. Entre estos trabaos erece la pena destacar por una parte los trabaos de Duch y Jankowsk [3] en los que se proponen dferentes funcones de transferenca en los nodos de la capa oculta y por otra la propuesta de Cohen-Intrator [4]-[5] que conteplan la dualdad entre funcones que utlzan aproxacones de funcones basadas en proyeccón (funcones de base sgode de base producto etc) y funcones de base radal. Concretaente la técnca utlzada se basa en un agrupaento de los datos en clases (que corresponde a la dvsón del espaco de las varables ndependentes en regones) la seleccón del tpo de nodo a partr de técncas Bayesanas (BIC Bayesan Inforaton Crtera) o de la técnca MDL (nu descrpton length) y la poda del odelo a partr del análss de sensbldad de los paráetros del so. Desde un punto de vsta analítco es de destacar en este contexto el trabao de [6] donde se proporcona una base de tpo teórco a esta descoposcón Este trabao ha sdo fnancado por el MCYT proyecto TIC C05-0 y con fondos FEDER.

2 34 Redes Neuronales Evolutvas probándose que una funcón contnua se puede descoponer en dos funcones utuaente excluyentes una de tpo radal y la otra parte de tpo cresta (basada en la proyeccón); aunque es dfícl separar la parte radal de una funcón y a contnuacón proceder a estar la aproxacón funconal basada en una proyeccón y no quedar atrapados en óptos locales en el procedento de nzacón de los errores coetdos [7]. En general no hay nngún resultado de tpo teórco que uestre que cualquer funcón puede ser descopuesta en dos partes excluyentes asocadas a otras topologías de proyeccón dferentes a las anterores. El propósto de este trabao es ostrar las preras nvestgacones sobre la utlzacón de odelos híbrdos asocados a dos tpos específcos de funcones coo aproxadores funconales de tpo proyeccón: las funcones de base undades producto y las funcones de base undades sgode enfocados a la resolucón de probleas de regresón. Por otra parte entras que en la ayoría de las nvestgacones desarrolladas para deternar odelos híbrdos se utlzan étodos basados en el gradente para la optzacón de los paráetros del odelo [7] en nuestro trabao utlzaos algortos de coputacón evolutva dada la copledad de las funcones de error obtendas cuando consderaos coo obetvo la nzacón de los errores cuadrátcos coetdos al austar los odelos de regresón a los datos de entrenaento generados edante las funcones de prueba. Aunque soos conscentes de las eoras que podrían obtenerse ncorporando al algorto evolutvo un algorto de búsqueda local que pertera afnar la precsón y eorar la velocdad de convergenca heos optado en este prer estado de la nvestgacón por no hbrdar el algorto evolutvo. El odelo propuesto ha sdo evaluado en cuatro funcones de prueba: las tres utlzadas por Fredan y una nueva especalente coplea defnda por nosotros. Los resultados obtendos uestran un rendento coparable al de otras técncas de regresón consoldadas.. Característcas de las funcones base de tpo sgode y de tpo producto En prer lugar vaos a descrbr breveente alguna de las característcas de los dos tpos de funcones de base las funcones potencales y las funcones sgodes que vaos a utlzar en los odelos híbrdos. Las preras tenen coo funcones de base p w B ( xw ) x k k= ; () k k entras que las segundas son de la fora B ( xu ) p expu0 ux para = () Nos planteaos a contnuacón las característcas que debe de tener un problea de regresón para que se auste eor con undades de tpo producto versus undades de tpo sgode (el hecho teórco de que abas funcones de base sean aproxadores unversales no plca que toda funcón contnua sea fáclente austable a través de una cobnacón lneal de ellos). La cuestón prncpal es s a partr de los datos desconocendo la funcón que los generó podeos deternar algunas propedades de la funcón que pertan elegr un odelo u otro o ben la ezcla ntelgente de dferentes odelos. La respuesta a esta cuestón es coplea y no será respondda en este trabao que pretende ser una prera aproxacón a este problea desde la hbrdacón de odelos. Desde un punto de vsta teórco señalareos dos aspectos portantes relaconados con las falas de funcones que vaos a hbrdar: propedades de acotacón y propedades relaconadas con la capacdad de generalzacón del odelo híbrdo propuesto. En prer lugar entendeos que una de las propedades que se llevan eor con las undades producto es que la funcón subyacente a los datos sea no acotada. S consderaos coo dono de defncón todo el espaco R n las funcones MLP y RBF están acotadas superor e nferorente. Sn ebargo una funcón basada en undades PU no está acotada: que: S p w ( ) PU f x x p w l f ( ) l PU x x x entonces se tene x (3)

3 IV Congreso Español sobre Metaheurístcas Algortos Evolutvos y Bonsprados MAEB para deternadas eleccones de los paráetros del odelo. Sn ebargo para las undades sgodes MLP y las RBF f ( x ) (4) MLP e xw f xc r RBF ( ) e x (5) Algo parecdo se puede afrar en el caso de las funcones dervadas parcales de las funcones MLP con respecto a cada varable. Estas funcones son acotadas. ( ) xw fmlp x we xw x ( e ) xw we w xw (6) ( e ) Noralente los datos que se tenen coo nforacón para la resolucón de un problea de regresón pertenecen a un conunto copacto que es en donde se realza el odelado. En este conunto sepre es posble aplcar cualquera de los odelos MLP o RBF. Sn ebargo la capacdad de generalzacón para datos fuera del dono copacto en el que se encuentran los datos de entrenaento no sería buena en el caso de funcones no acotadas. De esta fora una característca que puede nflur en la decsón sobre qué odelo de red es el adecuado es el coportaento en los bordes del dono. Una hpótess sería la sguente: s exste gran dferenca entre el valor de los datos en los bordes del dono y los valores dentro del dono posbleente una estructura de odelado a través de redes de tpo PU se auste eor. (Esto podría estar relaconado con el coportaento de las dervadas parcales de la funcón). El segundo aspecto es la capacdad de generalzacón del odelo híbrdo propuesto. Al consderar una fala de funcones forada por la unón de las funcones de base sgode y las funcones basadas en undades producto se eora la capacdad de reducr el resgo epírco es decr el error obtendo con los datos de entrenaento sn ebargo se plantea la duda de la capacdad de generalzacón de la nueva fala de funcones. En general a ayor copledad de la fala de funcones enor suele ser la capacdad de generalzacón de los odelos obtendos. La capacdad de generalzacón está relaconada con la densón de Vapnk- Chervonenks (VC) [8]. Concretaente a ayor copledad ayor valor de la densón VC y enor capacdad de generalzacón. A este respecto es nteresante señalar que Schth [9] obtene cotas superores de la densón VC para redes con undades xtas de tpo sgode y producto slares a las cotas conocdas para las redes neuronales con undades sólo de tpo sgode o de tpo producto. Este hecho garantza una capacdad de generalzacón de la fala xta slar a la de las redes de base sgode (MLP) o a las redes basadas en undades producto. 3. Métodos adaptatvos para la estacón de funcones En este trabao ostraos las preras nvestgacones en la estacón de funcones edante cobnacones lneales de funcones de base sgode y potencal. Estaos nteresados en la estacón de una funcón de p varables predctoras x a partr de un conunto de n puntos o eddas z ( x y)... n en un espaco n-densonal uestral donde y f( x ) con una varable aleatora de error con eda 0 y cuya dstrbucón puede depender de x sendo adeás desconocda la dstrbucón de x en el conunto de entrenaento. Vaos a utlzar étodos de estacón no paraétrca adaptatvos de fora tal que podaos estar la funcón coo una cobnacón lneal de funcones de base en la fora: ( ) M f x B( x w ) (7) donde x ( x x... xp ) es el vector de las varables de entrada son los coefcentes de la cobnacón lneal que se van a estar a partr de los datos B ( xw ) son las funcones de base sendo B ( ) 0 xp 0 para poder ntroducr sesgo en el odelo w ( w w... wp ) son los

4 36 Redes Neuronales Evolutvas paráetros asocados a las funcones de base y M es el paráetro de regularzacón del odelo el cual esta asocado al núero de funcones de base que son necesaras y sufcentes para nzar alguna funcón del error defnda al respecto. El odelo híbrdo que proponeos para estar la funcón está dado por una cobnacón lneal de las funcones de base sgodes y producto: k k k f( x) B ( x u ) B ( x w k ) (8) Dado que abos tpos de funcones de base son aproxadores unversales [0] [] el étodo consste en encontrar un núero sufcente de funcones de base (su arqutectura) para proporconar una funcón de tpo aproxador unversal a la funcón a estar de fora tal que podaos para cada 0 encontrar un valor de y estadores de los paráetros k u ˆ y wˆ k para... y k... tal que: k k k k f( x) B ( x u ) B ( x w ) e (9) Estaos por tanto ante un problea de optzacón slar a los odelos de regresón edante proyeccones apropadas proecton pursut con la característca especal de que las funcones consderadas son exclusvaente de dos tpos. Para resolver este problea NP-copleo de obtencón de la arqutectura y de estar los coefcentes del odelo utlzareos algortos de coputacón evolutva del tpo de los descrtos en los trabaos de Fogel [] Angelne et al. [3] y N. García C. Hervás et al [4] donde tan sólo ctareos el esquea fundaental nsstendo en la dferencas fundaentales con los algortos ctados 4. Algorto evolutvo La dea básca del algorto es la utlzacón de operadores de seleccón replcacón y utacón (paraétrca y estructural) en el proceso de evolucón. La evolucón de la topología de la red corresponde en el contexto que acabaos de descrbr a la búsqueda de la estructura de las funcones de base sgode y de base potencal que eor se auste a la nube de puntos del conunto de entrenaento deternando los valores de y asocados al núero de funcones de base consderadas. Por otra parte la evolucón de los pesos de la red se corresponde con la evolucón de los vectores u y w k que deternan los coefcentes presentes en cada funcón de base y de los coefcentes k que son los coefcentes de la cobnacón lneal de las funcones de base. El algorto se estructura en los sguentes pasos:.- Generar la poblacón.- Repetr hasta que se cupla la condcón de parada - Calcular la apttud para cada ndvduo - Ordenar de ayor a enor según la apttud - Copar el eor en la sguente generacón - Replcar el r % eor de la poblacón por el r % peor - Aplcar utacón paraétrca al r % eor - Aplcar utacón estructural al (00-r)% restante Los porcentaes se han deternado edante prueba y error aunque en la actualdad se están hacendo dseño de experentos del tpo ANOVA para deternar la robustez y los valores óptos de estos paráetros. El algorto se nca generando aleatoraente N R redes. Se coenza elgendo el núero total de nodos ocultos a partr de una dstrbucón unfore en el ntervalo 0 M donde M corresponde al núero áxo de nodos ocultos de cada una de las redes de la poblacón. El núero de conexones entre cada nodo de la capa oculta y los nodos de la capa de entrada queda deternado a partr de una dstrbucón unfore en el ntervalo 0 p sendo p el núero de varables ndependentes. Defnda la topología de la red se asgna a cada conexón un peso a partr de una dstrbucón unfore en el ntervalo LL para los pesos entre la capa de entrada y la oculta y UU para los pesos entre la capa oculta y la de salda. Tras la generacón aleatora de la

5 IV Congreso Español sobre Metaheurístcas Algortos Evolutvos y Bonsprados MAEB poblacón de N R redes se nca el proceso de seleccón. Se realza una seleccón por eltso del 0%. Las redes selecconadas susttuyen al 0% con peor apttud de fora que el núero N R de redes peranezca constante durante la evolucón. Las utacones realzadas en el algorto son de dos tpos: paraétrcas y estructurales. Las utacones paraétrcas afectan a los pesos de la red y las utacones estructurales afectan a la topología de la red (nodos ocultos y conexones). La severdad de las utacones depende de la teperatura T( R) del odelo de red y está defnda edante: T( R) A( R) 0 T( R ) (0) donde la apttud A( R) de una red R se calcula coo una funcón decrecente de la raíz del error cuadrátco edo ER ( ) a partr de la expresón AR ( ) 0 AR ( ) () ER ( ) Las utacones paraétrcas conssten en añadr a cada uno de los coefcentes w k una varable aleatora de eda cero y de desvacón típca () ( ) tt R entras que a los coefcentes u y k se le añade una varable aleatora de eda cero y de desvacón típca () tt( R ) donde () t () t t. Las utacones de los pesos w k correspondentes a los exponentes de las varables de la funcón que quereos odelar han de ser enores que las utacones realzadas en los pesos k y u correspondentes a los coefcentes de las funcones de base y a la parte sgode del odelo debdo al dferente efecto que tenen dchas odfcacones sobre los valores de la funcón. Una vez realzado el cabo en el espaco de los pesos la apttud del ndvduo es recalculada y se aplca un algorto estándar de enfraento sulado para deternar s se acepta o no el cabo. Los paráetros y que con la teperatura deternan las varanzas de la dstrbucones norales van cabando durante el proceso de evolucón para realzar un aprendzae adaptatvo; de esta fora evtaos quedar atrapados en ínos locales y aceleraos el proceso de evolucón cuando las condcones del proceso lo pertan. La utacón estructural que se usa en el algorto odfca el núero de nodos ocultos y las conexones entre los nodos de la capa ntereda y los nodos de las capas de entrada y salda afectando de esta fora a la topología de la red. Heos utlzado 5 tpos de utacones cuatro de ellas descrtas con detalle en [3]: añadr nodos (AN) elnar nodos (EN) añadr conexones (AC) y elnar conexones (EC) a las que se añade la utacón unr nodos (UN). La utacón (UN) consste en susttur dos nodos de la capa oculta a y b elegdos al azar por otro nuevo c. Se conservarán las conexones con los nodos counes y con una probabldad de 05 las que no sean counes. 5. Experentacón Para poder realzar coparacones entre los odelos de redes neuronales con dferentes funcones de base heos consderado cuatro funcones tpo. Las tres preras f f y f3 (ver Tabla ) han sdo propuestas en [7] y han sdo aplaente utlzadas en la bblografía de odelado [ 3 4]. La cuarta p la heos propuesto para aplar la tpología de funcones a estar. El propósto fundaental de las cuatro sulacones funconales es probar la efcaca y robustez de los odelos de redes pleentados y analzar para qué tpo de funcón de prueba es preferble un tpo de red neuronal a utlzar coo estador. El algorto evolutvo fue eecutado 30 veces bao los sos paráetros (ver Tabla 3) para las cuatro funcones propuestas a excepcón del núero de generacones y 800 y el dseño ncal de los odelos (5:6:) (4:3:) (4:4:) y (4:4:) todos ellos con sesgo para f f f3 y p respectvaente. El conunto de entrenaento D ( xl y l ) está forado por 50 puntos obtendos generando las varables ndependentes x sguendo dstrbucones unfores de paráetros defndos en la Tabla y una varable dependente y;

6 38 Redes Neuronales Evolutvas entras que el conunto de generalzacón está forado por 750 puntos sn rudo. Las varables ndependentes son escaladas lnealente en el ntervalo para todos los odelos y las dependentes en en el caso de PU y en el caso de undades sgodes y en el odelo xto. f( x) 0 sen( xx) 0( x3 05) 0x4 5 x5 x U(0) f( x) ( x ( xx3 ( )) ) / xx 4 x U (000) x U (40 60 ) x3 U (0) x4 U() 3 (/ 4) 3( ) tan xx xx f x 3 x U(0) 3 x x 3 x x p( x) x x e x3 x4 e sen( x x x x ) x U (0) x Tabla Funcones de prueba utlzadas Este dseño lo heos realzado para poder coparar con dseños slares donde el taaño del conunto de entrenaento es la cuarta parte del conunto de generalzacón en datos sulados. Las varables aleatoras de error k se generan sguendo dstrbucones norales N (0 k ) donde la desvacón típca y las restantes 3 4 se obtenen de fora tal que se verfque la relacón 3: entre la señal y el rudo para las funcones y f f3 p. Poblacón Mut. Estruc: Mut. Para. [ M ] Taaño N R 000 AN [ ] (0) Nº áx de FB 8 EN [ 3] (0) 5 [-L L] [-5 5] AC [ p] r 0 [-U U] [0 5] EC [ p] Tabla. Valores de los paráetros del algorto evolutvo 6. Resultados Para poder realzar contrastes de dferencas de edas de los valores de la funcón de error MSE obtendos por la eor solucón en cada una de las 30 eecucones del algorto; para cada odelo de red con undades de base dferentes y para cada funcón de prueba; heos consderado un análss de la varanza ANOVA I donde el únco factor consderado es el tpo de undades de base utlzado con los sguentes nveles: tpo undad producto PU tpo ezcla de undad productosgode PUSU y tpo de undad sgode SU. Tenendo en cuenta los resultados se observa: Para la funcón f de Fredan (Tabla 3) tenendo en cuenta el error MSE en el conunto de generalzacón MSE G es preferble en eda el odelo PUSU (eda MSE G = 0998) pero al no exstr dferencas sgnfcatvas en las edas entre los odelos PU y PUSU y habéndolas en cuanto al núero edo de coefcentes de estos dos odelos decdos que en eda es eor utlzar una tpología de red basada en undades producto aunque los eores odelos se obtenen con una red híbrda PUSU donde el eor odelo tene un valor de MSE G = 059 y de NRMS= 05090/48434= 005 lo que uestra un uy buen auste dado que un valor de NRMS= ndcaría un auste realzado con la eda de los valores del conunto de generalzacón. Para la funcón f la efcenca edda coo enor valor de MSE G ndca que en eda es preferble de nuevo odelos PUSU (eda MSE G = 4679) exstendo adeás dferencas sgnfcatvas con las edas obtendas con los otros dos odelos por lo que en este caso los odelos PUSU son preferbles. El eor odelo lo encontraos con esta tpología con un valor de MSE G = 0497 y de NRMS= 339/ 36455= 0089 Respecto de la funcón f 3 el enor valor edo del error MSEG es obtendo con odelos de redes PUSU pero de nuevo según el análss ANOVA I realzado no exsten dferencas sgnfcatvas en las edas de los valores de MSEG pero en cabo s exsten dferencas sgnfcatvas en los valores edos del núero de paráetros del odelo PU respecto de los otros dos por lo que es preferble este tpo de odelos de undades de base aunque el eor odelo se obtene tanto con undades PU coo PUSU con

7 IV Congreso Español sobre Metaheurístcas Algortos Evolutvos y Bonsprados MAEB valores de error MSE G = 05 y de NRMS= 059. Por últo en la funcón de prueba propuesta p el valor edo enor se obtene con undades sgodes SU con un valor edo de MSE G = y coo según el análss ANOVA I realzado exsten dferencas en los valores edos de MSE G entre este tpo de odelos y los odelos de undades producto entras que no exsten con los odelos PUSU. Adeás s analzaos las dferencas sgnfcatvas exstentes en cuanto a núero de conexones entre los odelos PUSU y SU (Sg= 000) de esta fora los odelos PUSU tenen enor núero de coefcentes; pero el eor odelo se obtene con los odelos SU con valores de error MSE G = 0084 y de NRMS= 06. En la Tabla 4 pueden verse los resultados coparados del algorto propuesto con dferentes técncas de regresón avanzadas que aparecen en la bblografía sobre las funcones de Fredan ## y #3. Concretaente las técncas con las que se copara son: Baggng Adaboost (Drucker 997) y áqunas de soporte vectoral (SVM) (Vapnk 999). El dseño experental que heos consderado ha sdo en so que el realzado en (Drucker 997) para obtener los resultados de la Tabla. 4. Los resultados de estas tres etodologías corresponden a la eda sobre 0 eecucones. De los resultados de la Tabla 4 se desprende que el algorto evolutvo propuesto presenta eores valores edos que el resto técncas para las funcones de Fredan # y # entras que en la funcón de Fredan #3 las técncas de Boostng y SVM obtenen eores resultados que el algorto evolutvo. Baggng Boostng SVM AE f f f Tabla 4. Resultados edos del error MSE de generalzacón 7. Conclusones y trabaos futuros El odelo híbrdo propuesto forado por undades de tpo sgode y undades de tpo Fun. F.Base Meda SD Meor Peor Meda SD Meor Peor Meda SD f PU PUSU SU f PU PUSU SU f 3 PU PUSU SU p PU PUSU SU Tabla 3 Resultados estadístcos de los valores de error MSE de entrenaento y generalzacón y nº de conexones obtendos por los eores ndvduos en 30 eecucones del algorto evolutvo. producto en una red neuronal puede presentarse coo una alternatva vable a las redes neuronales con undades de un únco tpo. Las redes híbrdas propuestas se han dseñado con un algorto evolutvo construdo específcaente para este odelo. La evaluacón del odelo y del algorto sobre tres funcones de prueba uestran unos resultados coparables a los de otras técncas de regresón no lneal consoldadas en la teoría de regresón [7][6][7]. En las tres funcones de Fredan los eores resultados en eda han sdo obtendos por los odelos hbrdos aunque el eor odelo ha corresponddo en el caso de la funcón de Fredan a redes con un únco tpo de undad producto y sgode.

8 330 Redes Neuronales Evolutvas Se puede afrar en general que la hbrdacón de odelos consttuye un procedento nteresante para la resolucón de probleas de regresón en los que la tpología especal de las funcones obetvo pueda presentar dferentes coportaentos en dversas regones del dono de defncón. Quedan abertos a futuras nvestgacones dversos aspectos: A partr de los datos generados por una deternada funcón contnua y desconocendo la funcón que los generó es posble defnr las característcas que deternen la fala de funcones (reconocedores unversales) que es convenente consderar para aproxarla? podeos deternar algunas propedades de la funcón que pertan elegr entre dferentes falas de reconocedores unversales o ben entre la ezcla ntelgente de dferentes odelos? - Es posble ncorporar al algorto evolutvo procedentos que pertan en deternados oentos de la evolucón deternar el tpo de undad que hay que nclur en el odelo para eorar el grado de aproxacón y reducr el error de entrenaento y generalzacón? -Por últo parece lógco ncorporar al algorto evolutvo procedentos de búsqueda local basados o no en el gradente que pertan eorar la efcenca y efcaca del algorto evolutvo controlando el resgo de sobreentrenaento que puede traer consgo la hbrdacón en el algorto. Referencas [] Specht D.F. A General Regresson Neural Network. IEEE Transactons on Neural Networks. (6): p [] Durbn R. & Ruelhart D. Products Unts: A coputatonally powerful and bologcally plausble extenson to backpropagaton networks. Neural Coputaton : p [3] Duch W. and Jankowsky N. Transfer functons: hdden possbltes for better neural networks 9 th European Syposu on Artfcal Neural Networks (ESANN) Brugge pp [4] Cohen S. and Intrator N. Forward and backward selecton n regresson hybrd network Thrd Internatonal Workshop on Multpler Classfer Systes 00. [5] Cohen and Intrator A Hybrd Proecton-based and Radal Bass Functon Archtecture: Intal Values and Global Optsaton Pattern Analyss & Applcatons [6] Donoho D. Proecton based n approxaton and a dualty wth kernel ethods. Ann. Statst [7] Fredan J. Multvarate adaptve regresson splnes (wth dscusson). Ann. Stat. vol 9 pp [8] Vapnck N. The nature of Statstcal Learnng Theory Sprnger 999. [9] Schtt M. On the Coplexty of Coputng and Learnng wth Multplcatve Neural Networks. Neural Coputaton 4: p [0] Cybenko G. Aproxaton by superpostons of a sgodal functon. Matheatcs of Control Sgnals and Systes : p [] Leshno M. Ln V. L. Pnkus A. and Schocken S. Multlayer feedforward networks wth a nonpolynocal actvaton can approxate any functon. Neural Networks 6: [] Fogel D.B. Usng evolutonary prograng to greater neural networks that are capable of playng Tc-Tac-Toe. n Internatonal Conference on Neural Networks. San Francsco CA: IEEE Press [3] Angelne P.J. Saunders G. M. & Pollack J. B. An evolutonary algorth that constructs recurrent neural networks. IEEE Transactons on Neural Networks 5 (): p [4] García-Pedraas N. Hervás-Martínez C.& Muñoz-Pérez J. Multobetve cooperatve coevoluton of artfcal neural networks. Neural Networks 5(0): p [5] Drucker H. Iprovng Regressors usng Boostng Technques Proceedngs of the Fourteenth Internatonal Conference n Machne Learnng.Ed. Douglas H. and Fsher J. pp [6] Brean L. Baggng predctors. Machne learnng [7] Brean L. Fredan J. H. Olshen R. A. and Stone C. J. Classfcaton and regresson trees. The Wadsworth Statstcs/Probabltes seres Belont C. A 984.