Los perceptrones multicapa (MLP, por su sigla en inglés)

Transcripción

1 ARNN: Un paquee para la predicción de series de iempo usando redes neuronales auorregresivas ARNN: A packages for ime series forecasing using auoregressive neural neworks Juan D. Velásquez. Ph.D., Crisian Zambrano. Es. & Laura Vélez. Es. Faculad de Minas, Universidad Nacional de Colombia jdvelasq@unal.edu.co; cozambra@unal.edu.co; lauravelez1@gmail.com Recibido para revisión 01 de abril de 2011, acepado 28 de junio de 2011, versión final 07 de julio de 2011 Resumen En ese arículo, se describe un paquee para el pronósico de series de iempo usando redes neuronales auoregresivas (y perceprones mulicapa imponiendo algunas resricciones al modelo) con función adapaiva de acivación. El uso de los paquees y algunas funcionalidades son ilusrados para una serie de iempo no lineal Palabras Clave Redes neuronales arificiales, lenguaje R, predicción. Absrac In his aricle, we describe a package for nonlinear ime series forecasing using auoregressive neural neworks (and mulilayer perceprons by imposing some resricions o he model) wih adapive acivaion funcion; The use of he package and some funcionaliy are illusraed for one nonlinear ime series. Keywords Arificial neural neworks, R language, predicion. I. INTRODUCCION Los perceprones mulicapa (MLP, por su sigla en inglés) parecen ser la arquiecura de redes neuronales arificiales más uilizada para la predicción de series de iempo no lineales [1]. Enre sus muchas aplicaciones se encuenran la predicción de precios de la elecricidad [2] y la demanda de energía elécrica [3]. Las redes neuronales auorregresivas (ARNN, por su sigla en inglés) se obienen al considerar la fusión de un modelo lineal auorregresivo [4] con un MLP. Su desarrollo concepual inicial esá basado en el desarrollo de un conrase esadísico de no linealidad en el que se comparan los dos modelos aneriores [5] [6] [7]. No obsane, la ARNN es una imporane alernaiva al uso de los MLP en la predicción de series de iempo debido a la incorporación de la componene lineal auorregresiva. Una de las principales herramienas para realizar el análisis y la predicción de series de iempo es el lenguaje de programación R [8], ya que posee un amplio reperorio de funciones para ese fin; una recopilación de las principales funciones implemenadas y paquees disponibles es presenada [9]. Adicionalmene, el lenguaje provee mecanismos para crear paquees insalables en su propio enorno de programación; durane la creación de cada paquee, el código fuene es analizado con el fin de verificar unas condiciones mínimas de calidad, que incluyen, enre oras, que cada función implemenada esé adecuada documenada en el sisema de ayuda. Aunque esa herramiena compuacional esá diseñada fundamenalmene para el cómpuo esadísico, resula muy apropiada para la programación de algorimos de ineligencia compuacional [10] ales como las redes neuronales arificiales. Ya se han desarrollado varios esfuerzos encaminados a la implemenación de modelos genericos de redes neuronales en el lenguaje R: En la versión del paquee nne [11], la función del mismo nombre permie crear modelos no lineales de regresión y clasificación usando redes de propagación hacia adelane con una sola capa ocula, enre las que se incluyen los MLP y redes similares a las ARNN; la opimización es realizada usando el algorimo BFGS del paquee opim. El paquee AMORE [13] permie la creación de modelos de regresión basados en modelos ipo MLP; la mayor novedad de ese paquee es la implemenación del algorimo TAO para la esimación de los parámeros de la red neuronal [13]. Los modelos de redes de propagación hacia adelane con resricciones monóonas para la solución de problema de regresión [14] son implemenados en el paquee monmlp [15]. El paquee neuralne permie la esimación de modelos MLP con el algorimo RPROP [16]. El paquee RSNNS permie el uso de los modelos de redes neuronales arificiales implemenados en el Sugar Neural Nework Simulaor desde el enorno R [17]. Revisa Avances en Sisemas e Informáica, Vol.8 No.2, julio de Medellín. ISSN

2 178 Revisa Avances en Sisemas e Informáica, Vol.8 No.2, julio de Medellín. ISSN La función NNET del paquee sdyn [18] permie el uso de redes neuronales ipo MLP para la predicción de series de iempo. La opimización es realizada usando el algorimo BFGS implemenado en la función opim. En ese mismo paquee se implemenan oras meodologías, ales como los modelos STAR. En ese arículo se discuen los algorimos implemenados y la funcionalidad del paquee ARNN escrio en el Lenguaje R para el cómpuo esadísico. El reso de ese arículo esá organizado como sigue: la descripción del modelo maemáico es presenada en la Sección II; la funcionalidad del paquee es presenada en la Sección III; finalmene, las principales conclusiones son presenadas en la Sección IV. II. LA RED NEURONAL AUTORREGRESIVA En esa sección se describe la arquiecura de la red neuronal. En un modelo ARNN, la variable dependiene y es obenida como una función no lineal de sus P valores pasados y p, para p= 1,, P: P H P y = η+ ϕ y + β G( ω + α y ) (1) * p p h h p, h p p= 1 h= 1 p= 1 donde G(. ) es la función sigmoidea adapaiva [19] definida como: ( ) G u 1 = 1 + exp( u) La arquiecura del modelo es presenada en la Figura 1. Los parámeros del modelo: ηϕ, p, βh, ωh, α ph, y M para i = 1,, P y h= 1,, H son esimados minimizando el error de regularización: M (2) λ E * (3) En la ecuación (3), λ es un parámero exerno definido * por el usuario; e son los errores enre el pronósico y y el valor deseado y. T es la longiud de la serie de iempo y. La úlima canidad es función, únicamene, de los parámeros del modelo: H P P H ( h h) ph (4) E = η + β + ω + ϕ + α *, h= 1 p= 1 p= 1h= 1 Figura 1. Arquiecura de una red neuronal auorregresiva. El modelo escrio en la Ecuación (1) se reduce a un perceprón mulicapa imponiendo la resricción: ϕ1 = ϕ2 = = ϕp. Igualmene, dicha red neuronal se reduce a un modelo auorregresivo imponiendo que H = 0. III. EL PAQUETE ARNN El paquee arnn implemena la red neuronal arificial descria en la sección anerior. Los apores alcanzados con el desarrollo de esa herramiena son los siguienes: Es una herramiena de usuario final, por lo que el usuario no debe preocuparse por los elemenos inernos de la implemenación. Las funciones implemenadas esán debidamene documenadas en el sisema de ayuda naivo del enorno. De esa forma, el paquee se inegra nauralmene denro de enorno. Su diseño y arquiecura compuacional esá basado profundamene en el paquee forecas de Hyndman y Khandakar [20], por lo que sólo fue necesario implemenar las funciones propias del modelo ARNN. El paquee forecas iene implemenaciones de oros modelos de predicción ampliamene uilizados, por lo que resula exremadamene fácil conrasar los resulados con los de oros modelos alernaivos. Finalmene, no hay implemenaciones de modelos ARNN con funciones adapaivas de acivación. El paquee consa de dos funciones principales: arnn para crear y esimar el modelo y forecas para pronosicar varios periodos adelane. Para ejemplificar el uso de la implemenación realizada se usará la serie del número de usuarios auenicados en un servidor de inerne cada minuo durane cien minuos. Esa

3 ARNN: Un paquee para la predicción de series de iempo usando redes neuronales auorregresivas Velásquez e ál 179 serie de iempo se encuenra disponible en el enorno R bajo la variable WWWusage. En ese caso paricular se desean usar las primeras 80 observaciones para la esimación del modelo y las 20 resanes para evaluar su capacidad de predicción. Una red neuronal que use los primeros cuaro rezagos de la serie como enrada y dos neuronas en su capa ocula puede ser creada mediane una simple llamada a la función arnn ; el código es presenado a coninuación: > ### separa la muesra de esimación > x <- s(wwwusage[1:80], s = 1, f = 1) > ### crea el modelo > fi <- arnn(x=x, lags=1:4, H=2) > fi Mehod: arnn Call: arnn(x=x, lags=1:4, H = 2) Parameers: M Wio[1] Wio[2] Wio[3] Wio[4] Wih[1,1] Wih[2,1] Wih[3,1] Wih[4,1] Wih[1,2] Wih[2,2] Wih[3,2] Wih[4,2] Wbh[1] Wbh[2] Who[1] Who[2] Wbo fo El paquee ambién permie calcular el pronósico varios periodos adelane. Para modelos no lineales, ese ipo de pronósico debe realizarse mediane simulación numérica ya que no exisen expresiones exacas analíicas. Ese proceso es descrio a coninuación.recas permie que se usen muchas de las funciones de ese úlimo. Por ejemplo, los esadísicos del error de ajuse pueden calcularse direcamene usando la función accuracy del paquee forecas : > accuracy(fi) ME RMSE MAE e e e+00 MPE MAPE MASE e e e-01 El pronósico un periodo adelane puede calcularse para oda la serie con el fin de evaluar el ajuse del modelo en la región de predicción exrapolaiva por fuera de la muesra de calibración de los parámeros. De esa forma, el siguiene código permie realizar esa area sin recalcular los parámeros: fi1 = arnn(x=wwwusage, model = fi) > accuracy(fied(fi1)[76:96], WWWusage[81:100]) ME RMSE MAE MPE MAPE Igualmene, graficar el valor real de la serie y el pronósico un periodo adelane es direco; por ejemplo, el gráfico presenado en la Figura 2 se obuvo con los siguienes comandos: > plo(wwwusage,lwd=2) > lines(fied(fi1),col= red,lwd=2) > grid() Sigma^2 esimaed as: LogL: Informaion Crieria: AK AKc HQ SC En ese caso, M es el exponene de la función sigmoidea adapaiva (ecuación (2)); Wih equivale a α ph,, Wbh equivale a ω, Who es equivalene a β, Wio equivale a h h ϕ y Wbo es η. Adicionalmene, el sisema calcula la varianza (Sigma^2) y el logarimo de la función de verosimiliud de los errores. Finamene, se imprimen los valores de los crierios de información de Akaike, Hannan-Quinn y Schwarz. La esimación numérica de los parámeros es realizada usando el algorimo BFGS implemenado en la función opim del paquee sas, cuya ejecución es conrolada con el argumeno opim.conrol de la función arnn. La implemenación realizada permie que el algorimo sea reiniciado varias veces de forma auomáica, de al manera que arnn devuelve el mejor modelo enconrado. La implemenación del paquee arnn basada en el paquee p Figura 2. Pronósico un paso adelane usando el modelo ARNN. El pronósico para el insane T + 1 puede realizare direcamene usando la ecuación (2) ya que odas las enradas a la red neuronal son conocidas. Para el insane T + 2 surge el problema al ener en cuena que para calcular el pronósico del

4 180 Revisa Avances en Sisemas e Informáica, Vol.8 No.2, julio de Medellín. ISSN periodo acual ( T + 2 ), una de las enradas de la red neuronal es el valor del periodo anerior ( T + 1 ) que es desconocido (no ha ocurrido) y es represenado por el pronósico para T + 1 que es una variable aleaoria. Una meodología acepada es generar series simuladas a parir del úlimo valor conocido y calcular el pronósico y sus inervalos de confianza a parir de ellas. La serie simulada se genera de la siguiene forma: Para el periodo T + 1, se calcula el pronósico como el valor calculado con la ecuación (1) más un error aleaorio; se obiene un posible valor para el periodo T + 1. El valor para el periodo T + 2, se calcula de igual manera que para el periodo T + 1, eso es aplicando la ecuación (1) y sumando un error aleaorio. Aquí se asume que el valor simulado para el periodo anerior fue el real. Se coninúa hasa cubrir odo el horizone de pronósico. El proceso anerior se repie para un número grande de series, de al forma, que para cada periodo del horizone de predicción se iene una muesra numérica de posibles valores que es igual a la canidad de series simuladas. A parir de cada muesra de cada periodo se obiene el valor esperado del pronósico y sus inervalos de confianza. Ese algorimo es discuido en [21]. El algorimo anerior esá implemenado en la función forecas del paquee arnn. Para su uso, se requiere que un modelo ya haya sido esimado. Por ejemplo, los siguienes comandos permien obener el pronósico 20 periodos adelane a parir de 1000 series simuladas así como los inervalos de confianza del 90%: > forecas(fi, h=20, level=90, fan=false, + boosrap=false, npahs=1000) Poin Forecas Lo 90 Hi Igualmene, es posible graficar direcamene el pronósico con (ver Figura 3): > plo(forecas(fi, h=20, level=90, fan=false, + boosrap=false, npahs=1000)) Tal como ya se indicó, un perceprón mulicapa puede obenerse direcamene a parir de un ARNN. En ese caso, eso puede realizarse con haciendo que el parámero ismlp de la función arnn sea igual a TRUE. Por ejemplo: > fi <- arnn(x=x, lags=1:4, H=2, ismlp=true) Figura 3. Pronósico varios periodos adelane obenidos usando la función forecas del paquee arnn. IV. CONCLUSIONES En ese arículo se describió una implemenación para esimar redes neuronales auorregresivas y perceprones mulicapa en el lenguaje R en el conexo de las series de iempo no lineales. En ese arículo sólo se han descrio las principales funciones y más información puede ser obenida del sisema de ayudas del paquee implemenado. REFERENCIAS [1] Zhang, G., B. Pauwo and M. HU (1998), Forecasing wih arificial neural neworks: he sae of he ar, Inernaional Journal of Forecasing 14: [2] Velásquez, J.D.; Dyner, I. y Souza, R.C. (2008), Modelado del precio spo de la elecricidad en Brasil usando una red neuronal auorregresiva, Ingeniare 16 (3): [3] Velásquez, J.D; Franco, C.J. y García, H.A. Un modelo no lineal para la predicción de la demanda mensual de elecricidad en Colombia, Esudios Gerenciales, 25 (112): [4] Box, G. E. P.; Jenkins, G. M. (1970). Time Series Analysis: Forecasing and Conrol. San Francisco: Holden Day Inc. [5] H. Whie. (1989), An addiional hidden uni es for negleced nonlineariy in mulilayer feedforward neworks. Proceedings of he Inernaional Join Conference on Neural Neworks, 2: IEEE Press. Washingon DC., New York. [6] Lee, T.H.; Whie, H.: Granger, C.W.J.. (1993), Tesing for negleced nonlineariy in ime series models. Journal of

5 ARNN: Un paquee para la predicción de series de iempo usando redes neuronales auorregresivas Velásquez e ál 181 Economerics. Vol. 56, pp [7] Teräsvira, T.; Lin, C.F. and Granger, C.W.J.. (1993) Power of he neural nework lineariy es. Journal of Time Series Analysis, 14: [8] Ihaka, R.; Genleman, R. (1996), R: A language for daa analysis and graphics. Journal of Compuaional and Graphical Saisics 5: [9] Velásquez, J.D.; Olaya, Y. y Franco, C.J. (2011), Análisis y predicción de series de iempo en mercados de energía usando el lenguaje R. DYNA, 78 (165): [10] Velásquez, J.D.; Monoya, O.; Casaño, N. (2010), Es el proyeco R para la compuación esadísica apropiado para la ineligencia arificial. Ingeniería y Compeiividad, 12(2): [11] Ripley, B. Package nne : Feed-forward Neural Neworks and Mulinomial Log-Linear Models, Disponible en hp://cran.rprojec.org/web/packages/nne/ (úlima consula en 06/07/2011) [12] Casejón, M.; Ordieres, J. ; González, A.; Pernía, A.V.; Marínez, F.J.; Alba, F. (2010), Package AMORE: A MORE flexible neural neworks package. Disponible en hp://cran.r-projec.org/web/ packages/amore/ (úlima consula en 06/07/2011) [13] Pernía Espinoza, A.V., Ordieres Meré, J.B., Marínez de Pisón, F.J., González Marcos. A. (2005), TAO-robus backpropagaion learning algorihm. Neural Neworks. 18 (2): [14] Zhang, H.; Zhang, Z. (1999), Feedforward neworks wih monoone consrains. In: Inernaional Join Conference on Neural Neworks, 3: [15] Cannon, A.J. (2010), Package monmlp : Monoone muli-layer percepron neural nework. Disponible en hp://cran.r-projec. org/web/packages/monmlp/ (úlima consula en 06/07/2011) [16] Frisch, S.; Guenher, F. (2010), neuralne: Training of neural neworks. Disponible en hp://cran.r-projec.org/web/packages/ neuralne/ (úlima consula en 06/07/2011) [17] Bergmeir, C. (2011), RSNNS: Neural Neworks in R using he Sugar Neural Nework Simulaor. Disponible en hp://cran.rprojec.org/web/packages/rsnns/ (úlima consula en 06/07/2011). [18 Di Narzo, F.A.; Aznare, J.L.; Sigler, M. (2011), sdyn: Nonlinear ime series models wih regime swiching. Disponible en hp:// cran.r-projec.org/web/packages/sdyn/ (úlima consula en 06/07/2011) [19] Chandra, P.; Singh, Y. (2004), An acivaion funcion adaping raining algorihm for sigmoidal feedforward neworks. Neurocompuing, 61: [20] Hyndman, R. J.; Khandakar, Y. (2008), Auomaic ime series forecasing: The forecas Package for R. Journal of Saisical Sofware 27 (3):1-24. [21] Velásquez, J.D.; Dyner, I.; Souza, R.C. (2006), Tendencias en la predicción y esimación de los inervalos de confianza usando modelos de redes neuronales aplicados a series emporales. DYNA 73 (149):