Pronóstico de demanda por medio de redes neuronales artificiales

Transcripción

1 Pronóstco de demanda por medo de redes neuronales artfcales María Angélca Salazar Agular, Maurco Cabrera Ríos Dvsón de Posgrado en Ingenería de Sstemas, FIME-UANL RESUMEN En este trabajo se descrbe la utlzacón de Redes Neuronales Artf cales (RNAs) para pronóstco de demanda. Se propone además un método para defnr los parámetros de las RNAs de una manera ntegrada y repetble y se prueba con una aplcacón real. PALABRAS CLAVE Pronóstco de demanda, Redes Neuronales Artfcales, RNAs, optmzacón. ABSTRACT The use of Artf cal Neural Networks (ANNs) for demand forecastng s descrbed n ths work. A novel method to def ne the ANNs parameters n an ntegrated and repeatable fashon s proposed and demonstrated through a case study n a local company. KEYWORDS Demand forecastng, Artfcal Neural Networks, ANNs, optmzaton. INTRODUCCIÓN En toda ndustra, la planeacón es una necesdad. Un objetvo mportante de la planeacón es tratar de prever lo que puede suceder en el futuro. En este trabajo, se colaboró con una empresa de telecomuncacones con necesdad de planear a nvel operaconal, estratégco y táctco para mantenerse compettva ante las fluctuacones de mercado y cursos de accón de sus competdores. Esta empresa, como la gran mayoría, tene como objetvo prncpal generar utldades y brndar un alto nvel de servco a sus clentes. El prncpal recurso de la empresa es una red de transmsón con capacdad fnta. Los clentes demandan la utlzacón de esta red en forma estocástca. Para cumplr con el alto nvel de servco y maxmzar las utldades, la red de transmsón debe tener capacdad sufcente para satsfacer la demanda de los clentes. Por ello, le corresponde al tomador de decsones determnar la capacdad de la red. A partr de un pronóstco, el tomador de decsones puede determnar la capacdad que se requere en la red de transmsón para satsfacer la demanda, así como determnar con antcpacón s es necesara una expansón de capacdad. Un buen trabajo de pronóstco deberá resultar en una mejor planeacón del presupuesto anual, así como un mejor aprovechamento de los recursos económcos de la empresa. Artículo basado en la tess Pronóstco de demanda por medo de redes neuronales artfcales (RNAs) en la ndustra de telecomuncacones galardonada con el Premo a Mejor Tess de Maestría UANL 2006 en la categoría de Ingenería y Tecnología. 6 Ingenerías, Abrl-Juno 2007, Vol. X, No. 35

2 Pronóstco de demanda por medo de redes neuronales artfcales / María Angélca Salazar Agular, et al. Para hacer un pronóstco es común requerr nformacón cuanttatva del comportamento de la demanda a través del tempo, es decr, una sere de tempo, sendo el Análss de Seres de Tempo la técnca estadístca más utlzada para estmar su comportamento. Por muchos años, este tpo de análss ha estado domnado por la utlzacón de métodos estadístcos lneales que se pueden mplementar de manera convenente, sn embargo, la exstenca de relacones no lneales entre los datos pueden lmtar la aplcacón de estos modelos. 1 En la práctca es muy posble encontrar relacones no lneales en los datos, tal como sucede en este caso de estudo. Por ello es necesara la utlzacón de técncas capaces de reflejar dcho comportamento. La utlzacón de Redes Neuronales Artfcales (RNAs) para pronóstcos de seres de tempo es relatvamente nueva en la lteratura, sn embargo, lo postvo de los resultados en las aplcacones práctcas la converten en una área prometedora. Para este trabajo, la empresa brndó nformacón hstórca de regstros mensuales acerca de la utlzacón de la red de transmsón de los últmos 6 años. Con esta nformacón, se realzó el pronóstco de la demanda para períodos posterores medante el uso de RNAs. Al ntentar desarrollar el modelo de RNAs para esta aplcacón de pronóstco de seres de tempo, se expermentó y se dentfcó en la lteratura que la exacttud del pronóstco de la RNA depende de varas decsones crítcas en cuanto a la defncón de los parámetros que ntervenen en el modelo así como de la arqutectura de RNA que se esté utlzando. 2 Algunas de estas decsones pueden ser tomadas en el proceso de construccón del modelo, mentras que otras requeren ser especfcadas antes de que comence la modelacón. Sn embargo, no exste una regla establecda que permta tomar varas de estas decsones de manera adecuada. Por esta razón, en este trabajo se propone y se comprueba medante el caso práctco una metodología para la seleccón adecuada de los parámetros de un modelo de RNAs. Los resultados obtendos fueron comparados con los que se obtuveron al analzar las msmas seres de tempo a través de métodos lneales tradconales, tales como promedos móvles y regresón lneal, entre otros. En los casos analzados el modelo de RNAs construdo con la metodología propuesta resultó con mejores resultados, quedando así como una opcón vable para la aplcacón en la compañía. ANTECEDENTES La dea de utlzar RNAs en pronóstco de seres de tempo fue aplcada por prmera vez en 1964 cuando Hu utlzó una RNA lneal adaptable de Wdrow para el pronóstco del clma. 3 Debdo a la ausenca de un algortmo de entrenamento para RNA multcapa en el tempo, la nvestgacón quedó lmtada. En 1974 Werbos formuló prmero la retropropagacón pero no fue conocdo por los nvestgadores en RNAs. A partr de 1986 cuando el algortmo de retropropagacón (del nglés backpropagaton) fue ntroducdo por Rumelhart et al., 4 el desarrollo de RNAs para pronóstco de seres de tempo ha do en ncremento. 3 Werbos 5 reportó que la RNA entrenada por retropropagacón superó el desempeño de los métodos estadístcos tradconales tales como los procedmentos de regresón y Box- Jenkns en varos casos. En años recentes, las RNAs han llegado a ser muy populares en el pronóstco de seres de tempo en un gran número de áreas ncluyendo fnanzas, generacón de energía, medcna, recursos del agua y cencas ambentales, entre otras. 6 Estudos recentes acerca de la aplcacón de RNAs en problemas de nvestgacón de operacones y negocos se pueden encontrar en Zhang 2 y Smth et al. 7 En la mayoría de las aplcacones realzadas, los autores utlzan RNAs multcapa entrenadas por retropropagacón del error para pronóstcos a corto plazo y se lmtan a utlzar RNAs con una sola neurona en la capa de salda. Sn embargo, en aplcacones práctcas es común que se desee estmar más de un perodo futuro. Cuando se desea pronostcar múltples perodos, muchos nvestgadores, 3,8-10 han utlzado como recurso un modelo de RNA con una neurona en la capa de salda. Este tpo de RNA se ha utlzado como base para generar pronóstcos de múltples perodos de la sguente manera: una vez que se tene el pronóstco para el prmer perodo, se tera el modelo Ingenerías, Abrl-Juno 2007, Vol. X, No. 35 7

3 Pronóstco de demanda por medo de redes neuronales artfcales / María Angélca Salazar Agular, et al. consderando a éste como dato real para calcular el pronóstco del segundo perodo, y así sucesvamente hasta alcanzar el horzonte de planeacón deseado. Esta técnca obvamente trae consgo la desventaja de propagar el error de cada uno de los pronóstcos a lo largo de todos los perodos que le sguen. Esto es, un mal pronóstco generado en los prmeros perodos podría afectar de manera adversa los pronóstcos de los últmos perodos. Una técnca más de RNAs para el pronóstco de múltples perodos es crear un sólo modelo que smultáneamente genere los pronóstcos de múltples perodos, es decr, una RNA con múltples saldas (fgura 1). Aunque se espera que conduzca a mejores resultados que las técncas descrtas anterormente, 2 esto aún no ha sdo completamente abordado en la lteratura. Hay, de hecho, pocas referencas de trabajos desarrollados con la aplcacón de esta técnca. La capacdad de aproxmacón unversal de las RNAs para funcones contnuas que tenen prmera y segunda dervada en todo su domno ha sdo demostrada matemátcamente. Adconalmente, varos estudos demuestran que las RNAs pueden aproxmar con exacttud dversos tpos de relacones funconales complejas Esta últma característca es muy mportante para la aplcacón que aquí se descrbe, pues de cualquer modelo de predccón se espera que detecte con exacttud la relacón funconal entre la varable a predecr y otros factores o varables relevantes. La combnacón de modelacón no lneal y aprendzaje a partr de los datos hace que las RNAs Fg. 1. Red Neuronal Multcapa con múltples saldas entrenada por retropropagacón del error. sean herramentas flexbles de modelacón general atractvas para su aplcacón en la realzacón de pronóstcos. A pesar de que son numerosas las aplcacones desarrolladas medante RNAs para pronóstco de seres de tempo y que los resultados han sdo satsfactoros, no ha sdo posble estandarzar una metodología que garantce la construccón de modelos de RNAs con buen desempeño, entendendo desempeño como la exacttud del pronóstco. Por esta razón, proponemos una metodología con bases de estadístca y optmzacón matemátca que permte selecconar de manera adecuada los parámetros del modelo. Esta metodología se descrbe a contnuacón. METODOLOGÍA PROPUESTA La fgura 2 representa esquemátcamente la metodología que se propone para selecconar los parámetros del modelo de RNAs para pronóstco de seres de tempo. La descrpcón de la metodología es la sguente: 1) Descrpcón de la RNA como sstema. Determnar el tpo de RNA que se utlzará para el análss. Identfcar los parámetros controlables. Defnr las respuestas de nterés (meddas de desempeño del modelo de RNAs). 2) Análss y dseño de expermentos. Planear, ejecutar e nterpretar un dseño estadístco de expermentos. 3) Metamodelacón. Descrbr la superfce de cada respuesta medante un modelo de regresón apropado. 4) Problema de optmzacón. Consderar los metamodelos como funcones objetvo de un problema de optmzacón. 5) Solucón. Resolver los problemas de optmzacón defndos en el paso anteror. Utlzar múltples comenzos para escapar de optmaldad local. Para defnr la metodología propuesta, se tomó como base la defncón general de expermento, que es una prueba planeada donde se ntroducen cambos controlados en un proceso o un sstema con el objetvo de analzar la varacón nducda por 8 Ingenerías, Abrl-Juno 2007, Vol. X, No. 35

4 Pronóstco de demanda por medo de redes neuronales artfcales / María Angélca Salazar Agular, et al. Realzado el expermento se lleva a cabo su análss con el objetvo de caracterzar la varacón producda por los parámetros en las meddas de desempeño del modelo de RNAs. Para ello, requermos hacer un análss de varanza basado en un modelo de regresón lneal múltple de segundo orden con nteraccones, smlar al de la ecuacón (1), bajo el supuesto de que los resduos, ε, son ndependentes e déntcos y normalmente dstrbudos con una varanza desconocda pero constante. k k k 1 k 2 0 j j (1) = 1 = 1 = 1 j= + 1 y = β + βx + β x + β xx + ε Fg. 2. Metodología para la seleccón parámetros de un modelo de RNAs. estos cambos en una medda de desempeño. De esta manera, los factores controlables que ntervenen en el expermento corresponden a los parámetros del modelo de RNAs que se desean determnar. Como ejemplos se pueden ctar: cantdad de datos de entrada o datos hstórcos en el caso de seres de tempo; cantdad de neuronas en la capa oculta; algortmo de entrenamento; y para el manejo de datos: transformacón utlzada y escala de los datos. Así cada corrda expermental ndca los valores asgnados a los parámetros para construr la RNA correspondente y bajo los cuales se llevará a cabo el entrenamento de la msma, y una vez realzado, su valdacón, para posterormente cuantfcar la caldad de predccón de la RNA a través de las meddas de desempeño selecconadas para el estudo y su regstro como parte del expermento. Generalmente cuando se habla de pronóstco, las meddas de desempeño son meddas de error del pronóstco, por ejemplo el error cuadrado medo o MSE y el error absoluto promedo o MAE. En los parámetros donde sea posble consderar tres o más valores dferentes, es recomendable utlzar al menos tres de esos valores, con el fn de brndarle curvatura al modelo. La varable dependente y representa el valor de la medda de desempeño de la RNA, x corresponde al valor que toma el parámetro en cada combnacón del expermento, β representa la ordenada al orgen 0 del plano de regresón, β corresponde al coefcente de regresón de x, β es el coefcente de regresón 2 de x y β es el coefcente de regresón de la j nteraccón de entre x y x ; k es el número de j parámetros controlables. Los coefcentes de regresón típcamente se calculan medante un procedmento de reduccón de errores cuadrados, dsponble en la mayoría de paquetes computaconales comercales de estadístca. Una vez calculados los coefcentes de regresón, se realza un análss de resduos para verfcar los supuestos sobre ε así como la adecuacón del modelo (1) para representar la medda de desempeño. Fnalmente, se consdera el modelo de regresón resultante para cada medda de desempeño como funcón objetvo de un problema de optmzacón en el cual se busca encontrar los valores de los parámetros que mnmzan el valor de la funcón objetvo. La formulacón P1 muestra la estructura general del problema de optmzacón. Encontrar x I para Mnmzar Sujeto a l u k k k 1 k 2 0 j j = 1 = 1 = 1 j= + 1 z = β + βx + β x + β xx x x x I + x Z I I = {1, 2,..., k} (P1) En P1, se busca el valor para el -ésmo parámetro representado por x smultáneamente con los valores Ingenerías, Abrl-Juno 2007, Vol. X, No. 35 9

5 Pronóstco de demanda por medo de redes neuronales artfcales / María Angélca Salazar Agular, et al. de todos los parámetros defndos en el problema para mnmzar la funcón objetvo z, que representa una medda de desempeño. El problema de optmzacón resultante es no lneal, la gran mayoría de las veces, y las varables de optmzacón son enteras, lo cual hace que tal problema sea dfícl de resolver. La no convexdad de este problema provoca, además, dfcultades para garantzar que la solucón encontrada sea una solucón óptma global. Por últmo en la metodología, para encontrar la solucón se resuelven los problemas de optmzacón de manera ndependente con algún optmzador dsponble. S la solucón fnal es la msma para todos los problemas, sgnfca que las meddas de desempeño están correlaconadas pues lo que optmza a una tambén optmza a las otras. En caso que las solucones fnales encontradas para cada uno de los problemas de optmzacón sean dferentes, se deberá utlzar una técnca de optmzacón multcrtero para ofrecer un abanco de solucones que representen los mejores compromsos entre las meddas de desempeño de la RNA. A estas solucones se les llama efcentes. De este conjunto de solucones, el tomador de decsones elge una que convenga a sus ntereses. La solucón a la que se llega a través de esta metodología establece los parámetros del modelo de RNAs que habrán de utlzarse para el pronóstco, de tal manera que el desempeño de predccón sea compettvo. Para probar la metodología propuesta se realzó el estudo de un caso práctco en una compañía local, el cual se presenta a contnuacón. cantdad de neuronas y en la capa oculta. Entonces, para efectos de la metodología, x 1 representa al parámetro lags y x 2 corresponde al parámetro neuronas. Para crear los conjuntos de entrenamento y valdacón se utlzó una dstrbucón unforme que ayudó a selecconar aproxmadamente el 70% de los patrones dsponbles para el entrenamento y el resto para la valdacón. El desempeño de la RNA fue cuantfcado medante el Error Cuadrado Medo o MSE, consderando a éste tanto para la fase de entrenamento (MSE_T) como para la fase de valdacón (MSE_V) del modelo. Para el entrenamento del modelo de RNAs consderamos múltples ncos ya que al hacer la actualzacón de pesos medante la retropropagacón del error realmente se está mnmzando una funcón de error, que es no lneal y no convexa. Por esta razón, el punto de nco de la optmzacón es determnante para los pesos fnales que adqueren las conexones de la RNA una vez que el entrenamento termna. Fg. 3. Comportamento de la demanda, Sere 1. CASO DE ESTUDIO Y RESULTADOS Se analzaron dos seres de tempo, representadas en las fguras 3 y 4, con un horzonte de planeacón de doce meses y utlzando un modelo de RNA como el de la fgura 1. Se preprocesó la nformacón transformando los datos en la escala de [-1, 1]. El algortmo de entrenamento utlzado para la RNA fue el de Levenberg-Marquart con múltples comenzos. En este caso se consderaron como parámetros controlables la cantdad de datos hstórcos que se utlzarían para generar el pronóstco (lags) y la Fg. 4. Comportamento de la demanda, Sere Ingenerías, Abrl-Juno 2007, Vol. X, No. 35

6 Pronóstco de demanda por medo de redes neuronales artfcales / María Angélca Salazar Agular, et al. Los pesos se fjaron ncalmente todos en -1, -0.5, 0, 0.5 y 1, así como una vez más de manera aleatora. Por tanto, para cada corrda expermental se crearon ses RNAs dferentes. De éstas se selecconó el modelo con menor error de valdacón, para su regstro en la tabla expermental. En la expermentacón con la Sere 1 se varó lags en el rango [3, 15] y neuronas en el rango [2, 10]. Los valores específcos que se consderaron para cada factor en su nvel correspondente fueron: lags = {3, 6, 9, 12, 15} y neuronas = {2, 4, 6, 8, 10}. En el expermento se utlzó un dseño factoral que resultó en un total de 25 combnacones para correr el modelo de RNAs. Cuando se obtuveron los metamodelos se observó que el porcentaje de varacón explcado por los metamodelos era muy bajo, lo que sgnfca que no eran buenas aproxmacones. Con esta nformacón, se decdó enfocar (reducr) el área expermental con el fn de encontrar metamodelos confables. Gracas a un análss gráfco se determnó que se podían consderar potencalmente compettvos los modelos de RNAs con los parámetros lags y neuronas dentro de sus tres prmeros nveles. Se tomaron entonces las corrdas expermentales resultantes de la combnacón de lags = {3, 6, 9} y neuronas = {2, 4, 6}. Se realzó nuevamente el análss de varanza y en esta ocasón los metamodelos resultaron apropados así que se pasó a la optmzacón. Al resolver los problemas resultantes y utlzando múltples solucones ncales, ambos metamodelos llevaron a solucones óptmas que gráfcamente se puderon corroborar como globales respectvamente. Sn embargo, la solucón óptma para el MSE_T fue dstnta a la que se obtuvo al mnmzar el MSE_V. Para el prmero, la optmzacón llevó a un modelo de RNA con 7 datos hstórcos (lags) y 5 neuronas en la capa oculta; para el segundo, el modelo de RNA con mejor desempeño fue aquél en el que se consderaban 5 datos hstórcos y 5 neuronas en la capa oculta. Estos resultados ndcaron que los objetvos estaban en conflcto. Dada la mportanca de obtener modelos de RNA con buena caldad de aproxmacón y generalzacón, se decdó darle mayor mportanca al MSE_V. Así que la solucón fnal fue (5,5), es decr, 5 datos hstórcos y 5 neuronas ocultas. Ya que se tuvo la solucón fnal, es decr, los valores a los cuales debían ser ajustados los parámetros, se construyó el modelo de RNA correspondente para la realzacón del pronóstco. Se consderaron nuevamente las ses dferentes ncalzacones de pesos en las conexones y se selecconó la RNA con menor valor de MSE_V. En la fgura 5 se muestra el pronóstco que se obtuvo con este modelo de RNA, así como los datos reales y el pronóstco obtendo por el método de regresón lneal. Se presenta aquí este últmo método por reportar el mejor desempeño de pronóstco basado en MSE con esta sere de entre ocho técncas tradconales: promedo móvl para n=5, 8 y 10, Arma(0,1,1), suavzado exponencal smple, regresón lneal, Arma(0,2,2) y suavzado exponencal doble. Un proceso smlar se realzó en el análss de la Sere 2, el modelo de RNA con mejor desempeño fue aquél con 5 datos hstórcos y 3 neuronas en la Fg. 5. Demanda real, pronóstcos por RNA y por el método de regresón para la sere 1. Fg. 6. Demanda real, pronóstcos por RNA y por el método de suavzado exponencal doble para la sere 2. Ingenerías, Abrl-Juno 2007, Vol. X, No

7 Pronóstco de demanda por medo de redes neuronales artfcales / María Angélca Salazar Agular, et al. capa oculta. La fgura 6 muestra gráfcamente la comparacón entre los datos reales, el pronóstco obtendo por suavzado exponencal doble, así como por el modelo de RNAs. El suavzado exponencal doble fue el más compettvo de la lsta de técncas tradconales detallada anterormente. Como se puede aprecar en ambos casos, las RNAs construdas con el método propuesto reportaron mejor desempeño de pronóstco. CONCLUSIONES En este trabajo se propuso una metodología de seleccón de parámetros de un modelo de RNAs que utlza técncas establecdas y confables y hace entendble la nterrelacón entre los varos parámetros de la RNA. Se demostró el funconamento de la metodología a través de un caso práctco, en el que se utlzaron modelos de RNA con múltples saldas. Los resultados de este trabajo apoyan la utlzacón de las RNAs como técncas confables de pronóstco y apuntan a la factbldad de su nstauracón en la ndustra. Como extensones de este trabajo se plantea comparar el método propuesto con más técncas tradconales de pronóstco, así como otros métodos de construccón de RNAs. AGRADECIMIENTOS Los autores agradecen al CONACYT, la FIME y la UANL por las becas recbdas para los estudantes nvolucrados en este trabajo. Agradecen tambén las aportacones de Ma. Guadalupe Vllarreal Marroquín, apoyada por el proyecto UANL-PAICYT CA REFERENCIAS 1. Makrdaks S., Anderson A., Carbone R., Fldes R., Hbbon M., Lewandowsk R., Newton J., Parsen E., and Wnkley R., The accuracy of extrapolaton (tme seres) methods: Results of a forecastng competton, Journal of Forecastng, 1982,Vol. 1, pag Zhang G. P., Neural Networks n Busness Forecastng, Idea Group Publshng, Georga State Unversty, EUA, Zhang G., Patuwo E., and Hu Y. M., Forecastng wth artfcal neural networks the state of the art, Internatonal Journal of Forecastng, 1998, Vol.14, No. 1, pag Rumelhart D-E., Hnton G. E., and Wllans R. J., Learnng representartons by backpropagatng errors, Nature, 1986, 323 (6188), pag Werbos P. J., Generalzaton of backpropagaton wth applcatons to a recurrent gas market model, Neural Networks, 1988, Vol. 1, pag Maer H. R., and Dandy G. C., Neural networks for the predcton and forecastng of water resources varables: a revew of modellng ssues and applcatons, Envronment Modellng & Software, 2000, Vol. 15, pag Smth K. A. and Gupta JND, Neural networks n busness: technques and applcatons for the operatons researcher, Computers and Operatons Research, 2000, Vol. 27, Num , pag Hwarng H. B., Insghts nto neural-network forecastng of tme seres correspondng to ARMA (p,q) structures, Omega: The Internatonal Journal of Management Scence, 2001, Vol. 29, No. 3, pag Hll, T., W. Remus, and M. OπConnor, Neural Network Models for Tme Seres Forecasts, Management Scence, 1996, Vol. 42, Num. 7, pag Nelson, M., T. Hll, W. Remus and M. O Connor, Tme Seres Forecastng Usng Neural Networks: Should the Data Be Deseasonalzed Frst?, Journal of Forecastng, 1999, Vol.18, Num.5, pag Ire B., and Myake S., Capabltes of threelayered perceptrons, Proccedngs of the IEEE Internatonal Conference on Neural Networks I, 1988, pp Hornk K., Stnchcombe M., and Whte H., Multlayer feedforward networks are unversal approxmators, Neural Networks, 1989, Vol. 2, No. 5, pag Cybenko G., Approxmaton by superpostons of sgmodal functon, Mathematcal Control Sgnals Systems, 1989, Num. 2, pag Ingenerías, Abrl-Juno 2007, Vol. X, No. 35