Estudiante: Rigoberto Fonseca-Delgado Asesora: Dra. Pilar Gómez-Gil

Transcripción

1 National Institute of Astrophysics, Optics and Electronics Department of Computer Science Estudiante: Rigoberto Fonseca-Delgado Asesora: Dra. Pilar Gómez-Gil 1

2 Pesos MXN Pesos MXN $18.00 $16.00 $14.00 $12.00 $10.00 $8.00 $6.00 $4.00 $2.00 $ /01/ /10/ /06/ /03/ /12/ /09/ /06/ /03/ /11/2014 $15.80 $15.60 $15.40 $15.20 $15.00 $14.80 $14.60 Tiempo $ /01/ /01/ /02/ /03/ /03/ /04/ /05/ /05/ /06/2015 Tiempo Qué tal si hubiese invertido mis ahorros del año en comprar dólares justo el día 06/04/2015 y los vendía el 22 del mismo mes? Una beca 1000 dólares me hubieran dado 651 pesos en 16 días. Más capital dólares implicaban 6510 pesos. Precio del dólar Lineal (Precio del dólar) Precio del dólar Lineal (Precio del dólar) Fuente: Banco de México 2

3 Predicción de series de tiempo Modelo auto-regresivo Modelo auto-regresivo no-lineal Propiedades de redes neuronales recurrentes Red neuronal NARX Propiedades de las redes NARX 3

4 Serie de tiempo es una secuencia de observaciones tomadas secuencialmente en el tiempo. Predecir es estimar valores futuros de una serie de tiempo a partir de los valores actuales y pasados. Tipos de predicción: one-step-ahead, multi-step-ahead. Estrategias de predicción: recursiva, directa, mixtas. n h Book Box, G. E. P.; Jenkins, G. M. & Reinsel, G. C., Grant, J., Time Series Analysis Forecasting and Control, Prentice-Hall International, 1994, pág 1. Article Taieb, S. B.; Bontempi, G.; Atiya, A. F. & Sorjamaa, A., A review and comparison of strategies for multi-step ahead time series forecasting based on the NN5 forecasting competition, Expert Systems with Applications, 2012, 39,

5 El valor futuro depende de los p valores inmediatos del pasado. y ( n) 1 y( n 1) 2 y( n 2)... p y( n p) a t El valor a predecir depende de las variables causales, que son los valores del pasado. Los pesos i representan la relaciones. Este enfoque es lineal en los parámetros. Book Box, G. E. P.; Jenkins, G. M. & Reinsel, G. C., Grant, J., Time Series Analysis Forecasting and Control, Prentice-Hall International, 1994, pág 52. Book Armstrong, J. S., Long-range forecasting from crystal ball to computer, John Wiley & Sons, 1985, pág

6 No-lineal y 2 ( n) En la naturaleza muchos fenómenos son nolineales. Ecuación logística viene de un modelo poblacional con comportamiento caótico bajo parámetros definidos. Lineal Función lineal en sus parámetros Article May, R. M., Simple mathematical models with very complicated dynamics, Nature, London, 1976, 261,

7 Un sistema de una entrada - una salida puede definirse por: Observaciones y( t n) q y( t n 1),..., y( t), u( t n),..., u( t) Función no-lineal Entradas externas Ejemplo, el monto de retiros bancarios está relacionado con el día de la semana, grupo de días en el mes, y mes del año. Article Leontaritis, I. J. & Billings, S. A. Input-output parametric models for non-linear systems Part II: stochastic non-linear systems International Journal of Control, 1985, 41, Article Andrawis, R. R.; Atiya, A. F. & El-Shishiny, H., Forecast combinations of computational intelligence and linear models for the NN5 time series forecasting competition, International Journal of Forecasting, 2011, 27,

8 La eq. logística del ejemplo tiene un comportamiento caótico. Las características de un sistema caótico pueden resumirse como: 1. Existe alguna ecuación (tal vez desconocida) guiando el comportamiento, son deterministas; 2. Son sensibles a los cambios en las condiciones iniciales; 3. No son aleatorios o desordenados; los sistemas caóticos tienen un sentido de orden. Phase portrait.- Es una herramienta en la que se dibuja el valor actual con respecto a su predecesor. Book Kantz, H. & Schreiber, T., Nonlinear Time Series Analysis, Cambridge University Press, 2003, pág. 5. Article Dhanya, C. & Kumar, D. N., Nonlinear ensemble prediction of chaotic daily rainfall, Advances in Water Resources, 2010, 33,

9 Existen dos maneras básicas de aplicar retroalimentación. Local.- Es aplicada a una única neurona dentro de la red. Global.- Engloba una o más capas ocultas o toda la red. El uso de retro-alimentación global en una red recurrente permite: Memoria asociativa o por contenido (content-addressable memory). Auto-asociación. Reconstrucción dinámica de un proceso caótico. Book Haykin, S., Neural Networks and Learning Machines, 3ra edición, Pearson Education, 2009, págs. 673,

10 Método de aproximación universal Cualquier sistema dinámico puede ser aproximado por una red neuronal recurrente con cualquier grado de precisión y sin restricciones impuestas a la compacidad del espacio de estados, siempre que la red esté equipada con un número adecuado de neuronas ocultas. Simular cualquier máquina de estados finita Cualquier máquina de estados finita es equivalente a, y puede ser simulada por, alguna red neuronal. Esto es, dada cualquier maquina de estados finitos M, podemos construir una cierta red neuronal N la cual, vista como una máquina de caja negra, tendrá un comportamiento precisamente como M. Redes neuronales completamente recurrentes son las más poderosas computacionalmente. Toda máquina de Turing puede ser simulada por una red neuronal completamente conectada construida sobre neuronas con funciones de activación sigmoidales. Book Haykin, S., Neural Networks and Learning Machines, 3ra edición, Pearson Education, 2009, págs. 673, 798, Ejemplo: Diagrama de estados 10

11 A partir de un perceptron multicapa con una única capa oculta como bloque de construcción básico de una red recurrente. La aplicación de retro-alimentación global alrededor del perceptron multicapa puede tomar una variedad de formas: Retro-alimentación desde las salidas de la capa oculta a la capa de entrada. Retro-alimentación desde la capa de salida a la capa de entrada. Combinar todos los posibles lazos de retro alimentación en una única de red neuronal recurrente. Considerar otros bloques diferentes para la construcción de redes recurrentes. Las redes recurrentes tienen un amplio reportorio aún por explorar. Book Haykin, S., Neural Networks and Learning Machines, 3ra edición, Pearson Education, 2009, pág

12 La serie de tiempo entra por la izquierda y va transformándose en vectores de tamaño m al pasar por los m-1 retrasos. TDL z -1 y(n-(m-1)) y(n-(m-2)) z -1 y(n) Book Beale, M. H.; Hagan, M. T. & Demuth Howard, B., Neural Network Toolbox User's Guide R2015a, MathWorks, 2015, pág

13 TDL El comportamiento dinámico del modelo NARX es descrito por: Entradas externas donde F es una función no-lineal. Valores retrasados de la salida. TDL construye todas las posibles secuencias de tamaño q de la serie de entrenamiento. TDL Book Haykin, S., Neural Networks and Learning Machines, 3ra edición, Pearson Education, 2009, págs. 791, 792. Arquitectura viene naturalmente de un perceptron multicapa. Ejemplo con una única entrada aplicada a una memoria tapped-delay-line (TDL) de q unidades. Tiene una única salida que es retroalimentada a la entrada a través de otro TDL, también de q unidades. El contenido de las dos memorias TDL alimentan la capa de entrada de un perceptron multicapa. 13

14 Recibe la serie de tiempo de entrenamiento con sus respectivas entradas externas. Después de entrenar se cierra el lazo, lo cual conecta las salidas con el TDL respectivo. Para iniciar la predicción requiere los q últimos valores del pasado, con las respectivas entradas externas. Cada iteración recibirá una nueva entrada externa y devolverá la predicción de un paso a la vez. Ejemplo de Entrenamiento Lazo cerrado para predicción TDL Book Beale, M. H.; Hagan, M. T. & Demuth Howard, B., Neural Network Toolbox User's Guide R2015a, MathWorks, 2015, pág

15 Las redes NARX pueden simular a las FCRNN si se cumple la condición de utiliza una función de activación BOSS y tienen la desventaja de desaceleración lineal. Una desaceleración lineal implica que si una FCRNN computa una tarea de interés en tiempo T, entonces el tiempo total utilizado por su equivalente red NARX es (N+1)T. Una función es delimitada, de un solo lado saturada (BOSS) si satisface las siguientes tres condiciones: La función tiene un rango limitado. La función es saturada en el lado izquierdo. La función no es constante. x b, a b x S x x a, s, S, x, x 1 x2 1 2 x s Book Haykin, S., Neural Networks and Learning Machines, 3ra edición, Pearson Education, 2009, págs

16 Preguntas? 16

17 3 2 1 x(t) x(t) = x(t-1)*x(t-2)*x(t-3) x(t) = x(t-1)^2*x(t-2)*x(t-3) t 17

18 18

19 19

20 Chaos theory has taught us that random input is not the only possible source of irregularity in a system s output: nonlinear, chaotic systems can produce very irregular data with purely deterministic equations of motion in an autonomous way, i.e., without time dependent inputs. Of course, a system which has both, nonlinearity and random input, will most likely produce irregular data as well. 20

21 Book Haykin, S., Neural Networks and Learning Machines, 3ra edición, Pearson Education, 2009, págs. 673, 804,

22 Book Haykin, S., Neural Networks and Learning Machines, 3ra edición, Pearson Education, 2009, págs. 805,