Modelos matemáticos para la predicción de series temporales

Transcripción

1 Capítulo 2 Modelos matemáticos para la predicción de series temporales 2.1. Modelo de regresión lineal Cuando se habla de predicción, el objetivo es determinar una variable de salida y a partir de la información de un conjunto de variables de entrada x. En el contexto de las series temporales, el conjunto de variables de entrada puede incluir retrasos tanto de x, como de la variable de salida y. En cuanto a los modelos predictivos, normalmente se suele empezar con el modelos de regresión lineal, dado por la siguiente ecuación: y t = β k x k,t + ɛ t (2.1) ɛ t N(0, σ 2 ) (2.2) donde la variable ɛ t es un término de perturbación aleatoria, normalmente caracterizado por una distribución normal de media cero y varianza constante σ 2, y {β k } representa los parámetros a estimar. Denotaremos {βˆ k } al conjunto de parámetros estimados e {ŷ t } al conjunto de predicciones de y generadas por el modelo a partir de los coeficientes {βˆ k }. El objetivo es seleccionar aquellos {βˆ k } que minimicen la suma de los cuadrados de las diferencias entre las observaciones actuales y y los valores predichos por el modelo lineal, ŷ. En series temporales suele usarse el subíndice t para las variables de entrada y salida denotando el instante concreto de observación, siendo el instante inicial t = 1. Existen numerosos métodos para estimar el conjunto de parámetros {β k }, bajo una variedad de hipótesis acerca de la distribución del término de perturbación, ɛ t, acerca de la constancia de su varianza, σ 2, así como acerca de la independencia de la distribución de las variables de entrada x k con respecto del término de perturbación ɛ t. La meta del proceso de estimación es encontrar el conjunto de parámetros del modelo de regresión, {βˆ k }, que minimice la suma de los cuadrados de las diferencias (también denominados residuos), en adelante Ψ, entre la variable de salida objetivo y y la variable 5

2 Sección Modelos matemáticos para la predicción de series temporales de salida generada por el modelo ŷ, a lo largo del conjunto de observaciones. El problema de la estimación puede ser descrito del siguiente modo: MinΨ = T ˆɛ 2 t = T (y t ŷ t ) 2 (2.3) s.a y t = β k x k,t + ɛ t (2.4) ŷ t = ˆβk x k,t (2.5) ɛ t N(0, σ 2 ) (2.6) Un modelo comúnmente utilizado en predicción es el modelo autorregresivo: y t = β i y t i + k i=1 k γ j x j,t + ɛ t (2.7) en el cual existen k variables x independientes, con coeficientes γ j para cada x j, y k* retrasos para la variable independiente y, con, obviamente k + k* parámetros, {β} y {γ}, a estimar. Con esto, a mayor longitud de la estructura de retrasos, tendremos un mayor número de parámetros a estimar y, consecuentemente, menos grados de libertad. El número de variables de salida puede ser mayor que uno. No obstante, en el modelo lineal de referencia se suele utilizar un conjunto de J * modelos lineales independientes para predecir cada una de las variables de salida y j, j = 1,..., j *. Para un total de j * variables de salida tendrán que estimarse (J* K) parámetros. El modelo lineal presenta la útil propiedad de tener una solución en forma cerrada a la hora de resolver el problema de estimación, en el que se minimiza la suma de los cuadrados de los errores entre y e ŷ. Este método es conocido como regresión lineal y tiene la ventaja de de ser muy rápido en términos computacionales. En el ámbito de las series temporales económicas, cuando se realizan predicciones a corto plazo, el modelo lineal es un punto de partida razonable, o una buena referencia, no así en las predicciones a largo plazo, donde los cambios en la variable a predecir raramente presentan un comportamiento simétrico. En cualquier caso, este método puede no resultar especialmente preciso para mercados financieros volátiles, donde a menudo se presentan no linealidades en los datos. Movimientos lentos ascendentes en los precios de los activos seguidos de repentinos colapsos, conocidos como burbujas, son también habituales, con lo cual, el modelo lineal puede fallar a la hora de capturar cambios en la dirección de los datos. Por este motivo, en adelante abordaremos técnicas de predicción no lineales. j= Modelos no lineales GARCH Existen en la práctica muchos modelos no lineales que pueden usarse como alternativa al modelo lineal descrito con anterioridad. Un ejemplo muy común de esta aproximación 6

3 2. Modelos matemáticos para la predicción de series temporales Sección 2.2 es el modelo GARCH-En-Media o GARCH-M, en el cual, la varianza del término de perturbación afecta directamente a la media de la variable dependiente, o variable de salida, y evoluciona en el tiempo como una función de sus valores pasados y de los valores pasados del error cuadrático de predicción. Por este motivo, esta varianza dependiente del tiempo se denomina varianza condicional. Las siguientes ecuaciones describen el modelo paramétrico GARCH-M típico: σ 2 t = δ 0 + δ 1 σ 2 t 1 + δ 2 ɛ 2 t 1 (2.8) ɛ t φ(0, σ 2 t ) (2.9) y t = α + βσ t + ɛ t (2.10) donde y es la tasa de retorno de un determinado activo, α es el valor esperado de la variable de salida, y ɛ t es un término de perturbación con función de distribución normal de media cero y varianza condicional σ 2 t, dado por φ(0, σ 2 t ). El parámetro β representa el efecto de la prima de riesgo en el retorno del activo, mientras que los parámetros δ 0, δ 1, y δ 2 definen la evolución de la varianza condicional. La prima de riesgo refleja el hecho de que los inversores a menudo requieren mayores retornos a la hora de asumir mayores riesgos en el mercado. Por ello se asume β > 0. El modelo GARCH-M es un sistema estocástico recursivo, dadas las condiciones iniciales σ 2 0 y ɛ2 0, así como las estimaciones de α, β, δ 0, δ 1 y δ 2. Dada una varianza condicional, la componente aleatoria se obtiene a partir de la distribución normal y el retorno del activo queda completamente determinado en función de su propia media, de la componente aleatoria y del efecto de la prima de riesgo, éste último dado por β t. Dado que la distribución de la componente aleatoria es normal, podemos utilizar la estimación por máxima verosimilitud para abordar la estimación de α, β, δ 0, δ 1, y δ 2. La función de probabilidad L es la función de probabilidad conjunta de ŷ t = y t, para t = 1,..., T. Para los modelos GARCH-M, la función de probabilidad toma la siguiente forma: L t = T 1 2πˆσ t 2 exp [ (y t ŷ t ) 2 ] 2σt 2 (2.11) ŷ = ˆα + ˆβˆσ t (2.12) ˆɛ t = y t ŷ t (2.13) ˆσ 2 t = ˆδ 0 + ˆδ 1ˆσ 2 t 1 + ˆδ 2ˆɛ 2 t 1 (2.14) donde los símbolos ˆα, ˆβ, ˆδ 0, ˆδ 1, y ˆδ 2 son estimaciones de los parámetros subyacentes en el modelo, y es el operador multiplicación, 2 i=1 x i = x 1 x 2. El método habitual para obtener las estimaciones de los parámetros maximiza la suma del logaritmo de de la función de probabilidad, o función de log-probabilidad, a lo largo de la muestra completa T, desde t = 1 hasta t = T, con respecto a la elección de las estimaciones de 7

4 Sección Modelos matemáticos para la predicción de series temporales los coeficientes, sujeto a la restricción de varianza mayor que cero, dadas las condiciones iniciales ˆσ 2 0 y ˆɛ2 t 1 : Max T ln(l t ) = T ( [ (yt ŷ t ) 2 ]),5ln(2π),5ln(ˆσ t ),5 ˆσ 2 t (2.15) s.a : ˆσ 2 t > 0, t = 1, 2..., T (2.16) El atractivo de la aproximación GARCH-M es su capacidad para modelar la fuente de no linealidad del proceso. La varianza condicional es una transformación no lineal tanto de sus valores pasados como de los valores pasados del error de predicción. El hecho de utilizar una varianza condicional de cuyo valor dependa la variable dependiente, representa el conocido factor de riesgo que eleva la tasa de retorno requerida a la hora de predecir las dinámicas de los precios de los activos. Una de las grandes ventajas del modelo es su capacidad para capturar un fenómeno bien conocido en series temporales económicas, esto es, que tras periodos de alta volatilidad sigue una alta volatilidad y viceversa. Por otra parte, entre los inconvenientes del método GARCH-M se observa que la minimización de las funciones log-probabilísticas es, a menudo, bastante difícil de alcanzar, siendo ademas un modelo bastante restrictivo: nos vemos limitados por un conjunto de parámetros bien definidos, una distribución bien definida, una función no lineal específica y un método de estimación que no siempre converge a estimaciones razonables de sus parámetros. Con modelos no lineales específicos, se pierde flexibilidad a la hora de capturar procesos no lineales alternativos Aproximación polinómica Mediante redes neuronales y otros métodos de aproximación, se pretende aproximar un proceso no lineal desconocido a través de modelos semi-paramétricos menos restrictivos. Con un polinomio o una red neuronal, la forma de las funciones no lineales utilizadas es fija pero no así el grado del polinomio o el número de neuronas. Con ello los parámetros, ni están limitados en número, ni tienen una interpretación directa, como la tienen los parámetros del modelo GARCH-M. Por este motivo, en la literatura se suele denominar a este conjunto de modelos como semiparamétricos. Mientras que GARCH y GARCH-M son modelos populares en econometría financiera no lineal, una red neuronal sencilla bien puede aproximar una serie temporal generada por un modelo GARCH-M calibrado [1]. El método de aproximación más comúnmente utilizado es el método de expansión polinómica. Del Teorema de Wierstrass, una expansión polinómica alrededor de un conjunto de entradas x con potencia progresivamente creciente puede aproximar hasta un determinado nivel de precisión cualquier función continua desconocida y = g(x). Si consideramos, por ejemplo, una aproximación polinómica de segundo grado de tres variables, 8

5 2. Modelos matemáticos para la predicción de series temporales Sección 2.3 [x 1t, x 2t, x 3t ], donde g es una función continua desconocida de argumentos x 1, x 2, x 3, la fórmula de aproximación es: y t = β 0 +β 1 x 1t +β 2 x 2t +β 3 x 3t +β 4 x 2 1t+β 5 x 2 2t+β 6 x 2 3t+β 7 x 1t x 2t +β 8 x 2t x 3t +β 9 x 1t x 3t (2.17) Nótese que la aproximación del polinomio de segundo grado con tres argumentos, o dimensiones, tiene tres términos cruzados, con coeficientes dados por {β 7, β 8, β 9 }, y requiere diez parámetros. Para un modelo de varios argumentos, el número de parámetros crece exponencialmente con el grado de la expansión polinómica. Este fenómeno es conocido como la regla dimensional de la aproximación no lineal. El precio a pagar por una mayor precisión es un mayor número de parámetros a estimar, y por tanto, un menor número de grados de libertad en la estimación estadística subyacente Polinomios ortogonales Judd(1998) [2] aborda una amplia gama de aproximadores polinómicos, denominados polinomios ortogonales. A diferencia del polinomio típico basado en potencias crecientes de la variable x, esta clase de polinomios se basan en funciones seno, coseno, o alternativamente, en transformaciones exponenciales de la variable x, habiéndose demostrado una mayor eficiencia en éstos últimos que en los polinomios de potencias. Antes de hacer uso de estos polinomios ortogonales, se deben transformar todas las variables [y, x] al intervalo [-1, 1]. Dada una variable x, dicha transformación a la variable x* viene dada por la siguiente expresión: x = 2x min(x) + max(x) max(x) min(x) max(x) min(x) (2.18) La formulación exacta de éstos polinomios ortogonales es complicada [ver Judd (1998), p 204, Tabla 6.3]. En cualquier caso, estos aproximadores polinómicos pueden ser representados con mayor sencillez en modo recursivo. La expansión polinómica de Tchebeycheff T(x*) para una variable x* viene dada por el siguiente sistema recursivo: T 0 (x ) = 1 T 1 (x ) = x T i+1 (x ) = 2x T i (x ) T i 1 (x ) (2.19) La expansión de Hermite H(x*) viene dada por las siguentes ecuaciones: H 0 (x ) = 1 H 1 (x ) = 2x H i+1 (x ) = 2x H i (x ) 2iH i 1 (x ) (2.20) 9

6 Sección Modelos matemáticos para la predicción de series temporales La expansión de Legendre L(x*) se expresa como sigue: L i+1 (x ) = L 0 (x ) = 1 L 1 (x ) = 1 x ( ) 2i + 1 L i (x ) i i + 1 i + 1 L i 1(x ) (2.21) La expansión de Laguerre LG(x*) tiene la siguente forma: ( 2i + 1 x LG i+1 (x ) = i + 1 LG 0 (x ) = 1 LG 1 (x ) = 1 x ) LG i (x ) i i + 1 LG i 1(x ) (2.22) Una vez obtenidas las expansiones polinómicas para una variable x* dada, simplemente se aproxima y* mediante regresión lineal. Para dos variables [x 1t, x 2t ] con expansión P1 y P2 respectivamente, la aproximación viene dada por la siguiente expresión: y = P 1i=1 P 2j=1 β ij T i (x 1t T j (x 2t (2.23) Para deshacer la transformación de la variable y* [min(y), max(y)], puede usarse la siguiente expresión: y devolverla al intervalo y = (y + 1)[max(y) min(y)] 2 + min(y) (2.24) Las redes neuronales son una alternativa al modelo paramétrico lineal, al modelo GARCH-M y a las aproximaciones semi-paramétricas polinomiales a la hora de aproximar un sistema no lineal. El motivo por el cual se aborda el problema desde el punto de vista de las redes neuronales es simple y directo. El objetivo es encontrar un método o aproximación que prediga de un modo adecuado datos generados por procesos a menudo desconocidos y altamente no lineales, con tan pocos parámetros como sea posible, y que sea más fácil de estimar que los modelos paramétricos no lineales. Seguidamente se mostrará cómo las redes neuronales permiten lograr estos objetivos de un modo más eficiciente -en términos de precisión y de computación- que la aproximación lineal. Las redes neuronales son tan precisas como las aproximaciones polinómicas con un menor número de parámetros. Además, son mucho menos restrictivas que los modelos GARCH-M. 10

7 2. Modelos matemáticos para la predicción de series temporales Sección 2.4 Solución Forma Cerrada Paramétrico Semiparamétrico Sí Lineal Polinómica No Garch-M Red Neuronal Cuadro 2.1: Tipología de los modelos 2.4. Tipología de los modelos Con el objeto de situar el modelo de redes neuronales entre los diferentes tipos de modelos predictivos, podemos diferenciar entre modelos paramétricos y modelos semiparamétricos, y entre modelos que presenten o no soluciones en forma cerrada. Dicha tipología se muestra en la tabla 2.1. Tanto los modelos lineales como los polinomiales poseen soluciones en forma cerrada para la estimación de los coeficientes de regresión. Por ejemplo, en el modelo lineal y = xβ, escrito en forma matricial, el estimador típico de mínimos cuadrados viene dado por ˆβ = (x x) 1 x y. El vector de coeficientes ˆβ es simplemente una función lineal de las variables [y, x]. No existen problemas de convergencia o múltiples soluciones: una vez que conocemos el conjunto de variables [y, x], conocemos la estimación del vector de coeficientes, ˆβ. Para un modelo polinómico, en el que la variable dependiente y es una función de potencias superiores de los regresores x, el vector de coeficientes se calcula del mismo modo. Simplemente se redefinen los regresores en términos de una matriz z, que representa las expansiones polinómicas de los regresores x, y mediante el método de los mínimos cuadrados se calcula el vector de coeficientes de los polinomios, es decir, ˆβ = (z z) 1 z y. Tanto GARCH-M como las redes neuronales son ejemplos de modelos que no poseen soluciones en forma cerrada para sus respectivos vectores de coeficientes. Se observa, además, cómo los modelos lineales y las redes neuronales son modelos diametralmente opuestos en su concepción. El modelo lineal puede ser una solución imprecisa en el mundo real, pero proporciona soluciones exactas, en poco tiempo y de una forma sencilla. Por su parte las redes neuronales pueden suponer una aproximación más precisa a la hora de capturar comportamientos no lineales, pero no poseen soluciones exactas o fáciles de obtener. Sin una solución en forma cerrada, las soluciones deben ser aproximadas. De hecho, como señalan Michalewicz y Fogel (2002) [3], esta polaridad refleja las dificultades a la hora de resolver problemas matemáticos en general. En muchas ocasiones es difícil obtener buenas soluciones para problemas importantes, bien porque debemos utilizar un modelo impreciso (como el modelo lineal), que proporciona una solución exacta, o bien porque debemos usar una solución aproximada por medio de un modelo más preciso o complejo. [Michalewicz and Fogel (2002), p. 19]. 11

8 Sección Modelos matemáticos para la predicción de series temporales Figura 2.1: Perceptron de tres capas con una capa oculta 2.5. Redes neuronales Al igual que el método de aproximación lineal y el polinómico, una red neuronal relaciona un conjunto de variables de entrada {x i }, i = 1,..., k, con un conjunto de una o más variables de salida {y j }, j = 1,..., k*. La diferencia entre las redes neuronales y los otros métodos de aproximación es que la red neuronal hace uso de una o más capas ocultas, en las cuales las variables de entrada son transformadas por una función especial, conocida como función de activación. Esta aproximación por medio de capas ocultas ha demostrado ser un medio muy eficiente a la hora de modelar procesos estadísticos no lineales Redes de alimentación hacia adelante La figura 2.1 ilustra la arquitectura de una red neuronal con una capa oculta que contiene C neuronas, n 1 variables de entrada {x i }, i = 1, 2,..., n 1, y una salida y. Se observa un procesamiento paralelo de la información. Además del procesamiento secuencial de los sistemas lineales típicos, en el cual solo se utilizan observaciones de las entradas para predecir la salida por medio de los pesos de las neuronas de entrada, las dos neuronas de la capa oculta procesan a su vez las entradas para mejorar las predicciones. Las conexiones entre las variables de entrada, a menudo denominadas neuronas de entrada, y las neuronas de la capa oculta, así como las conexiones entre las neuronas 12

9 2. Modelos matemáticos para la predicción de series temporales Sección 2.5 de la capa oculta y la variable de salida, o neurona de salida, se denominan sinapsis. Por suerte, gran parte de los problemas habituales en predicción no involucran un gran número de neuronas en el proceso paralelo. Esta red neuronal de capa simple con alimentación hacia adelante, o Perceptron multicapa con una capa oculta, constituirá el modelo predictivo utilizado en la herrmienta desarrollada en este proyecto, tanto para la evluación del algoritmo de eliminación progresiva de entradas basada en importancia relativa -ver sección como para la generación de predicciones -ver sección La arquitectura y funcionamiento del Perceptrón multicapa serán descritas en detalle en el capítulo 3. De un modo general, la red representa la manera en que el cerebro humano procesa la información sensorial, recibida por medio de las neuronas de entrada, y la convierte en conocimiento, representado por medio de la neurona de salida. A medida que el cerebro evoluciona, más y más neuronas se interconectan por medio de sinapsis, y las señales de las diferentes neuronas, trabajando en paralelo, cada vez en más y más capas ocultas, se combinan para producir reacciones y percepciones cada vez más matizadas. Por supuesto, los datos sensoriales de entrada sencillos, tales como la percepción de frío o calor no necesitan ser procesados por muchas neuronas o en muchas capas ocultas para producir la percepción correspondiente. Pero a medida que las experiencias subyacentes en los datos sensoriales de entrada se vuelven más complejas o diversas, más capas ocultas son activadas. La percepción y la decisión son el resultado de la combinación de señales procedentes de muchas neuronas, quizás pertenecientes a muchas capas ocultas. En el capítulo 3 se expondrán las principales características de la arquitectura y el funcionamiento de las redes neuronales de varias capas con conexiones hacia adelante, o Percetrones multicapa. Por motivos de dimensionalidad, quedan fuera del alcance de este proyecto el análisis de otros tipos de redes neuronales, como son las redes neuronales de base radial, las redes de Ridgelet o las redes con conexiones en salto. 13