Apuntes de Series Temporales

Transcripción

1 Apuntes de Series Temporales David Rodríguez 7 de Noviembre de Modelos de Series Temporales Modelo AR() El modelo AutoRegresivo AR() es un proceso aleatorio de la forma X t = ϕx t + σϵ t, ϵ t N (0, ) Se trata de un caso particular del modelo AR(p) con un solo retraso (p = ). Afirmamos sin demostración que la condición que se debe pedir para que la serie temporal sea estacionaria es ϕ <. (aunque se ve claramente a partir de la solución explícita para el AR() considerado como una ecuación de diferencias de primer orden que derivamos la semana anterior: Si ϕ fuera mayor que, el término que depende de las condiciones iniciales en la solución, ϕ t X 0, crecería sin límite con t). En caso de que ϕ = tenemos un browniano aritmético, que como ya vimos, no es estacionario (el proceso con ϕ = tiene media cero y varianza que crece lienealemnte con el tiempo como σ 2 t). Suponiendo ϕ < y por tanto, X t estacionario calculamos E[X t ] = ϕe[x t ] + 0 σe[ϵ t ] = ϕe[x t ] donde hemos usado en particular que la media es independiente de t. Siendo ϕ, la única posibilidad de que se cumpla la igualdad es E[X t ] = 0 Para la varianza se procede de forma similar. Como la media del proceso es 0, la varianza se puede calcular directamente como E[X 2 t ]. Calculamos pues X 2 t directamente, utilizando la ecuación que define el proceso temporal X 2 t = (ϕx t + σϵ t ) 2 = ϕ 2 X 2 t + σ 2 ϵ 2 t + 2σϕX t ϵ t y aplicamos el operador que permite el cálculo del valor esperado (E[ ], operador lineal) V ar(x t ) = E[X 2 t ] (a) = ϕ 2 E[X 2 t ] + 2σϕE[X t ϵ t ] + σ 2 E[ϵ 2 t ] (b) = ϕ 2 V ar(x t ) + 2σϕE[X t ]E[ϵ t ] + σ 2 E[ϵ 2 t ] (c) = ϕ 2 V ar(x t ) + σ 2

2 En (a) se ha aplicado linealidad dela esperanza, en (b) la independencia entre X t y ϵ t, y en (c) se han sustituido los valores conocidos para el ruido blanco gaussiano E[ϵ t ] = 0 y E[ϵ 2 t ] =. Ahora podemos despejar la varianza obteniendo V ar(x t ) = σ2 ϕ 2 Por último, calculamos la función de covarianzas γ. En este caso tenemos Cov(X s, X t ) = E[(X s E[X s ])(X t E[X t ])] = E[X s X t ] s, t por ser 0 la media. Se nos ocurre pues multiplicar ambos lados de la serie por X t+τ, con τ > 0 y tomar esperanzas γ(τ) = E[X t X t+τ ] = E[ϕX t X t+τ + σϵ t X t+τ ] = ϕe[x t X t+τ ] + σe[ϵ t X t+τ ] =... Problema... Si τ es positivo hay dependencia entre las variables ϵ t y X t+τ y no puedo separar esperanzas en σe[ϵ t X t+τ ]. Necesitaría tener ϵ t y X t τ (que sí son independientes) para que el valor esperado del producto de estas cantidades se pueda calcular como producto de valores esperados. Esto no supone un problema ya que γ(t + τ, t) = γ( t, t τ), y al ser la serie estacionaria γ es independiente de t. Vamos a probar de nuevo... γ(τ) = E[X t X t τ ] = E[ϕX t X t τ + σϵ t X t τ ] = ϕe[x t X t τ ] + σe[ϵ t X t τ ] = ϕe[x t X t τ ] + σ E[ϵ t ]E[X t τ ] = ϕγ(τ ) =... = ϕ τ γ(0) Dado que ϵ t y X t τ con τ > 0 son independientes, el valor esperado de su producto factoriza como producto de valores esperados E[ϵ t X t τ ] = E[ϵ t ]E[X t τ ]. Sólo queda observar que γ(τ) = γ( τ) y que γ(0) = V ar(x t ) para concluir γ(τ) = σ2 ϕ 2 ϕ τ ρ(τ) = γ(τ)/γ(0) = ϕ τ La evolución de la autocorrelación podemos representarla mediante un diagrama de autocorrelaciones, como el que aparece en la figura. Podemos ponerla en forma de decaimiento exponiencial para calcular el tiempo de vida medio de la serie. 2

3 φ 5 φ φ φ 2 ρ(τ) 0.6 φ φ φ 7 φ 8 φ 9 φ 0 φ φ 2 φ 3 φ 4 φ τ Figura : Diagrama de autocorrelación para la serie X t = 0,85X t + σϵ t. ϕ τ = e τ log ϕ e τ/τ m = τ m = log ϕ Observar que si se tuviera ϕ = el tiempo de vida sería infinito ya que la serie no converge. Modelo AR() generalizado Ahora consideramos X t = ϕ 0 + ϕ X t + σϵ t, ϵ t N (0, ) Usando, como antes, que el proceso es estacionario (E[X t ] = E[X t ]) obtenemos E[X t ] = ϕ 0 + ϕ E[X t ] ( ϕ )E[X t ] = ϕ 0 E[X t ] = ϕ 0 ϕ Para la varianza usamos el hecho de que X t E[X t ] = (ϕ 0 +ϕ X t +σϵ t ) (ϕ 0 +ϕ E[X t ]) = ϕ (X t E[X t ])+σϵ t con lo que la variable X t E[X t ] sigue el proceso anterior y se tiene σ2 V ar(x t ) = E[(X t E[X t ]) 2 ] = ϕ 3

4 Otros Modelos En el cuadro se describen algunos modelos más complicados. En todos los casos ϵ t N (0, ). AR(2) Auto X t = ϕ 0 + ϕ X t ϕ 2 X t 2 + σϵ t Regressive 2 retrasos MA(2) Moving X t = θ 0 + θ ϵ t + θ 2 ϵ t 2 + σϵ t Average 2 retrasos ARMA(,2) AR() X t = ϕ 0 + ϕ X t + MA(2) θ ϵ t + θ 2 ϵ t 2 + σϵ t AR() AR() X t = ϕ 0 + ϕ X t + h t ϵ t + Autoregressive u t = h t ϵ t ARCH(2) Conditional h t = κ + α u 2 t + α 2 u 2 t 2 Heteroskedasticity u t innovación, h t volatilidad 2 retrasos ARMA(,) ARMA(,) X t = ϕ 0 + ϕ X t θ ϵ t + h t ϵ t + Generalized u t = h t ϵ t GARCH(,2) ARCH(,2) h t = κ + α u 2 t + β h t + β 2 h t 2 AR() + GARCH(,) Buen modelo para el IBEX35 Cuadro : Otros modelos 2. Estimación de Modelos Hasta ahora, me han dado un modelo, por ejemplo AR(), y he extraído propiedades de él. Ahora cambiamos el enfoque. Lo que se nos da ahora es una conjunto de datos empíricos de la serie temporal. Por ejemplo, X, X 2,..., X T que siguen AR() y me interesa estimar los parámetros de la serie ˆσ, ˆϕ 0, ˆϕ. Vamos a ver varios modos posibles para estimar estos parámetros 4

5 Método de Momentos El método de momentos consiste en la estimación de parámetros del modelo igualando momentos muestrales con momentos teóricos, y resolviendo las ecuaciones resultantes para las variables que se quieran estimar. Para obtener estimadores no sesgados (que converjan al valor real cuando crece el tamaño de la muestra) necesito modelos ergódicos, como es el caso. Ejemplos: E[X t ] X = T V ar(x t ) t= X t (X t X t ) 2 = T T T (X t X t ) 2 t= (X t X t ) 2 ˆσ = ˆϕ 2 t= ρ() = γ() = ϕ (X t X t ) 2 = T (X t X t )(X t X t ) Nótese que en la última ecuación se ha utilizado /T en lugar de /(T ) en el estimador para la autocovarianza. En general la diferencia para valores grandes de T es despreciable, y este estimador tiene la ventaja de que origina una matriz de autocovarianzas definida positiva. Además, merece la pena señalar que aunque el modelo sea ergódico (es decir, aunque el promedio sobre la distribución estacionaria del proceso se pueda estimar a partir de un promedio en el tiempo), las estimaciones de la autocovarianza γ(τ) a partir de la muestra empírica sólo serán buenas si τ T. Una última observación explica que aparezcan bandas de confianza en los correlogramas, como los que aparecen en la figura 2. Representan la incertidumbre por tener un número finito de observaciones. Se obtienen considerando la propia estimación de la autocorrelación como una variable aleatoria, que para un número grande de muestras tenderá a una distribución normal (Teorema del Límite Central). Una vez observado esto, se fija un grado (porcentaje de confianza) y se calculan el tamaño de la franja para que la probabilidad de caer en ella sea la elegida. Método de Mínimos Cuadrados Dada una muestra {(x n, y n )} N, quiero obtener una recta y = ax+b de modo que minimize t=2 N (y i ax i b) 2 i= Las soluciones a este problema son â = Ĉov(x, y) V ar(x) ˆb = y â x 5

6 Figura 2: Función de autocorrelación muestral de n=200 observaciones de un proceso MA(). Tomado de Introduction to Time Series and Forecasting, de Brockwell & Davis. La motivación de aplicar este método se ve cláramente en la forma del modelo. Los datos de muestra que se nos proporcionan tendrán un cierto error σϵ n, ϵ n N (0, ). Pero este es justo el modelo AR(), tomando ϕ 0 = b y ϕ = a. Es por ello que el modelo se llama Autoregresivo, por que se aproxima por regresión sobre la propia serie. Método de Máxima Verosimilitud En general se utiliza el Método de Máxima Verosimilitud. La función de verosimilitud se define, fijadas las muestras X,..., X T, como la pdf de (X,..., X T ) como función de los parámetros ϕ 0, ϕ, σ (nótese que los parámetros dependen del modelo, en este caso AR()). L(ϕ 0, ϕ, σ; {X t } T t=) = p(x,..., X T ; ϕ 0, ϕ, σ) Por la forma del modelo AR(), podemos hacer una hipótesis de independencia condicionada, y se tiene L(ϕ 0, ϕ, σ; {X t } T t=) = T p(x t X t ; ϕ 0, ϕ, σ) Los estimadores de máxima verosimilitud son aquellos que maximizan la función de verosimilitud, es decir, t=2 (ϕ 0, ϕ, σ ) = argmax L(ϕ 0, ϕ, σ; {X t } T t=) ϕ 0,ϕ,σ Sin embargo, estos productos son difíciles de tratar computacionalmente ya que sus valores se disparan. No obstante, si tomamos logaritmos, los productos se van a transformar en sumas, más manejables. Además, el logaritmo es una transformación monótona creciente y que por tanto conserva el máximo con 6

7 lo que no influye en nuestro cálculo. La función transformada que se busca optimizar recibe el nombre de Log-Verosimilitud. LL(ϕ 0, ϕ, σ) = log(l(ϕ 0, ϕ, σ; {X t } T t=) = log ( p(x t X t ; ϕ 0, ϕ, σ) ) Se puede verificar que la maximización de la verosimilitud en un modelo lineal como el AR() haciendo la hipótesis de que las innovaciones son gaussianas conduce a la misma estimación para los parámetros del modelo que mínimos cuadrados. t=2 7