Modelos ARMA. Francisco J. González Serrano. Universidad Carlos III de Madrid

Transcripción

1 PREDICCIÓN DE SEÑALES Modelos ARMA Francisco J. González Serrano Universidad Carlos III de Madrid

2 Modelos ARMA En este capítulo nos centramos en la familia de los procesos estacionarios ARMA (AutoRegressive Moving Average). La importancia de estas técnicas paramétricas radica en su flexibilidad. Existe un gran número de funciones de autocovarianza γ( ) que pueden aproximarse por la de procesos ARMA. Procesos ARMA(p, q) Definición: {X t } es un proceso ARMA(p, q) si {X t } es estacionario y si para cada t X t φ 1 X t 1 φ p X t p = Z t + θ 1 Z t θ q Z t q, (1) {Z t } WN(0, σ 2 ). {X t } es un proceso ARMA(p, q) con media µ si {X t µ} es un proceso ARMA(p, q). Notación (más compacta) para describir estos procesos: φ(b)x t = θ(b)z t (2) φ( ) y θ( ) son dos polinomios de órdenes p y q. B es el operador desplazamiento. F. González 1

3 Propiedades procesos ARMA(p, q) Existencia y unicidad: Para que exista una solución estacionaria {X t } que satisfaga φ(b)x t = θ(b)z t, (3) φ(z) = 1 φ 1 z φ 2 z 2 φ p z p 0, z = 1. Causalidad Un proceso es causal si existen constantes {ψ j } tal que X t = ψ j Z t j, t. (4) j=0 y j=0 ψ j < (estabilidad). La propiedad de causalidad es equivalente a la condición φ(z) = 1 φ 1 z φ 2 z 2 φ p z p 0, z 1, F. González 2

4 La secuencia {ψ j } está determinada por la relación ψ(z) = j=0 ψ jz j = θ(z) φ(z) (1 φ 1 z φ p z p )(ψ 0 + ψ 1 z + ) = 1 + θ 1 z + + θ q z q Si se relacionan los coeficientes asociados a las potencias z j, se puede escribir que p ψ j φ k ψ j k = θ j, j = 0, 1,... (5) verificándose que θ 0 = 1, θ j = 0 para j > q y ψ j = 0 para j < 0. k=1 F. González 3

5 Función de autocorrelación de procesos ARMA Proceso causal ARMA(p, q) definido por: φ(b)x t = θ(b)z t, con {Z t } WN(0, σ 2 ). (6) Método 1. La condición de causalidad X t = implica que el cociente θ(z)/φ(z), se puede desarrollar como θ(z) φ(z) = ψ j Z t j, para z 1. obteniéndose finalmente que j=0 ψ j Z t j, t. (7) j=0 γ(h) = E(X t+h X t ) = σ 2 j=0 ψ j ψ j+ h. (8) F. González 4

6 ACVF. Ejemplo Consideremos el proceso y φ < 1. Su ACVF viene dada por y X t φx t 1 = Z t + θz t 1, con {Z t } WN(0, σ 2 ) (9) γ(0) = σ 2 γ(1) = σ 2 j=0 = σ 2 [ 1 + j=0 ψj 2 = σ (θ + φ) 2 ] (θ + φ)2 1 φ 2 ψ j+1 ψ j = σ 2 [ θ + φ +, ] (θ + φ)2 1 φ 2 γ(h) = φ h 1 γ(1), h 2., φ 2j j=0 F. González 5

7 Función de autocovarianza Método 2. A partir de X t φ 1 X t 1 φ p X t p = Z t + θ 1 Z t θ q Z t q, (10) puede deducirse que los procesos {Z t } y {X t k } guardan relaciones de dependencia estadística únicamente cuando k < p. Si se expresa X t = n=0 ψ nz t n, entonces, E [Z t X t k ] = ψ n E [Z t Z t k n ] k < p. Como el proceso {Z t } es WN(0, σ 2 ), E [Z t Z t k n ] = σ 2 δ n+k n=0 E [Z t X t k ] = σ 2 n=0 ψ n δ n+k = σ 2 ψ k. (11) Si se multiplican los dos extremos de φ(b)x t = θ(b)z t por X t k, k = 0, 1,... y se calcula F. González 6

8 la esperanza matemática, γ(k) φ 1 γ(k 1)... φ p γ(k p) = σ 2 j=0 θ k+j ψ j, 0 k < m γ(k) φ 1 γ(k 1)... φ p γ(k p) = 0, k m, donde m = máx(p, q + 1), ψ j = 0 para j < 0, θ 0 = 1 y θ j = 0 para j {0,..., q} (12a) (12b) F. González 7

9 Función de autocovarianza. Ejemplo Consideremos el proceso ARMA(1, 1) X t φx t 1 = Z t + θz t 1, con {Z t } WN(0, σ 2 ) (13) y φ < 1. La Ecuación γ(k) φ 1 γ(k 1)... φ p γ(k p) = σ 2 se puede plantear como j=0 θ k+j ψ j, 0 k < m (14) γ(0) φγ( 1) = γ(0) φγ(1) = σ 2 (1 + θ(θ + φ)) (15a) y γ(1) φγ(0) = σ 2 θ. (15b) La resolución del par de ecuaciones anterior proporciona los valores γ(0) y γ(1). Finalmente, la Ecuación (homogénea) γ(k) φ 1 γ(k 1)... φ p γ(k p) = 0, k m, (16) F. González 8

10 responde a la expresión cuya solución es γ(k) φγ(k 1) = 0, k 2 (17) γ(h) = φ h 1 γ(1), h 1 F. González 9

11 La función de autocorrelación (parcial) Recordemos que la función de autocorrelación (AutoCorrelation Function, ACF), ρ( ), de un proceso ARMA se define como ρ(h) = γ(h) γ(0) y que su versión muestral, es decir, aquella obtenida a partir de un conjunto finito de observaciones {x 1,..., x n } se representa por ˆρ(h) = ˆγ(h) ˆγ(0) La función de autocorrelación parcial (Partial AutoCorrelation Function, PACF), α( ), de un proceso ARMA {X t } se define por α(0) = 1 y α(h) = φ hh, h 1 F. González 10

12 donde φ hh es la última componente de con φ h = Γ 1 h γ h, (18) Γ h = [γ(i j)] h i,j=1 y γ h = [γ(1), γ(2),..., γ(h)] T. F. González 11

13 PACF de un proceso AR(p) La PACF de un proceso AR(p) es cero para h > p. Demo: El mejor predictor lineal del proceso causal AR(p) X t φ 1 X t 1 φ p X t p = Z t, {Z t } WN(0, σ 2 ), en función de X 1,..., X h, siendo h p, es ˆX h+1 = φ 1 X h + φ 2 X h φ p X h+1 p. Cuando h = p, φ hh (X 1 ) es φ p y cuando h > p, φ hh = 0. Por tanto, y α(p) = φ p α(h) = 0 para h > p Para los valores h < p, el cálculo de los valores α(h) se obtiene de φ h = Γ 1 h γ h, (19) F. González 12

14 PACF de un proceso MA(q) Proceso MA(q) X t = Z t + θ 1 Z t θ q Z t q, con {Z t } WN(0, σ 2 ) (20) La función de autocovarianza (ACVF) responde a la expresión: { σ γ(h) = 2 q h j=0 θ jθ j+ h, si h q, 0, si h > q donde se ha supuesto que θ 0 = 1. La ACVF de los procesos MA(q) se desvanece a partir del instante q. Supongamos ahora que q = 1 y γ(0) = σ ( ) θ1 2 γ(1) = σ 2 θ 1 A partir de φ h = Γ 1 h γ h, (22) se pueden calcular la PACF sin más que hacer α(h) = φ h (h). F. González 13 (21)

15 Para h = 0, α(0) = 1. Para h = 1, Para h = 2 resulta, γ(0)φ 1 (1) = γ(1). (23) α(1) = φ 1 (1) = γ(1) γ(0) = θ θ 2 1 [ γ(0) γ(1) γ(1) γ(0) ] [ φ2 (1) φ 2 (2) ] = [ γ(1) 0. (24) ], (25) donde se ha tenido en cuenta que γ(h) = 0 para h > 1 (proceso MA(1)). Por tanto, En general, la PACF en la muestra h vale γ 2 (1) α(2) = γ 2 (0) γ 2 (1) = θ θ1 2 + θ4 1. (26) α(h) = φ h (h) = ( θ 1 ) h 1 + θ θ2h 1 (27) F. González 14

16 La PACF muestral Si {X t } es una serie AR(p). La PACF obtenida a partir de los valores observados {x 1,..., x n } tiene que reflejar las propiedades intrísecas de la PACF. En particular, si la PACF muestral presenta valores significativamente diferentes de cero para el intervalo 0 h p y despreciables para h > p, el modelo AR(p) resulta adecuado. F. González 15

17 Ejemplos. Gasolinera Descuadres diarios en la medida de la capacidad de un tanque de una gasolinera de Colorado Galones Días Si la cantidad de combustible almacenado en el tanque al final del día t es y t, si a t representa la diferencia entre la cantidad dispensada y la medida reflejada en el surtidor, F. González 16

18 entonces, el descuadre x t se define como x t = y t y t 1 + a t. En ausencia de errores en la medida de la capacidad y de fugas, x t = 0. En la práctica, estos errores de medida permiten considerar a las cantidades anteriores como variables aleatorias: Y t, A t, X t, con t = 1,..., 57. Función de autocorrelación (ACF) ACF Muestra Se ha supuesto un modelo MA(1) para dibujar los límites ±1,96n 1/2 (1 + 2ˆρ 2 (1)) 1/2 (n = 57). ˆρ(h) permanece dentro de los límites anteriores para h > 1, lo cual es compatible con el F. González 17

19 modelo X t = µ + Z t + θz t 1, {Z t } WN(0, σ 2 ). (28) Para estimar la media del descuadre utilizamos el promedio temporal x 57 = 4,035. Para los parámetros θ, σ 2 utilizaremos la versión muestral de la función de autocovarianza (ACVF): (1 + θ 2 )σ 2 = ˆγ(0) = 3415,72 θσ 2 = ˆγ(1) = 1719,95 La solución (aproximada) del sistema anterior es θ = 1 y σ 2 = 1708, con lo cual resulta el modelo MA(1): X t = 4,035 + Z t Z t 1, {Z t } WN(0, 1708). F. González 18

20 Manchas solares Serie correspondientes al número de manchas solares S 1,..., S 100 aparecidas en el periodo Numero de manchas solares Años Función de autocorrelación parcial (PACF) muestral. Se representan los límites ±1,96/ 100. Como α(h) ±1,96/ 100, h > 2, aplicamos modelo AR(2): X t φ 1 X t 1 φ 2 X t 2 = Z t, {Z t } WN(0, σ 2 ). (29) donde X t = S t 46,93 F. González 19

21 PACF Muestra Una forma sencilla de ajustar este modelo a los datos consiste en hacer que coincidan los valores de la autocovarianza muestral en las muestras 0, 1 y 2 con los del modelo AR(2). Multiplicando cada lado de la ecuación X t φ 1 X t 1 φ p X t p = Z t por X t k y tomando la esperanza matemática, se obtienen las ecuaciones de Yule-Walker Γ p φ = γ p (30) y σ 2 = γ(0) φ T γ p (31) F. González 20

22 donde Γ p es la matriz de autocovarianza [γ(i j)] p i,j=1 y γ p = (γ(1),..., γ(p)) T. Para el caso p = 2 resulta γ(0) = γ(1)φ 1 + γ(2)φ 2 + σ 2 γ(0)φ 1 + γ(1)φ 2 = γ(1) γ(1)φ 1 + γ(0)φ 2 = γ(2) sustituyendo γ(k) por ˆγ(k), donde ˆγ(0) = 1382,2, ˆγ(1) = 1114,4 ˆγ(2) = 591,73, resulta: 1382,2 = 1114,4φ ,73φ 2 + σ ,2φ ,4φ 2 = 1114,4 1114,4φ ,2φ 2 = 591,73 Finalmente, el modelo AR(2) responde a la expresión X t 1,3175X t 1 + 0,6342X t 2 = Z t, con {Z t } WN(0, 289,179). (32) F. González 21

23 Predicción de procesos ARMA Algoritmo de innovaciones: permite predecir procesos de segundo orden (y media 0) sin que éstos tengan que ser necesariamente estacionarios. Simplificación cuando se aplica a procesos ARMA(p, q) causales φ(d)x t = θ(d)z t, con {Z t } WN(0, σ 2 ). Idea: aplicar el procedimiento sobre el proceso transformado W t = 1 σ X t, t = 1,..., m W t = 1 σ φ(d)x t, t > m (33) donde m = máx(p, q) (34) {W t } es un proceso MA para t > m. Función de autocovarianza de longitud finita. Simplificación algoritmo de innovaciones. Se ha expresado cada X n, n 1, como una combinación lineal de W j, con 1 j n, y viceversa. F. González 22

24 Si se conoce la función de autocovarianza de {X t }, las covarianzas κ(i, j) = E(W i, W j ) son: γ X (i j)/σ 2, 1 i, j m 1 κ(i, j) = σ [γ X(i j) p 2 r=1 φ rγ X (r i j )], mín(i, j) m, m < máx(i, j) 2m q r=0 θ rθ r+ i j, mín(i, j) > m 0, en otro caso. (35) F. González 23

25 Aplicando el algoritmo de innovaciones a {W t } resulta Ŵ n+1 = n j=1 ϑ nj Ŵ n+1 = q j=1 ϑ nj ϑ nj = 0, para n m y para j > q ɛ n = E(W n+1 Ŵn+1) 2 ( ) W n+1 j Ŵn+1 j, 1 n < m ( ) W n+1 j Ŵn+1 j, n m Propiedad: el mejor predictor lineal de una variable aleatoria Y, P n Y, en función de {X 1,, X n, 1}, es el mismo que si expresamos Y en función de {W 1,, W n, 1}. (36) Ŵ n+1 = P n W n+1, ˆX n+1 = P n X n+1 Como P n es un operador lineal, y como W t = 1 σ X t, t = 1,..., m W t = 1 σ φ(d)x t, t > m es una combinación lineal de X t, resulta que Ŵ t = 1 σ ˆX t, 1 t m Ŵ t = 1 [ ] ˆXt φ 1 X t 1 φ p X t p, t > m σ (37) (38) F. González 24

26 Teniendo en cuenta que se obtiene y X t ˆX t = σ [ ] W t Ŵt t 1 (39) n j=1 ˆX n+1 = ϑ nj (X n+1 j ˆX ) n+1 j, 1 n < m φ 1 X n + + φ p X n+1 p + q j=1 ϑ nj (X n+1 j ˆX ) n+1 j, n m E(X n+1 ˆX n+1 ) 2 = σ 2 E(W n+1 Ŵn+1) 2 = σ 2 ɛ n (41) (40) F. González 25

27 Predicción de procesos ARMA. Ejemplo Consideremos el proceso ARMA(1,1) donde φ < 1. X t φx t 1 = Z t + θz t 1, con {Z t } WN(0, σ 2 ). (42) En este caso, ˆXn+1 = φx n + θ n1 ( X n ˆX n ), n 1. F. González 26

28 Para calcular θ n1 es necesario obtener previamente la ACVF y γ(0) = σ 2 ψj 2 j=0 = σ (θ + φ) 2 γ(1) = σ 2 = σ 2 [ 1 + j=0 (θ + φ)2 1 φ 2 ψ j+1 ψ j = σ 2 [ θ + φ + φ 2j j=0 ] [ ] 1 + 2θφ + θ = σ 2 2 ] (θ + φ)2 1 φ 2 γ(h) = φ h 1 γ(1), h 2., 1 φ 2, F. González 27

29 Introduciendo estas expresiones en la ecuación resulta γ X (i j)/σ 2, 1 i, j m 1 κ(i, j) = σ [γ X(i j) p 2 r=1 φ rγ X (r i j )], mín(i, j) m m < máx(i, j) 2m q r=0 θ rθ r+ i j, mín(i, j) > m 0, en otro caso. κ(i, j) = 1 + 2θφ + θ 2, i = j = 1 1 φ θ 2, i = j 2 θ, i j = 1, i 1 0, en otro caso. Con estos valores, el algoritmo de innovaciones se reduce a (43) (44) 1 + 2θφ + θ2 ɛ 0 = (45a) 1 φ 2 θ n1 = θ (, ɛ n = 1 + θ ) (45b) ɛ n 1 ɛ n 1 A partir de las ecuaciones anteriores se puede observar que ɛ n 1 y, como consecuencia, que θ n1 θ F. González 28

30 Ilustración: predicción del proceso ARMA(1,1): X t 0,5X t 1 = Z t + 0,2Z t 1, con {Z t } WN(0, σ 2 ). (46) La matriz de covarianzas [κ(i, j)] viene dada por: κ = 1,6533 0, ,2000 1,0400 0, ,2000 1,0400 0, ,2000 1,0400 0, ,2000 1,0400 0,2000 Algoritmo de innovaciones proporciona los valores.. n X n+1 ɛ n θ n1 ˆXn (47) F. González 29

31 Estimación de parámetros del modelo ARMA Analizaremos cuatro técnicas que permiten hacer una estimación preliminar de los parámetros φ = (φ 1,..., φ p ) T, θ = (θ 1,..., θ q ) T y σ 2 a partir de las observaciones x 1,..., x n de un proceso ARMA(p, q) causal definido por 1. Estimación de Yule-Walker: AR. 2. Algoritmo de Burg: AR. 3. Algoritmo de innovaciones: ARMA. 4. Algoritmo Hannan-Rissanen: ARMA. φ(d)x t = θ(d)z t, con {Z t } WN(0, σ 2 ). (48) F. González 30

32 Estimación de Yule-Walker Se utiliza para ajustar modelos autorregresivos puros. Puede adaptarse a modelos con q > 0, aunque sus prestaciones son peores que las alcanzadas cuando q = 0. La condición de causalidad permite expresar el proceso X t en la forma X t = ψ j Z t j (49) donde ψ j Ψ(z) = 1 Φ(z). Multiplicando cada lado de la igualdad por X t j y calculando la esperanza matemática se obtienen las conocidas ecuaciones de Yule-Walker: j=0 Γ p φ = γ p y σ 2 = γ(0) φ T γ p donde Γ p = [γ(i j)] p i,j=1 y γp = (γ(1),..., γ(p)) T. (50a) (50b) F. González 31

33 La versión muestral de las ecuaciones anteriores es y donde ˆφ = ˆσ 2 = ˆγ(0) ˆR 1 p ˆρ p (51a) [ 1 ˆρ T p ] 1 ˆR p ˆρ p ˆρ p = (ˆρ(1),..., ˆρ(p)) T = 1 ˆγ(0) ˆγ p (51b) (51c) F. González 32

34 Estimación de Yule-Walker AR(p) La distribución de los estimadores de Yule-Walker: ˆφ N(φ, 1 n σ2 Γ 1 p ). (52) [ ] ˆɛjj Por tanto φ pj ˆφ pj ± Φ 1 α/2, donde ˆɛ jj es el elemento j-ésimo de la diagonal de ˆɛ p ˆΓp, n con probabilidad (1 α). Selección del orden 1. Supongamos que φ(d)x t = Z t con {Z t } IID(0, σ 2 ). Si ajustamos un modelo AR(m) (m > p), ˆφ m = un modelo N(0, 1 n ). Elegir p como el valor entero m más pequeño para el que ˆφ kk < ±1,96/ n ˆR 1 m ˆρ m, entonces ˆφ mm (PACF) sigue F. González 33

35 2. Elegir p y φ p que minimizan el estadístico AICC AICC = 2 log ( L(φ p, S(φ p )/n) ) + donde L es la función de verosimilitud gaussiana L(φ, σ 2 ) = 1 (2πσ2 ) n ɛ 0 ɛ n 1 exp { 1 2σ 2 2(p + 1)n n p 2 n (X j ˆX } j (φ)) 2 j=1 ɛ j 1 (53), (54) y AICC = n log(2πσ 2 ) + n 1 j=0 S(φ) = σ 2 = 1 S(φ) (55) n n (X j ˆX j (φ)) 2 j=1 log(ɛ j ) + 1 nσ 2 n j=1 ɛ j 1 (56) (X j ˆX j (φ)) 2 ɛ j 1 + 2(p + 1) (57) (n p 2) F. González 34

36 Estimación de Yule-Walker AR(p). Ejemplo Índice Dow-Jones de industriales entre el 28 de agosto y el 18 de diciembre de Índice Dow Jones ACF Días (a) Muestra (b) Función de autocorrelación muestral: caída muy lenta. Sugerencia: aplicar una operación de diferenciado. La nueva serie Y t = (1 D)D t ya no presenta desviaciones apreciables del comportamiento estacionario. Valores muestrales de la función de autocovarianza: ˆγ(0) = 0,17992, ˆγ(1) = 0,0759, ˆγ(2) = 0,04885, etc. F. González 35

37 Índice Dow Jones diferenciado ACVF Días (a) Muestra (b) Aplicando estos valores al algoritmo de Levinson-Durbin resulta ˆφ 11 = ˆρ(1) = ˆγ(1) ˆγ(0) = 0,4219 ˆɛ 1 = ˆγ(0) [ 1 ˆρ 2 (1) ] = 0,1479 [ ˆφ 22 = ˆγ(2) ˆφ ] 11ˆγ(1) /ˆɛ 1 = 0,1138 ˆφ 22 = ˆφ 11 ˆφ 11 ˆφ22 = 0,3739 ˆɛ 2 = ˆɛ 1 [1 ˆφ ] 2 22 = 0,1460. Función de autocovarianza parcial (PACF) de la serie {Y t }. F. González 36

38 PACF Retardo Límites ±1,96/ 77 sugieren modelo AR(1). Corrección de la media: X t = (Y t 0,1336) Modelo para {X t } X t 0,4219X t 1 = Z t, con {Z t } WN(0, 0,1479). (58) Modelo para {Y t }: (Y t 0,1336) 0,4219 (Y t 1 0,1336) = Z t, con {Z t } WN(0, 0,1479). (59) F. González 37

39 Si suponemos que los datos realmente proceden de un modelo AR con p = 1, los intervalos de confianza del 95 % para el coeficiente autorrecurrente ˆφ 11 = 0,4219 es ɛ1 ˆφ 11 ± 1,96 (60) ˆγ(0)n 0,1479 0,4219 ± 1,96 = (0,2194, 0,6244) (61) (0,17992)77 F. González 38

40 Algoritmo de Burg El algoritmo de Yule-Walker calcula los coeficientes ˆφ p1,..., ˆφ pp con los que se construye el mejor predictor lineal de X p+1 en función de {X p,..., X 1 }; para ello ha de suponerse que los valores (verdaderos) de la función de autocorrelación de {X t } coinciden en la muestras 1,..., p con los de la muestral. El algoritmo de Burg estima los coeficientes de la PACF {φ 11, φ 22,...} minimizando sucesivamente las sumas de los errores de predicción de orden 1 hacia adelante y hacia atrás respecto de los coeficientes φ ii. A continuación se aclara el algoritmo. A partir de la observaciones {x 1,..., x n } de un proceso estacionario de media 0, X t, definimos: Error de predicción hacia adelante. e F i (t), t = i + 1,..., n y 0 i < n, es la diferencia entre x t y la mejor estima lineal de x t en función de los i términos precedentes. e F i (t) = x t ˆx F t = x t l (x t 1,..., x t i ) (62) Error de predicción hacia atrás. e B i (t), t = i + 1,..., n y 0 i < n, es la diferencia entre x t i y la mejor estima lineal de x t i en función de los i términos siguientes. e B i (t) = x t i ˆx B t i = x t i l (x t i+1,..., x t ) (63) F. González 39

41 Es fácil demostrar que estas secuencias de error satisfacen las recursiones e B 0 (t) = e F 0 (t) = x t (64a) e B i (t) = e B i 1(t 1) φ ii e F i 1(t) e F i (t) = e F i 1(t) φ ii e B i 1(t 1) (64b) (64c) Las estima de Burg ˆφ 11 se halla minimizando σ1 2 1 n [ = (e B 2(n 1) 1 (t)) 2 + (e F 1 (t)) 2] (65) t=2 respecto de φ 11. Es fácil demostrar que φ 11 satisface φ 11 = 2 n e F 0 (t)e B 0 (t 1), (66) d(1) donde d(1) = t=2 n ( n ( x 2 i + xi 1) 2 = (e F 0 (t)) 2 + (e B 0 (t 1)) 2). (67) i=2 Una vez calculado el valor ˆφ 11, se obtienen los valores numéricos de e B 1 (t), e F 1 (t) y σ 2 1. Sustituyéndolos en las expresiones (64) es posible obtener los errores para i = 2. Ahora, la i=2 F. González 40

42 minimización de conduce hacia el valor donde σ 2 2 = d(2) = 1 2(n 2) ˆφ 22 = 2 d(2) n [ (e B 2 (t)) 2 + (e F 2 (t)) 2] (68) t=3 n e F 1 (t)e B 1 (t 1), (69) t=3 ( 1 ˆφ ) 2 11 d(1) (e F 1 (2)) 2 (e B 1 (n)) 2. (70) El proceso anterior puede repetirse sucesivamente hasta obtener la estima P p X p+1 = φ p1 X p + + φ pp X 1 (71) donde los coeficientes φ pj se obtienen aplicando el algoritmo de Levinson-Durbin: φ p1 φ p 1,1 φ p 1,p 1. =. φ pp. (72) φ p,p 1 φ p 1,p 1 φ p 1,1 La distribución (para un número elevado de muestras) de los coeficientes proporcionados por el F. González 41

43 algoritmo de Burg es idéntica a la correspondiente a la estimación de Yule-Walker: ˆφ p N(φ, 1 n σ2 Γ p ) (73) Para concluir, a continuación se resume el algoritmo de Burg. n ( ) d(1) = x 2 i + x 2 i 1, (74) i=2 ˆφ ii = 2 n e F d(i) i 1(t)e B i 1(t 1), (75) t=i+1 ( d(i + 1) = 1 ˆφ ) 2 ii d(i) (e F i (i + 1)) 2 (e B i (n)) 2, (76) σi 2 1 [( = 1 2(n i) ˆφ ) ] 2 ii d(i) (77) F. González 42

44 Algoritmo de Burg: Ejemplo Ejemplo 0.1 Volvemos a considerar el índice (diferenciado y corregido en media) de Dow-Jones de industriales, aunque esta vez aplicaremos el algoritmo de Burg. El resultado es el modelo X t 0,4371X t 1 = Z t WN(0, 0,1423) (78) Nótese la pequeña diferencia respecto del modelo obtenido con el algoritmo de Yule-Walker. Como veremos más adelante, el modelo obtenido con el método de Burg tiene una mayor verosimilitud, lo cual quiere decir que minimiza el estadístico AICC. Los límites de confianza para el coeficiente φ son: 0,4371 ± 0,4371 = (0,2354, 0,6388). 2,1668 F. González 43

45 Algoritmo de Burg: Ejemplo Ejemplo 0.2 En este ejemplo consideramos el problema de ajustar un modelo a la serie correspondiente al nivel del lago Hurón sin haber eliminado previamente la tendencia; esta serie vuelve a mostrarse en la Figura Figura 1: Nivel del lago Hurón. F. González 44

46 Su función de autocorrelación (ACF) y la función de autocorrelación parcial (PACF) se muestran en las Figura 2. La PACF muestral indica que el modelo AR(2) se puede ajustar ACF 0.4 PACF Muestra (a) retardo (b) Figura 2: (a) Función de autocorrelación muestral. (b) Función de autocorrelación parcial. bien a los datos corregidos en media, X t = Y t 9,0041. Si se utiliza el algoritmo de Burg se obtiene el modelo X t 1,0449X t 1 + 0,2456X t 2 = Z t {Z t } WN(0, 0,4706) (79) F. González 45

47 siendo los límites del 95 % de confianza φ 1 : 1,0449 ± 1,0449 = (0,8559, 1,2339) 5,5295 φ 2 : 0,2456 ± 0,2456 = ( 0,4346, 0,0566). 1,2997 (80) Si hubiésemos utilizado el algoritmo de Yule-Walker, el resultado hubiera sido X t 1,0538X t 1 + 0,2668X t 2 = Z t {Z t } WN(0, 0,4920) (81) siendo los límites del 95 % de confianza φ 1 : 1,0538 ± 1,0538 = (0,8630, 1,2446) 5,5227 φ 2 : 0,2668 ± 0,2668 = ( 0,4576, 0,0760). 1,3980 (82) Al igual que en el ejemplo anterior, el modelo de Burg proporciona una varianza de ruido menor y una verosimilitud gaussiana mayor. F. González 46

48 Algoritmo de Innovaciones Lo mismo que se han utilizado modelos autorregresivos, también podemos utilizar el modelo de promedio móvil X t = Z t + ˆθ m1 Z t ˆθ mm Z t m {Z t } WN(0, ˆɛ m ) (83) cuyos parámetros θ mj y ɛ m se calculan con el algoritmo de innovaciones. Los límites de confianza de los parámetros ˆθ q = (ˆθm1,..., ˆθ mq ) T vienen determinados por ( j 1 ˆθ mj ± 1,96n 1/2 Para la selección del orden pueden seguirse las siguientes técnicas. i=0 θ 2 mi) 1/2. (84) Conocemos que para procesos MA(q), la función de autocorrelación ρ(m) es cero para m > q. Es más, conocemos por la fórmula de Bartlett que la función de autocorrelación muestral ˆρ(m), para m > q tiene una distibución normal de media ρ(m) = 0 y varianza n 1 [ 1 + 2ρ 2 (1) + + 2ρ 2 (q) ] F. González 47

49 Por tanto, y como receta práctica, consideraremos que los valores de la función de autocorrelación muestral son distintos de cero cuando sus valores absolutos superan el límite 1,96/ n. Para modelos AR, ressulta más sistemático encontrar el orden q y el vector de parámetros ˆθ q = (ˆθm1,..., ˆθ mq ) T que minimizan el estadístico AICC AICC = 2 log {L(θ q, S(θ q )/n)} + 2(q + 1)n/(n q 2), (85) donde L es la función de verosimilitud gaussiana. F. González 48

50 Algoritmo de Innovaciones cuando p, q > 0 La condición de causalidad asegura que se cumple X t = ψ j Z t j (86) donde los coeficientes ψ j satisfacen ψ j = θ j + mín(j,p) i=1 j=0 φ i ψ j i, j = 0, 1,... (87) y θ 0 = 1, θ j = 0 para j > q. Para estimar ψ 1,..., ψ p+q se pueden utilizar las estimas proporcionadas por el algoritmo de innovaciones, ˆθ m1,..., ˆθ m,p+q. Así, si se sustituye ψ j por ˆθ mj, se obtiene ˆθ mj = θ j + mín(j,p) i=1 φ iˆθm,j i, j = 1,..., p + q. (88) F. González 49

51 El vector de coeficiente ˆφ se obtiene a partir de la resolución de las últimas q ecuaciones anteriores: ˆθ m,q+1 ˆθ m,q ˆθm,q 1 ˆθm,q+1 p φ 1 ˆθ m,q+1. = ˆθ m,q+1 ˆθm,q ˆθm,q+2 p φ (89) ˆθ m,q+p ˆθ m,q+p 1 ˆθm,q+p 2 ˆθm,q φ p Una vez que se obtiene el vector ˆφ se procede a la estima de ˆθ: ˆθ j = ˆθ mj + mín(j,p) ˆφ iˆθm,j i, j = 1,..., q. (90) i=1 Para finalizar, la varianza del ruido se obtiene a partir de la ecuación ˆσ 2 = 1 n (X t ˆX ) 2 t (91) n ɛ t 1 t=1 F. González 50

52 Algoritmo Hannan-Rissanen La derivación del vector de coeficientes óptimo (en el sentido de minimización del error cuadrático medio) φ = (φ 1,..., φ p ) T en un modelo AR(p) es un problema lineal. Sin embargo, cuando q > 0, la estimación se vuelve no lineal. En efecto, para un modelo ARMA(p, q), no solo se realiza la regresión de X t sobre X t 1,..., X t p sino también sobre las cantidades (no observadas) Z t 1,..., Z t q. Para resolver este inconveniente, se propuso el algoritmo de Hannan-Risanen. 1. Elegir un modelo AR(m) con m > máx(p, q) y ajustarlo a los datos siguiendo el método de Yule-Walker. Definir los residuos estimados como con t = m + 1,..., n. Ẑ t = X t ˆφ m1 X t 1 ˆφ mm X t m (92) F. González 51

53 2. Estimar el vector de parámetros β = (φ T, θ T ) T a partir de la regresión lineal de X t sobre el vector (X t 1,..., X t p, Ẑt 1,..., Ẑt q). Este vector de parámetros, por tanto, debe minimizar n ( ) 2 S(β) = X t φ 1 X t 1 φ p X t p θ 1 Ẑ t 1 θ q Ẑ t q. (93) t=m+1 Este procedimiento proporciona el estimador de Hannan-Rissanen ˆβ = ( Z T Z ) 1 Z T X n (94) donde X n = (X m+1,..., X n ) T y X m X m 1 X m p+1 Ẑ m Ẑ m 1 Ẑ m q+1 X Z = m+1 X m X m p+2 Ẑ m+1 Ẑ m Ẑ m q X n 1 X n 2 X n p Ẑ n 1 Ẑ n 2 Ẑ n q La estima de la varianza del ruido blanco proporcionada por este método es ˆσ 2 HR = S(ˆβ) n m 3. (opcional) Utilizar la estima del vector de parámetros ˆβ = ( ˆφ 1,..., ˆφ p, ˆθ 1,..., ˆθ 1 ) T. (95) (96) F. González 52

54 para definir { 0, si t máx(p, q) Z t = X t p ˆφ j=1 j X t j q ˆθ j=1 j Zt j, si t > máx(p, q). A partir de esta nueva secuencia definimos las secuencias V t y W t como { 0, si t máx(p, q) Ṽ t = p ˆφ j=1 j V t j + Z t, si t > máx(p, q). (97) (98) W t = { 0, si t máx(p, q) q ˆθ j=1 j W t j + Z t, si t > máx(p, q). (Nótese que V t y W t satisfacen las recursiones AR ˆφ(D)V t = Z t y ˆθ(D)W t = Z t ). Si se realiza la regresión lineal de Z t sobre (V t 1,..., V t p, W t 1,..., W t p ) T (99) y el vector de parámetros que minimiza n S (β) = Zt p β j V t j q β k+p W t k 2 (100) t=max(p,q)+1 j=1 k=1 es ˆβ, la nueva estima del vector de parámetros β es ˆβ + ˆβ. F. González 53

55 Ejemplo 0.3 Si utilizamos un modelo ARMA(1,1) para ajustar la serie, corregida en media, correspondiente al nivel del lago Hurón, se obtiene el modelo X t 0,7234X t 1 = Z t + 0,3596Z t 1, con {Z t } WN(0, 0,4757) (101) Los intervalos de confianza para estos parámetros son φ : 0,7234 ± 0,7234 3,2064 θ : 0,3596 ± 0,3596 1,8513 = (0,4978, 0,9490) = (0,1654, 0,5538). (102) F. González 54