Procesos Estacionarios. Francisco J. González Serrano. Universidad Carlos III de Madrid

Transcripción

1 PREDICCIÓN DE SEÑALES Procesos Estacionarios Francisco J. González Serrano Universidad Carlos III de Madrid

2 Procesos Estacionarios A la hora de hacer predicciones parece obvio suponer que algo debe permanecer constante o invariable. Ejemplo: si la derivada de la función a predecir es constante (localmente, si se prefiere) se pueden aplicar las técnicas de extrapolación lineal para predecir sus valores desconocidos. La hipótesis de estacionariedad de la componente aleatoria de la serie temporal simplifica el problema. F. González 1

3 Propiedades básicas Un proceso estacionario {X t } se caracteriza, al menos desde la perspectiva de sus estadísticos de segundo orden, por su media µ y su función de autocovarianza γ( ). La función de autocovarianza (ACVF) de un serie temporal {X t } estacionaria (en sentido amplio) se define como γ(h) = Cov(X t+h X t );, h = 0, ±1, ±2,... (1) La función de autocorrelación (ACF) de {X t } se define como ρ(h) = γ(h) γ(0) (2) Estas dos funciones proporcionan una medida del grado de independencia entre los valores de las series temporales en diferentes instantes y, por esta razón, desempeñan un papel primordial en la predicción de valores futuros. F. González 2

4 Propiedades media muestral Estimación de la media µ: media muestral Estimador insesgado:e ( Xn ) = µ La varianza del estimador es X n = 1 n (X 1 + X X n ). (3) Var( X n ) = 1 n 2 n = 1 n i=1 n h= n n Cov(X i, X j ) (4) j=1 ( 1 h ) n γ(h). 1. Si γ(h) 0 cuando h, Xn µ en valor cuadrático medio. 2. Si h= γ(h) <, entonces lím nvar( X n ) = γ(h). n Inferencia estadística sobre µ: F. González 3 h <

5 Modelo función de distribución de X n (series lineales: ARMA) ( X n N µ, 1 n ( 1 h ) ) γ(h) n n h= n, Margen de confianza del 95 % para el valor estimado de µ: 1/2 X n ± 1,96 1 γ(h) (5) n h < F. González 4

6 y ˆγ(h) = 1 n Estimación de γ( ) y ρ( ) n h t=1 ( Xt+ h X n ) ( Xt X n ), n < h < n (6a) ˆρ(h) = ˆγ(h) ˆγ(0), n < h < n. (6b) Ambos estimadores están sesgados, incluso cuando se sustituye el factor n 1 de la Ecuación (6a) por (n h) (tal y como asegura Matlab en la función xcov). Sin mayor información sobre los datos observados no es posible proporcionar estimas razonables de γ(h) y ρ(h) para h n. Incluso para valores de h ligeramente menores que n, las estimas ˆγ(h) y ˆρ(h) no son fiables debido a que se dispone de pocos pares de la forma (X t+h X t ) (cuando h = n 1 sólo hay un par). Una receta que se suele aplicar es la sugerida por Box: El tamaño del espacio muestral n debe ser al menos igual a 50 para que los valores de ˆγ(h) y ˆρ(h) proporcionen estimas razonables en el intervalo h n/4. F. González 5

7 Estimación de γ( ) y ρ( ) Ya se ha visto en el Análisis de residuos que la función de autocorrelación desempeña un papel importante a la hora de comprobar si un modelo es adecuado o no. Por ello, vuelve a ser necesario establecer unos intervalos de confianza en los valores estimados. Caracterizar la distribución de ˆρ(k) resulta (cuando menos) complicado (incluso para los modelos más sencillos). Suele funcionar bien suponer que se trata (como no) de una distribución normal, cuando n es suficientemente grande: ρ = (ρ(1),..., ρ(k)) T W es la matriz de covarianza ˆρ k = (ˆρ(1),..., ˆρ(k)) T N(ρ, 1 n W ). (7) w i,j = k=1 {ρ(k + i) + ρ(k i) 2ρ(i)ρ(k)} (8) {ρ(k + j) + ρ(k j) 2ρ(j)ρ(k)} F. González 6

8 Ejemplo: proceso MA(1) Consideremos el proceso MA(1) definido por: X t = Z t + θ 1 Z t 1, con {Z t } WN(0, σ 2 ) Su función de autocovarianza es Autocorrelación γ(h) = ρ(h) = σ 2 (1 + θ1), 2 si h = 0, σ 2 θ 1, si h = ±1 0, si h > 1 1, si h = 0, θ θ1 2, si h = ±1 0, si h > 1 Términos de la diagonal de la matriz W : { 1 3ρ w ii = 2 (1) + 4ρ 4 (1), si i = 1, 1 + 2ρ 2 (1), si i > 1. Límites de confianza [ en el estimador de la ACF: ˆρ(k) 1,96 1 ( 1 + 2ρ 2 (1) ) 1/2 1 (, ˆρ(k) + 1, ρ 2 (1) ) ] 1/2 n n (9) (10) (11) (12) F. González 7

9 Predicción de una serie temporal estacionaria Supongamos que {X t } es una serie temporal estacionaria y que tenemos acceso al valor X n. Supongamos, además, que deseamos encontrar una función m( ) de X n que nos permita obtener la mejor predicción del valor X n+h. La función predictora más simple es la función constante m(x n ) = c. Si consideramos mejor a aquel valor que minimiza E [ (X n+h c) 2], resulta sencillo demostrar que ese valor es c = E [X n+h ]. Si este problema concreto de predicción se plantea como la minimización de la esperanza condicional E [ (X n+h m(x n )) 2 X n ], la mejor función predictora resulta m(x n ) = E [X n+h X n ]. A igual resultado llegamos si minimizamos la esperanza E [ (X n+h m(x n )) 2]. Predicción lineal: m(x n ) = l(x n ) = ax n + b. Problema: encontrar los parámetros a y b que minimizan E [ (X n+h ax n b) 2]. Tras una simple manipulación algebráica resulta que a = ρ(h) y b = µ(1 ρ(h)). F. González 8

10 Ejemplo: Procesos gaussianos Supongamos que {X t } es una serie temporal gaussiana. Función de distribución de probabilidad normal multidimensional N(µ, Σ): { f X (x) = (2π) 1/2 exp 1 } 2 (x µ)t Σ 1 (x µ), (13) Caso bidimensional (X = (X 1, X 2 ) T = (X n+h, X n ) T ), la matriz de covarianza es [ ] [ ] σ 2 Σ = 1 ρσ 1 σ 2 σ ρσ 1 σ 2 σ2 2 = 2 ρ(h)σ 2 ρ(h)σ 2 σ 2, (14) Puede demostrarse que: 1. las variables X n y X n+h son independientes si, y sólo si, Σ 12 = 0 ρ(h) = 0, y que 2. la distribución de probabilidad condicional de X 1 dado que X 2 = x 2 es N(µ 1 + Σ 12 Σ 1 22 (x 2 µ 2 ), Σ 11 Σ 12 Σ 1 22 Σ 21). En particular, si X n es conocido X n+h N(µ + ρ(h)(x n µ), σ 2 (1 ρ(h) 2 )) F. González 9

11 La mejor predicción del valor X n+h en función de X n es E [X n+h X n ] = µ + ρ(h)(x n µ) (15) Error cuadrático medio: E [ (X n+h m(x n )) 2] = σ 2 (1 ρ(h) 2 ) (16) F. González 10

12 Ejemplo: Procesos gaussianos La predicción de X n+h es tanto más exacta, cuanto más cercana a uno sea ρ(h) ; E [ (X n+h m(x n )) 2] = σ 2 (1 ρ(h) 2 ) 0 (17) En el límite ρ 1 m(x n ) = E [X n+h X n ] µ ± (X n µ) (18) Si hubiésemos utilizado un predictor lineal, l(x n ) = µ + ρ(h)(x n µ). (19) Para procesos gaussianos, l(x n ) m(x n ). En general, m(x n ) proporciona un error de predicción menor que l(x n ). F. González 11

13 Procesos lineales El proceso {X t } es lineal si: X t = j= ψ j Z t j t (20) {Z t } WN(0, σ 2 ) {ψ j } satisface j= ψ j < (estabilidad). Empleando el operador retardo, X t = ψ(d)z t, (21) donde ψ(d) = k= ψ k D k. El operador ψ(d) puede interpretarse como un filtro lineal que se aplica a la serie ruidosa de entrada {Z t } para producir la salida {X t }. F. González 12

14 Predicción de series estacionarias Problema: predecir X n+h, h > 0. µ y γ( ) conocidas. Función de coste: error cuadrático medio. Minimización: ɛ n a i = 0 ɛ n a j = 0 E Notación vectorial: P n X n+h = a 0 X n + a 1 X n a n 1 X 1 + a n (22) ɛ n = E (X n+h a 0 X n a 1 X n 1 a n 1 X 1 a n ) 2 [ ] ɛ n n 1 = 0 E X n+h a i X n i = a n (23a) a n i=0 [( ) ] n 1 X n+h a i X n i X n j = 0,, j = 0,..., n 1. (23b) a n = µ i=0 ( 1 n 1 i=0 a i ) Γ n a n = γ n (h), a n = (a 0,..., a n 1 ) T, Γ n = [γ(i j)] n 1 i,j=0, γ n(h) = [γ(h),..., γ(h + n 1)] T (24a) F. González 13

15 Predicción de series estacionarias Predictor lineal satisface 1. P n X n+h = µ + n 1 i=0 a i(x n i µ) Cuando µ = 0 P n X n+h = a T nx n, (25) siendo X n = (X n,..., X 1 ) T. 2. Error de predicción. E [(X n+h P n X n+h )] = 0, (26) 3. Error cuadrático medio ɛ n = E [ (X n+h P n X n+h ) 2] = γ(0) 2 n 1 i=0 a i γ(h i) + n 1 n 1 i=0 j=0 a i γ(i j)a j = γ(0) a T nγ n (h) (27) F. González 14

16 Ejemplo: predicción proceso AR(1) Consideremos el proceso AR de primer orden X t φx t 1 = Z t, t = 0, ±1, ±2,... (28) {Z t } WN(0, σ 2 ) φ < 1 Z t incorrelado con X s para s < t. Única solución estacionaria de (28): X t = φ k Z t k. (29) k=0 Función de autocovarianza de {X t }: γ X (h) = φ k φ k+h σ 2 = σ2 φ h (30) 1 φ 2 k=0 Problema de predicción lineal resolver Γ n a n = γ n (h). F. González 15

17 Caso h = 1 (factor σ 2 1 φ 2) 1 φ φ 2 φ n 1 φ 1 φ φ n φ n 1 φ n 2 φ n 3 1 a 1 a 2. a n = φ φ 2. φ n, (31) Solución: a n = (φ, 0,..., 0) T. Por tanto, Para h > 1, tener en cuenta que P n X n+1 = a T nx n = φx n. P n X n+h = φp n X n+h 1. (32) F. González 16

18 Algoritmo Levinson-Durbin El ejemplo anterior nos permite abrir un camino para realizar predicciones: la recursividad. El algoritmo de Levison-Durbin permite obtener recursivamente los coeficientes del vector Γ n es no singular. a n = Γ 1 n γ n Algoritmo Levinson-Durbin y a nn = a n1. a n,n 1 donde a 11 = γ(1)/γ(0) y ɛ 0 = γ(0) [ γ(n) = n 1 k=1 a n 1,1. a n 1,n 1 a n 1,k γ(n k) a nn ɛ n = ɛ n 1 [ 1 a 2 nn ] ] ɛ 1 n 1, a n 1,n 1. a n 1,1 (33a) (33b) (33c) F. González 17

19 Función de autocorrelación parcial (PACF): α(0) = 1,..., α(n) = a nn, n = 1, 2,... Relación entre α(n) y la reducción del error cuadrático medio al aumentar el número de predictores de n 1 a n ɛ n = ɛ n 1 [ 1 α 2 (n) ] (34) F. González 18

20 {X t } proceso MA(1) Algoritmo Levinson-Durbin. Ejemplo X t = Z t + θz t 1, {Z t } WN(0, σ 2 ). (35) Función de autocorrelación de procesos MA(q) X t = q k=0 θ kz t k (θ 0 = 1): { σ γ(h) = 2 q h k=0 θ kθ k+ h, si h q 0, si h > q (36) Matriz de covarianzas: γ(h) = 0 para i j = h > 1 γ(0) = σ 2 (1 + θ 2 ) γ(1) = θσ 2. (37) Algoritmo Levinson-Durbin. Primera iteracion ɛ 0 = γ(0) = σ 2 (1 + θ 2 ), a 11 = γ(1) γ(0) = θ 1 + θ ( 2 ( ) ɛ 1 = ɛ 0 1 a 2 11 = σ 2 (1 + θ 2 θ 2 ) ) 1 = σ 21 + θ2 + θ 4 (1 + θ 2 ) θ 2 F. González 19

21 Segunda iteración Tercera iteración En general, θ 2 a 22 = a 11 θσ 2 /ɛ 1 = 1 + θ 2 + θ 4 a 21 = a 11 a 22 a 11 = θ ( 1 + θ 2) 1 + θ 2 + θ 4 ɛ 2 = ɛ 1 ( 1 a 2 22 ) = σ θ2 + θ 4 + θ θ 2 + θ 4 θ 3 a 33 = (a 21 γ(2) + a 22 γ(1)) = a 22 γ(1) = 1 + θ 2 + θ 4 + θ 6 a 31 = a 21 a 33 a 22 = θ ( 1 + θ 2 + θ 4) 1 + θ 2 ( + θ 4 + θ 6 a 32 = a 22 a 33 a 21 = θ2 1 + θ 2) 1 + θ 2 + θ 4 + θ 6 a nl = ( 1) l+1 ( θ l ) n l k=0 θ2k n k=0 θ2k ( n+1 ) ɛ n = σ 2 k=0 θ2(k+1) n k=0 θ2k F. González 20

22 Algoritmo de Levinson-Durbin. Ejemplo Ejemplo numérico: X t = Z t + 0,9Z t 1, {Z t } WN(0, 1). (38) Levinson-Durbin ˆX n+1 = n a nk X n+1 k (39) k=1 ɛ 0 = 1,81 a 11 = 0,497 ɛ 1 = 1,3625 a 21 = 0,660 a 22 = 0,3285 ɛ 2 = 1,2155 a 31 = 0,740 a 32 = 0,4892 a 33 = 0,2433 ɛ 3 = 1,1436 a 41 = 0,787 a 42 = 0,5828 a 43 = 0,385 a 44 = 0,1914 ɛ 4 = 1,1017 F. González 21

23 Algoritmo de innovaciones Algoritmo recursivo que puede aplicarse a todas las series temporales con momentos de segundo orden finitos, independientemente de si son estacionarias o no. Supongamos que {X t } tiene media 0, que E X t 2 < para cada t y que E (X i X j ) = κ(i, j). (40) Definimos los predictores de orden 1 y sus errores cuadrático medios como y ˆX n = { 0, si n = 1 P n 1 X n, si n = 2, 3,... ɛ n = E (X n+1 P n X n+1 ) 2. (41a) (41b) F. González 22

24 La innovación, o el error de predicción de orden 1, es U n = X n ˆX n, (42) Generalización: vectores U n = (U 1,..., U n ) T y X n = (X 1,..., X n ) T a U n = a 22 a a n 1,n 1 a n 1,n 2 a n 1,n 3 1 U n = A n X n (43) Si {X t } estacionario, a ij = a j con a j solución de con h = 1. X n Γ n a n = γ n (h) (44) F. González 23

25 Algoritmo de innovaciones La matriz A n (U n = A n X n ) no es singular. A 1 n = C n = Predictores de orden 1, ϑ ϑ 22 ϑ ϑ n 1,n 1 ϑ n 1,n 2 ϑ n 1,n 3 1 = I + Θ n (45) X n = (I + Θ n ) U n (46) ˆX n = (X 1, P 1 X 2,..., P n 1 X n ) ( T ˆX n = X n U n = Θ n X n ˆX ) n (47) Forma recursiva: ˆX n+1 = { 0, si n = 0 n j=1 ϑ nj (X n+1 j ˆX n+1 j ), si n = 1, 2,... (48) Levinson-Durbin: ˆXn+1 = n j=1 a njx n+1 j F. González 24

26 Algoritmo de innovaciones ϑ n,n k = 1 ɛ k κ(n + 1, k + 1) ɛ 0 = κ(1, 1) k 1 j=0 ɛ n = κ(n + 1, n + 1) ϑ k,k j ϑ n,n j ɛ j, 0 k < n n 1 j=0 ϑ 2 n,n jɛ j (49a) (49b) (49c) F. González 25

27 Algoritmo de innovaciones. Ejemplo {X t } proceso MA(1) X t = Z t + θz t 1, {Z t } WN(0, σ 2 ). (50) Función de autocorrelación de procesos MA(q) X t = q k=0 θ kz t k (θ 0 = 1): { σ γ(h) = 2 q h k=0 θ kθ k+ h, si h q 0, si h > q Matriz de covarianzas: κ(i, j) = γ(h) = 0 para i j = h > 1 κ(i, i) = γ(0) = σ 2 (1 + θ 2 ) (51) κ(i, i + 1) = γ(1) = θσ 2. (52) Algoritmo de innovaciones: ɛ 0 = κ(1, 1) = (1 + θ 2 )σ 2 θ n1 = θσ2 ɛ n 1 θ nj = 0, 2 j n F. González 26

28 ɛ n = [1 + θ 2 θ2 σ 2 ɛ n 1 ] ( n+1 ) = σ 2 k=0 θ2(k+1) n k=0 θ2k A medida que n aumenta, ɛ n σ 2. Debe aplicarse el algoritmo de innovaciones para la predicción de procesos MA(q) puesto que en este caso ϑ nj = 0 para n j > q. Por el contrario, para procesos AR(p) es mejor utilizar el algoritmo Durbin-Levinson puesto que a nj = 0 para n j > p. F. González 27

29 Algoritmo de innovaciones. Ejemplo Ejemplo numérico: X t = Z t + 0,9Z t 1, {Z t } WN(0, 1). (53) Innovaciones ˆX n+1 = n ϑ nk ( X n+1 k ˆX n+1 k ) = ϑ n1 ( X n ˆX n ) (54) k=1 ɛ 0 = 1,81 ϑ 11 = 0,497 ɛ 1 = 1,3625 ϑ 21 = 0,660 ϑ 22 = 0 ɛ 2 = 1,2155 ϑ 31 = 0,740 ϑ 32 = 0 ϑ 33 = 0 ɛ 3 = 1,1436 ϑ 41 = 0,787 ϑ 42 = 0 ϑ 43 = 0 ϑ 44 = 0 ɛ 4 = 1,1017 F. González 28

30 Descomposición de Wold Para explicar esta descomposición se necesita utilizar el concepto de proceso determinístico. Considérese el proceso estacionario X t = A cos(ωt) + Bsen(ωt) donde ω (0, π) es una constante y A, B son variables aleatorias incorreladas de media 0 y varianza σ 2. Manipulando algebráicamente Predictor lineal de X n : X n P n 1 X n = 0 para todo n. X n = 2 cos(ω)x n 1 X n 2 = P n 1 X n, n = 0, ±1,... P n X n+h = α k X n k Los procesos que cumplen esta propiedad se denominan determinísticos. k=0 F. González 29

31 Descomposición de Wold La descomposición de Wold establece que los procesos estacionarios no determinísticos se pueden expresar como X t = ψ k Z t k + V t (55) donde k=0 1. ψ 0 = 1 y k=0 ψ2 k <, 2. {Z t } WN(0, σ 2 ), 3. Cov(Z s, V t ) = 0 para todos s y t, 4. Z t es el límite de las combinaciones lineales de X s, s t, y 5. {V t } es determinístico, ésto es, perfectamente predecible a partir del proceso {X t }. Para la mayoría de los procesos que se estudiarán en este curso, la componente determinística valdrá 0, por lo que se denominan no determinísticos puros. F. González 30