Análisis de procesos estocásticos en el dominio del tiempo

Transcripción

1 Análisis de procesos estocásticos en el dominio del tiempo F. Javier Cara ETSII-UPM Curso

2 Contenido Introducción Procesos estocásticos Variables aleatorias Una variable aleatoria Dos variables aleatorias Caracterización de procesos estocásticos Procesos estocásticos estacionarios Procesos estocásticos ergódicos Procesos estocásticos Gausianos Ejemplos de modelos de procesos estocasticos Proceso estocástico ruido blanco Procesos MA(q) Procesos AR(p) Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos estocásticos: Método general Estimación de parámetros de procesos estacionarios Estimación de parámetros de procesos ergódicos Estimación de parámetros de procesos AR(p) 2

3 Introducción Velocidad del viento (Puente del Tablate) v (m/s) v (m/s) v (m/s) v (m/s) v (m/s) v (m/s) Tiempo (seg) 3

4 Introducción Tenemos que: Se ha registrado un dato cada 0.25 segundos durante 10 minutos Señales discretas. Podemos organizar los datos en forma matricial v 1 (t) v 1 (t 1 ) v 1 (t 2 ) v 1 (t 3 ) v 1 (t 2400 ) v 2 (t) v 2 (t 1 ) v 2 (t 2 ) v 2 (t 3 ) v 2 (t 2400 ) v 3 (t) v 4 (t) = v 3 (t 1 ) v 3 (t 2 ) v 3 (t 3 ) v 3 (t 2400 ) v 4 (t 1 ) v 4 (t 2 ) v 4 (t 3 ) v 4 (t 2400 ) (1) v 5 (t) v 6 (t) v 5 (t 1 ) v 5 (t 2 ) v 5 (t 3 ) v 5 (t 2400 ) v n (t 1 ) v n (t 2 ) v n (t 3 ) v n (t 2400 ) El valor que estamos registrando en un instante de tiempo t i depende de la señal que observemos, v j (t i ) v k (t i ). Son variables aleatorias. El conjunto de los datos registrados (1) provienen de un proceso estocástico o aleatorio. 4

5 Procesos estocásticos Procesos estocásticos Un proceso estocástico es una secuencia de variables aleatorias. El término proceso estocástico puede hacer referencia tanto al proceso que genera la secuencia como a la secuencia misma. Se representa como {X(k) Ω, k K}. Ω es el espacio muestral, el conjunto de valores posibles que puede tomar {X(k)}. k es el indice que hace referencia a la posición dentro de la secuencia, y toma valores en K. La secuencia puede ser a lo largo del tiempo, o posiciones a lo largo de una linea, o en general, parametros que indican posición relativa. Nosotros vamos a estudiar procesos estocásticos en los que k indica tiempo, es decir, {X(k)} son valores registrados a lo largo del tiempo. Por esta razón también se les conoce como señales, y también como series temporales. Una realización del proceso son los valores que toman las variables aleatorias en un experimento determinado. 5

6 Procesos estocásticos En el caso del puente, tenemos una secuencia de variables aleatorias: v 1 (t) v 1 (t 1 ) v 1 (t 2 ) v 1 (t 3 ) v 1 (t 2400 ) v 2 (t) = v 2 (t 1 ) v 2 (t 2 ) v 2 (t 3 ) v 2 (t 2400 ) (2) v n (t) v 6 (t 1 ) v n (t 2 ) v n (t 3 ) v n (t 2400 ) {V(t)} = { V(t 1 ) V(t 2 ) V(t 3 ) V(t 2400 ) } (3) V(t j ) es la variable aleatoria velocidad registrada en el instante de tiempo t j. Una observación de los valores de las variables aleatorias se conoce como realización del proceso estocástico. Cada realización es única. Realización i v i (t) = [ v i (t 1 ) v i (t 2 ) v i (t j ) v i (t 2400 ) ] El proceso estocástico viento se representa como {V(t k ) R, k N}. 6

7 Variables aleatorias Una variable aleatoria Variables aleatorias Una variable aleatoria es una función que asigna un número real al resultado de un experimento aleatorio. Al lanzar dos monedas al aire, los resultados posibles son {CC, CX, XC, XX} Se puede definir la siguiente variable aleatoria: C: número de caras que se obtienen al lanzar dos monedas al aire.c {0, 1, 2} variable aleatoria discreta. La mayoría de las veces el resultado del experimento aleatorio ya es un número, por lo que la variable aleatoria es diréctamente el resultado: H: altura de una persona elegida al azar. H (0,+ ) variable aleatoria continua. En general, las variables donde el resultado se cuenta son v.a. discretas, y cuando el resultado se mide son v.a. continuas. Nosotros trabajamos con medidas de sensores v.a. continuas! 7

8 Variables aleatorias Una variable aleatoria Toda variable aleatoria X tiene asociada una función de densidad de probabilidad, f X (x), que cumple que: Función de densidad de probabilidad f X (x) 0 para todo x. + f X(x)dx = 1. P(a x b) = b a f X(x)dx. Se define la esperanza o media de una variable aleatoria X continua como Esperanza E(x) = + x f X (x)dx E(ax + b) = ae(x)+b 8

9 Variables aleatorias Una variable aleatoria Se denomina varianza de una variable aleatoria X Varianza Var(X) = E ( (X E(x)) 2) = + (x E(x)) 2 f X (x)dx Var(ax + b) = a 2 Var(x) Var(x) = E(x 2 ) (E(x)) 2 9

10 Variables aleatorias Una variable aleatoria Ejemplo Sea X una variabla aleatoria con función de densidad de probabilidad dada por la figura. Calcular la media y la varianza de X. Según la figura f X (x) = a 2 x Como + f X (x)dx = 1 + a 2 xdx = a xdx = 1 a = 1 10

11 11 Variables aleatorias Una variable aleatoria Por tanto f X (x) = 1 2 x E(x) = E(x 2 ) = + + x f X (x)dx = 2 x 2 f X (x)dx = Var(x) = E ( (x E(x)) 2) = = x 1 2 xdx = ( x 4 ) xdx = 2 9 x xdx 1 2 La varianza también se puede calcular mediante Var(x) = E(x 2 ) (E(x)) 2 = x 2 dx = 4 3 x 3 dx = 2 (x E(x)) 2 f X (x)dx ( ) 2 4 = 2 3 9

12 12 Variables aleatorias Dos variables aleatorias Distribuciones conjuntas Sean dos variables aleatorias continuas X, Y : Función de densidad de probabilidad conjunta f XY (x, y) 0 para todo x, y. + + f XY(x, y)dxdy = 1. P(a x b, c y d) = b a Funciones de densidad marginales d c f XY(x, y)dxdy. f X (x) = f Y (y) = + + f XY (x, y)dy f XY (x, y)dx

13 Variables aleatorias Dos variables aleatorias Las variables aleatorias X,Y son independientes si y sólo si f XY (x, y) = f X (x)f Y (y) Se define la covarianza de dos variables aleatorias X,Y Covarianza Cov(X, Y) = E ((X E(x))(Y E(y))) = + + (X E(x))(Y E(y))f XY (x, y)dxdy Var(aX + by) = a 2 Var(X)+b 2 Var(Y)+2abCov(X, Y) Cov(X, Y) = E(XY) E(X)E(Y) E(XY) se conoce como correlación de X e Y, y es muy importante en el estudio de los procesos estocásticos. 13

14 14 Variables aleatorias Dos variables aleatorias N variables aleatorias X 1 X = X 2,F. densidad prob.: f X(X 1, X 2,...,X n ) X n Se tiene que E(X 1 ) E(X) = E(X 2 ) E(X n ) Var(X 1 ) Cov(X 1, X 2 ) Cov(X 1, X n ) Var(X) = Cov(X 2, X 1 ) Var(X 2 ) Cov(X 1, X n ) Cov(X n, X 1 ) Cov(X n, X 2 ) Var(X n, X n )

15 15 Variables aleatorias Dos variables aleatorias Transformaciones lineales Y 1 Y 2 Y n Y = AX + b = a 11 a 12 a 1n = a 21 a 22 a 2n a n1 a n2 a nn X 1 X 2 X n + b 1 b 2 b n E(Y) = AE(X)+b = E(Y 1 ) a 11 a 12 a 1n E(X 1 ) b 1 E(Y 2 ) = a 21 a 22 a 2n E(X 2 ) + b 2 E(Y n ) a n1 a n2 a nn E(X n ) b n

16 16 Variables aleatorias Dos variables aleatorias Transformaciones lineales Var(Y) = AVar(X)A T = Var(Y 1 ) Cov(Y 1, Y 2 ) Cov(Y 1, Yn) Cov(Y 2, Y 1 ) Var(Y 2 ) Cov(Y 1, Yn) = Cov(Yn, Y 1 ) Cov(Yn, Y 2 ) Var(Yn, Yn) a 11 a 12 a 1n Var(X 1 ) Cov(X 1, X 2 ) Cov(X 1, Xn) a 11 a 21 a n1 = a 21 a 22 a 2n Cov(X 2, X 1 ) Var(X 2 ) Cov(X 1, Xn) a 12 a 22 a n2 a n1 a n2 ann Cov(Xn, X 1 ) Cov(Xn, X 2 ) Var(Xn, Xn) a 1n a 2n ann Independencia Las vaiables aleatorias X 1, X 2,, X n son independientes si y sólo si f X (X 1, X 2,...,X n ) = f(x 1 ) f(x 2 ) f(x n )

17 Caracterización de procesos estocásticos Procesos estocásticos (rep.) Un proceso estocástico es una secuencia de variables aleatorias. x 1 (t) x 1 (t 1 ) x 1 (t 2 ) x 1 (t 3 ) x 1 (t N ) x 2 (t) = x 2 (t 1 ) x 2 (t 2 ) x 2 (t 3 ) x 2 (t N ) x n (t) x n (t 1 ) x n (t 2 ) x n (t 3 ) x n (t N ) {X(t)} = { X(t 1 ) X(t 2 ) X(t 3 ) X(t N ) } En nuestro caso, X(t j ) es la variable aleatoria aceleración registrada en el instante de tiempo t j. Una observación de los valores de las variables aleatorias se conoce como realización del proceso estocástico. Cada realización es única. Realización i x i (t) = [ x i (t 1 ) x i (t 2 ) x i (t j ) x i (t N ) ] La colección de realizaciones se denota con {X(t)}. 17

18 Caracterización de procesos estocásticos Caracterización de procesos estocásticos En general, una única realización x i (t) no puede ser usada para representar un proceso estocástico. Para caracterizar completamente un proceso estocástico {X(t)} es necesario conocer la función de densidad de probabilidad conjunta: f X (X(t 1 ), X(t 2 ),, X(t N )) para todo t j. Cada X(t j ) es una variable aleatoria continua. Si el proceso está completamente caracterizado podríamos calcular (en términos de probabilidad!) que valor toma cada variable aleatoria. En el caso del puente, podríamos calcular cuál es la aceleración en el instante t = t j, con una probabilidad igual a p. Pero en la práctica es imposible calcular la función de densidad de probabilidad conjunta. 18

19 19 Caracterización de procesos estocásticos En su lugar se utilizan los siguientes parámetros estadísticos: Función de medias: µ X (t j ) = E (X(t j )) = 1 µ X (t j ) = lim n n + xf X(tj )(x)dx (4) n x i (t j ) (5) La Ecuación (4) se utiliza cuando se conoce la función de densidad de probabilidad de X(t j ) y la Ecuación (5) se utiliza cuando se conocen los valores que toma X(t j ) en infinitas realizaciones. Función de valor cuadrático medio (- RMS): ψ 2 X(t j ) = E ( X 2 (t j ) ) = ψx(t 2 1 j ) = lim n n i=1 + n i=1 x 2 f X(tj )(x)dx x 2 i (t j )

20 20 Caracterización de procesos estocásticos Función de varianzas (- desviación típica): σ 2 X (t j) = E ( (X(t j ) µ X (t j )) 2) = σx 2 (t 1 j) = lim n n Recordad que se cumple Función de autocorrelación: + (x µ X (t j )) 2 f X(tj )(x)dx n (x i (t j ) µ X (t j )) 2 i=1 σ 2 = E(x 2 ) (E(x)) 2 = ψ 2 µ 2 R XX (t j, t k ) = E (X(t j )X(t k )) = 1 R XX (t j, t k ) = lim n n + x j x k f X(tj )X(t k )(x j, x k )dx n x i (t j )x i (t k ) i=1

21 21 Caracterización de procesos estocásticos Función de autocovarianza: γ XX (t j, t k ) = cov (X(t j ), X(t k )) = E ((X(t j ) µ X (t j ))(X(t k ) µ X (t k ))) = = E (X(t j )X(t k )) µ X (t j )µ X (t k ) = = R XX (t j, t k ) µ X (t j )µ X (t k ) Por lo tanto, la función de autocovarianza y la función de autocorrelación están relacionadas por la ecuación anterior. Las ventajas de trabajar con la función de autocorrelación quedarán patentes al estudiar la señal en frecuencias. La función de varianza está contenida en la función de autocovarianza: ( γ XX (t j, t j ) = E (X(t j ) µ X (t j )) 2) = σx 2 (t j)

22 22 Caracterización de procesos estocásticos Procesos estocásticos estacionarios Procesos estocásticos estacionarios Formalmente, un proceso {X(t)} se denomina estríctamente estacionario si para cualquier τ: f X (X(t 1 ), X(t 2 ),, X(t N )) = f X (X(t 1 +τ), X(t 2 +τ),, X(t N +τ)) En otras palabras, los parámetros estadísticos en t j y en t k = t j +τ son iguales f X(tj ) = f X(tk ) µ X (t j ) = µ X (t k ) σx 2(t j) = σx 2(t k) R XX (t j, t k ) = R XX (τ), t j, t k Por otro lado, un proceso {X(t)} se denomina débilmente estacionario si µ X (t j ) = µ X (t k ) = cte σx 2 (t j) = σx 2(t k) = cte R XX (t j, t k ) = R XX (τ), t j, t k

23 23 Caracterización de procesos estocásticos Procesos estocásticos ergódicos Procesos estocásticos ergódicos Los procesos estocásticos más importantes en la práctica son 1. Ergódicos, con cualquier estructura de probabilidad. 2. Gausianos, ya sean ergódicos o no. Un proceso es ergódico si los parámetros estadísticos calculados en un conjunto de realizaciones (promedios de conjunto) son iguales que los parámetros estadísticos calculados en una única realización (promedios temporales). Un proceso es ergódico en la media si 1 n µ X (t j ) = lim x i (t j ) n n 1 = lim N N i=1 N x i (t j ) = µ xi j=1

24 24 Caracterización de procesos estocásticos Procesos estocásticos ergódicos Un proceso es ergódico en la varianza si σx 2 (t 1 j) = lim n n 1 = lim N N n (x i (t j ) µ X (t j )) 2 i=1 N (x i (t j ) µ xi ) 2 = σx 2 i Un proceso es ergódico en la función de autocorrelación si j=1 1 R XX (t j,τ) = lim n n 1 = lim N N n x i (t j )x i (t j +τ) i=1 N x i (t j )x i (t j +τ) j=1

25 25 Caracterización de procesos estocásticos Procesos estocásticos ergódicos Si se cumplen las tres condiciones anteriores, el proceso se conoce como débilmente ergódico. Si todos los parámetros estadísticos calculados a partir del conjunto de realizaciones se pueden calcular utilizando una única realización, se conoce como fuertemente ergódico. Para que un proceso sea ergódico primero tiene que ser estacionario. El recíproco no es cierto. En general nunca nos vamos a encontrar con un proceso estacionario real. Sin embargo, la hipótesis de estacionaridad proporciona resultados suficientemente exactos para nuestros propósitos. Lo mismo ocurre con la hipótesis de ergodicidad. A veces sólo se ha medido una realización de un proceso estocástico y tenemos que admitir ergodicidad para poder extraer conclusiones de nuestros datos.

26 26 Caracterización de procesos estocásticos Procesos estocásticos Gausianos Procesos estocásticos Gausianos Un proceso estocástico es Gausiano o normal si la función de densidad de probabilidad conjunta de {X(t 1 ), X(t 2 ),...,X(t n )} es normal multivariante. Si el proceso es Gausiano se tiene que: Los procesos Gausianos son muy comunes en problemas físicos. Un proceso estocástico Gaussiano está completamente determinado si se conocen la media y la función de autocorrelación. Si el proceso Gausiano es débilmente estacionario, entonces también es estríctamente estacionario. Además, si el proceso Gausiano es débilmente ergódico, también es fuertemente ergódico.

27 27 Caracterización de procesos estocásticos Ejemplo Sean Y 1, A 2,..., A 10 variables aleatorias independientes con distribución Y 1 N(0,σ 2 = 1), A i N(0,σ 2 = 0, 5). Sea el proceso estocástico definido por Y t = 2Y t 1 + A t, para t = 2,..., 10.. Calcular La función de medias del proceso E(Y t ) Las varianzas de Y 2, Y 3, Y 4. La correlación entre Y 3 e Y 4 Es estacionario el proceso? Solución E(Y 1 ) = 0; Y 2 = 2Y 1 + A 2 E(Y 2 ) = 2E(Y 1 )+E(A 1 ) = 0; En general, E(Y t ) = 0 t Y 2 = 2Y 1 + A 2 Var(Y 2 ) = 4Var(Y 1 )+Var(A 2 )+4Cov(Y 1, A 2 ) Cov(Y 1, A 2 ) = E(Y 1 A 2 ) E(Y 1 )E(A 2 ) indep. = E(Y 1 )E(A 2 ) 0 = 0 Var(Y 2 ) = 4+0, 5 = 4, 5

28 28 Caracterización de procesos estocásticos De igual manera se obtiene que Var(Y 3 ) = 4Var(Y 2 )+0, 5 = 18, 5 Var(Y 4 ) = 4Var(Y 3 )+0, 5 = 74, 5 Por tanto ya se puede concluir que el proceso no es estacionario. E(Y 3 Y 4 ) = E[Y 3 (2Y 3 + A 4 )] = 2E(Y 2 3 )+E(Y 3A 4 ) Se tiene que E(Y 3 A 4 ) = E[(2Y 2 + A 3 )A 4 ] = 2E(Y 2 A 4 )+E(A 3 A 4 ) = 2E[(2Y 1 + A 2 )A 4 ] = 2E(Y 1 A 4 )+E(A 2 A 4 ) = 0 Por otro lado Var(Y 3 ) = E(Y 2 3 ) [E(Y 3)] 2 = 18,5 E(Y 2 3 ) = 18,5 Por tanto E(Y 3 A 4 ) = 2E(Y 2 3 )+E(Y 3A 4 ) = 37 La covarianza entre Y 3 e Y 4 es inmediata Cov(Y 3, A 4 ) = E(Y 3 A 4 ) E(Y 3 )E(Y 4 ) = E(Y 3 A 4 ) = 37

29 29 Caracterización de procesos estocásticos Ejemplo Sea X una variable aleatoria con distribución uniforme ( 1, 1) e Y 1,..., Y 10 variables aleatorias independientes con distribución uniforme ( 1/10, 1/10). Sea el proceso estocástico definido por Z t = tx + Y t, para t = 1, 2,..., 10. Calcular: La función de medias del proceso E(Z t ) La función de momentos de segundo orden E(Z 1 Z 2 ). Coeficiente de correlación del proceso para Z 1 y Z 2. Es estacionario el proceso? Solución Las funciones de densidad de X e Y se pueden representar como

30 30 Caracterización de procesos estocásticos Para empezar E(X) = 1 1 x 1 2dx = 0; E(X 2 ) = 1 1 x2 1 2 E(Y t ) = 1/10 1/10 dx = 1/3; y5dy = 0; E(Y 2 t ) = 1/10 1/10 y2 5dy = 1/300 E(Z t ) = E(tX + Y t ) = te(x)+e(y t ) = 0 E(Z 1 Z 2 ) = E[(X + Y 1 )(2X + Y 2 )] = 2E(X 2 )+E(X)E(Y 2 )+2E(X)E(Y 1 )+E(Y 1 )E(Y 2 ) = 2E(X 2 ) = 2/3 Var(Z t ) = Var(tX + Y t ) = t 2 Var(X)+Var(Y t ) = t 2 /3+1/300 El proceso estocástico no es estacionario.

31 Ejemplos de modelos de procesos estocasticos Proceso estocástico ruido blanco Proceso estocástico ruido blanco, {W(t)} E(w t ) = 0, t Var(w t ) = σw, 2 t { σ 2 γ w (t, t + h) = E(w t w t+h ) = w si h = 0 0 si h 0 t, h Es frecuente usar la notación w t, en lugar de w(t). Como estamos trabajando con series discretas, w k = w(k t), donde t es el intervalo de tiempo entre dos medidas, t = constante. w s y w t están incorrelacionadas para s t ya que E(w s w t ) = E(w s )E(w t ) = 0. Si, además de independientes, las variables están idénticamente distribuidas, con media 0 y varianza σ 2 w, w t iid(0,σ 2 w). Por último, las variables aleatorias pueden ser variables aleatorias independientes y Gausianas σ 2 w. w t N(0,σ 2 w ). El ruido blanco es un proceso estocástico estacionario y ergódico. 31

32 Ejemplos de modelos de procesos estocasticos Proceso estocástico ruido blanco Ejemplo: media móvil 4 Ruido blanco, w t v t =1/3(w t 1 +w t +w t+1 ) La figura superior muestra una realización de 500 variables aleatorias de un proceso estocástico w t iidn(0, 1). En la figura inferior se ha reemplazado w t por la media de cada valor con su antecedente y su precedente media móvil v t = 1 3 (w t 1 + w t + w t+1 ) 32

33 33 Ejemplos de modelos de procesos estocasticos Proceso estocástico ruido blanco Función de medias: µ vt = E(v t ) = E( 1 3 (w t 1 + w t + w t+1 )) Función de autocovarianzas = 1 3 (E(w t 1)+E(w t )+E(w t+1 )) = 0 t γ v (s, t) = E((v s 0)(v t 0)) = 1 9 E((w s 1 + w s + w s+1 )(w t 1 + w t + w t+1 ) Es conveniente calcularla en función de la separación s t = h, h = 0,±1,±2 Para h = 0 γ v(t,t) = 1 E((wt 1 + wt + wt+1)(wt 1 + wt + wt+1) 9 = 1 9 (E(wt 1wt 1)+E(wtwt)+E(wt+1wt+1)) = 3 9

34 34 Ejemplos de modelos de procesos estocasticos Proceso estocástico ruido blanco Para h = 1 γ v(t + 1,t) = 1 E((wt + wt+1 + wt+2)(wt 1 + wt + wt+1) 9 = 1 9 (E(wtwt)+E(wt+1wt+1)) = 2 9 Para el resto de valores 3/9 si s = t 2/9 si s t = 1 γ v(s, t) = 1/9 si s t = 2 0 si s t 3 Luego este proceso es estacionario ya que E(v t ) = cte t 3/9 si h = 0 2/9 si h = ±1 γ w (t, t + h) = γ v (h) = 1/9 si h = ±2 0 si h 3

35 35 Ejemplos de modelos de procesos estocasticos Proceso estocástico ruido blanco En efecto, si trabajamos con la función de autocovarianza, un proceso es débilmente estacionario si { µ X (t j ) = µ X (t k ) = cte γ XX (t j, t k ) = γ XX (τ), τ = t j t k, t j, t k. La condición de que la varianza es constante ya está contenida en las condiciones anteriores: γ XX (t j, t j ) = R XX (t j, t j ) µ X (t j )µ X (t j ) estac = cte Por otro lado γ XX (t j, t j ) = σ X (t j ) 2

36 36 Ejemplos de modelos de procesos estocasticos Procesos MA(q) Definición Un proceso media móvil de orden q, o MA(q), se definide mediante x t = w t +θ 1 w t 1 +θ 2 w t 2 + +θ q w t q dónde hay q retardos en la media móvil y θ 1,θ 2,,θ q (θ q 0) son parámetros. Se asume que w t es ruido blanco Gausiano, w t N(0,σ 2 w ). Un proceso MA(q) siempre es estacionario y ergódico.

37 Ejemplos de modelos de procesos estocasticos Procesos AR(p) Definición Un proceso autoregresivo de orden p, o AR(p), se definide mediante x t = φ 1 x t 1 +φ 2 x t 2 + +φ p x t p + w t dónde hay p retardos y φ 1,φ 2,,φ p (φ p 0) son parámetros. Salvo indicación expresa, w t es ruido blanco Gausiano, w t N(0,σ 2 w ). Se ha asumido que la media de x t es cero. Si la media es µ 0 entonces donde x t µ = φ 1 (x t 1 µ)+φ 2 (x t 2 µ)+ +φ p (x t p µ)+w t x t = α+φ 1 x t 1 +φ 2 x t 2 + +φ p x t p + w t α = µ(1 φ 1 φ p ) Recordad que una regresión lineal tiene la forma x t = β 1 z t1 +β 2 z t2 + +β q z tq + w t (de ahí el nombre de autoregresivo) 37

38 Ejemplos de modelos de procesos estocasticos Procesos AR(p) Definición Se define el operador retardo por Bx t = x t 1 B 2 x t = B(Bx t ) = Bx t 1 = x t 2 B k x t = x t k Un proceso AR(p) se puede escribir como (1 φ 1 B φ 2 B 2 φ p B p )x t = w t o de forma más compacta como φ(b)x t = w t, φ(b) = (1 φ 1 B φ 2 B 2 φ p B p ), B C φ(b) = es el polinomio característico del proceso. Un proceso AR(p) es estacionario si las raices de φ(b) están fuera del círculo unidad. Si un proceso AR(p) es estacionario, es ergódico. 38

39 Estimación de los parámetros de un proceso estocástico Estimación de parámetros POBLACIÓN: µ, σ 2. MUESTRA ALEATORIA SIMPLE: {X 1, X 2,...,X n } Media y varianza muestral: x = 1 n n X i, s 2 = 1 n i=1 n (X i x) 2 i=1 Se selecciona una muestra aleatoria simple de una población. A partir de esta muestra obtenemos una estimación de los parámetros de la población. Existen dos métodos para hacer ésto: Método de los momentos: ˆµ = x, ˆσ 2 = s 2. Método de máxima verosimilitud: la estimacion del parámetro es aquel valor que hace que la probabilidad de seleccionar la muestra sea máxima. 39

40 40 Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos estocásticos: Método general Método general Sean M realizaciones de un proceso estocástico, M 20: Media: ˆµ X (t j ) = x j, x j = 1 n Valor cuadrático medio: Varianza: ˆψ 2 X(t j ) = 1 n n i=1 n x i (t j ) = 1 n i=1 x 2 i (t j ) = 1 n ˆσ 2 X (t j) = s 2 X (t j), s 2 X (t j) = 1 n 1 Función de autocorrelación: ˆR XX (t j, t k ) = 1 n n i=1 x 2 ij n i=1 x ij n (x i (t j ) x j ) 2 i=1 n x i (t j )x i (t k ) i=1

41 41 Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos estacionarios Estimación de parámetros de procesos estacionarios El método anterior es un método general, válido tanto para procesos estacionarios como para procesos no estacionarios. Cuando tenemos procesos débilmente estacionarios, la media y la varianza son constantes. Pero puede ocurrir que esto no se cumpla en la práctica, fundamentalmente debido a los errores en la estimación de cada x j. Para mejorar estas estimaciones se puede hacer: x = 1 N x j N s 2 X = 1 N j=1 N sx(t 2 j ) j=1

42 42 Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos estacionarios Igual que ocurre con la media y la varianza, la estimación de la función de autocorrelación en procesos estacionarios puede mejorarse mediante promedios en el tiempo: ˆR XX (τ j ) = 1 N j ˆR XX (t k, t k +τ j ), 0 t k, τ j N t N j k=1 donde τ j = j t, j = 1, 2,..., N. La función de autocorrelación de un proceso estacionario es función solamente del retardo entre las variables aleatorias, τ j.

43 43 Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos ergódicos Estimación de parámetros de procesos ergódicos En procesos estacionarios y ergódicos (M = 1), las ecuaciones anteriores se transforman en promedios temporales: x = 1 N N j=1 x j s 2 x = 1 N N (x j x) 2 j=1 ˆR XX (τ j ) = 1 N j x k x k+j N j Es evidente que esto sólo es razonable cuando la realización que se ha usado es representativa del resto de realizaciones del proceso estocástico. Cuando tengamos solo un registro tenemos que utilizar estas fórmulas! k=1

44 44 Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos AR(p) Estimación de parámetros de procesos AR(p) Proceso autoregresivo de orden p, o AR(p), se definide mediante x t = φ 1 x t 1 +φ 2 x t 2 + +φ p x t p + w t Si colocamos los datos de esta manera x p+1 x p x p 1 x 1 x p+2 x p+1 x p x 2 φ 1 x p+3 x p+4 = x p+2 x p+1 x 3 φ 2 x p+3 x p+2 x 4 + φ p x N x N 1 x N 2 x N p X = MΦ+W donde el vector W ha de ser mínimo mínimos cuadrados W 2 = N+p i=p+1 w 2 i es mínimo w p+1 w p+2 w p+3 w p+4 w N

45 45 Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos AR(p) Para que W 2 sea mínimo, W tiene que ser perpendicular al espacio vectorial generado por las columnas de M M T W = 0 Figura: Izq: Una descomposición cualquiera. Der: solución mínimos cuadrados. X = MˆΦ+W M T X = M T MˆΦ+M T W M T X = M T MˆΦ ˆΦ = (M T M) 1 M T X

46 46 Estimación de los parámetros de un proceso estocástico Estimación de parámetros de procesos AR(p) 0.5 x 1t Tablate MΦ (Ar(4)) W t (Ar(4)) t (s)