TEMA 5. PROCESOS ESTOCÁSTICOS.-CURSO 2017/18 5.1. Concepto de proceso estocástico. Tipos de procesos. Realización de un proceso. 5.2. Características de un proceso estocástico. 5.3. Ejemplos de procesos estocásticos: 5.3.1 Procesos de Poisson. 5.3.2. Procesos gaussianos o normales. 5.3.3. Procesos estacionarios en sentido estricto. 5.3.4. Procesos estacionarios en sentido amplio. 5.3.4.1 Propiedades de la función de autocorrelación en procesos ESA. 5.3.4.2. Proceso sinusoidal en Teoría de la señal 5.3.4.3 Señales en tiempo discreto y proceso de ruido blanco. 5.4. Procesos estocásticos en teoría de la señal 5.4.1. Densidad espectral de un proceso estacionario en sentido amplio. 5.4.2. Sistemas lineales invariantes en el tiempo.
5.1. CONCEPTO DE PROCESO ESTOCÁSTICO Definición: Sea Ω un espacio muestral asociado a un experimento aleatorio. Un PROCESO ESTOCÁSTICO es una familia de variables aleatorias { Xt, t T} definidas todas ellas en Ω, que describe la evolución temporal de la variable aleatoria X (t es el parámetro que mide el tiempo). Si t = t 0 es un valor fijo, X(t 0 ) es una variable aleatoria unidimensional (tema 2) Si el valor que toma la variable X es fijo y t es variable, tendremos una función de t que llamaremos REALIZACIÓN del proceso. Cada realización del proceso lleva asociada una probabilidad. TIPOS DE PROCESOS Variable / Parámetro Discreto (n) Continuo (t) Discreta Procesos de variable discreta y parámetro discreto Procesos de variable discreta y parámetro continuo Continua Procesos de variable continua y parámetro discreto Procesos de variable continua y parámetro continuo
Problema 1 de la hoja: Ejemplo de proceso de variable discreta y parámetro continuo. Observación: Estudiaremos la teoría básica de procesos estocásticos para aplicarla en el tratamiento de señales aleatorias (Teoría de la señal). En ese contexto, la mayoría de los procesos estocásticos que se utilizan son de variable continua y parámetro continuo.
Ejemplo: Proceso de variable y parámetro continuos en señal Difusión de la señal de radio en una estación de FM
5.2. CARACTERÍSTICAS DE UN PROCESO ESTOCÁSTICO Dado un proceso estocástico { Xt, t T} la forma de caracterizarlo es dar la distribución conjunta de cualquier variable aleatoria n-dimensional (tema 3) { } Xt, Xt,..., Xt tt,,..., t T, n 1 2 n 1 2 ESTA CARACTERIZACIÓN SE PUEDE OBTENER EN MUY POCOS CASOS Nos conformaremos con: 1.- Obtener algunas medidas asociadas al proceso estocástico: Función de medias y función de varianzas del proceso Función de autocorrelación, función de autocovarianzas y función coeficiente de correlación. 2.- Estudiar algunos tipos de procesos especiales por su importancia práctica: Procesos de Poisson Procesos normales Procesos estacionarios en sentido estricto y en sentido amplio n
MEDIDAS ASOCIADAS A UN PROCESO ESTOCÁSTICO { Xt, t T} Definición 1: Llamaremos distribuciones de primer orden del proceso a las distribuciones de cualquier variable aleatoria unidimensional X(t), para t cualquiera fijo. Definición 2: Llamaremos distribuciones de segundo orden del proceso a las distribuciones bidimensionales de (X(t 1 ), X(t 2 )) para t 1, t 2 cualesquiera fijos. Problema 1: Para el proceso X(t)=At+B, d) Determinar la distribución de primer orden para X(1). Determinar la distribución de segundo orden para (X(1), X(2)) y sus distribuciones marginales Son independientes X(1) y X(2)?
Definición 3: Llamaremos media del proceso o función de medias del proceso X(t) a la función de t µ t = E X t X Definición 4: Llamaremos varianza del proceso o función de varianzas de X(t) a la función de t = ( t) 2 2 σ 2 [ ()] [ ()] [ 2 ()] 2 X t V X = EX t EXt = EX t µ X () t Observación: Para hacer estos cálculos, sustituiremos la expresión de X(t) y XY, v.a. bidimensional y abc,, usaremos las propiedades ya vistas para 1. E[ ax + by + c] = ae[ X ] + be[ Y ] + c V ax + by + c = a V X + b V Y + 2 abcov( X, Y ). 2 2 2. Problema 1: Para el proceso X(t)=At+B, c) Obtén la media y varianza del proceso.
Definición 5: Llamaremos función de autocorrelación del proceso X(t) a la función de dos variables, t 1 y t 2, (, ) = RX t t E X t X t 1 2 1 2 La función de autocorrelación juega un papel primordial a la hora de analizar y procesar señales aleatorias. Observación: para su cálculo podemos proceder de dos maneras: 1.- Si conocemos la distribución conjunta de ( 1), ( 2) fórmulas vistas en el tema 3. X t X t usaremos las 2.- Si no la conocemos, lo que es lo habitual, sustituiremos la fórmula del proceso en X ( t1) y en X ( t2) y realizaremos la operación X ( t1) X ( t2) Observación: Si t 1 = t 2 = t siempre se verifica que, 2 ( ) = X (, ) µ X V X t R tt t.
Problema 1: Para el proceso X(t) = At+B, e) Calcula E X ( 1) X ( 2). f) Calcula la función de autocorrelación X ( 1, 2) 2 V X( t) R tt, µ t X X =. R t t. Comprueba que Definición 6: Llamaremos función de autocovarianza del proceso X(t) a la función de dos variables, t 1 y t 2, (, ), (, ) = (, ) µ µ CX t1 t2 = Cov X t1 X t2 = E X t1 X t2 E X t1 E X t2 C t t R t t t t X 1 2 X 1 2 X 1 X 2 Problema 1: Para el proceso X(t) = At+B, g) Calcula la función de autocovarianza X ( 1, 2) C ( tt, ) V X( t) X =. C t t. Comprueba que
Definición 7: Llamaremos función coeficiente de correlación del proceso X(t) a la función de dos variables, t 1 y t 2, ρ X ( t, t ) ρ X ( t ), X ( t ) = = 1 2 1 2 CX ( t1, t2) ( 1 ) V( X ( t2) ) V X t Problema 1: Para el proceso X(t) = At+B, calcula su función coeficiente de correlación.
5.3.1. EJEMPLO DE PROCESO ESTOCÁSTICO: PROCESO DE POISSON Definición: Sea el proceso estocástico N(t): número de sucesos que ocurren en el intervalo [0,t), t 0. Diremos que N(t) es un PROCESO DE POISSON de tasa λ, λ > 0, si: 1) P[N(0) = 0] = 1 2) El número de sucesos que ocurren en intervalos de tiempo disjuntos son independientes. 3) La variable aleatoria UNIDIMENSIONAL que mide el número de sucesos en cualquier intervalo de tiempo de longitud h, h > 0 (que es N(t+h) N(t), para t cualquiera) tiene distribución de Poisson de parámetro λh, es decir, k ( h), 0, 0,1,2,... h P N t+ h N t = k = e t > k = k! λ λ λ es el nº medio de sucesos que ocurren en una unidad de tiempo y, por tanto, λh es el n ºmedio de sucesos que ocurren en un intervalo de longitud h unidades de tiempo.
PROPIEDADES DEL PROCESO DE POISSON 1) La propiedad 3 de la definición se puede escribir de otras maneras: i) La variable aleatoria unidimensional N(b)-N(a) mide el número de sucesos que ocurren en el intervalo [a,b). Por tanto, tiene distribución Poisson(λ(b-a)). λ N b - N a ~ P b- a, b> a ii) Para t fijo, la variable aleatoria UNIDIMENSIONAL N(t) tiene distribución Poisson(λt) porque mide el número de sucesos que ocurren en el intervalo [0,t), ( λ ), > 0 N t P t t 2) Por la propiedad 2 de la definición, si los intervalos [a,b) y [c,d) son disjuntos las variables aleatorias N(b)-N(a) y N(d)-N(c) son INDEPENDIENTES. µ t = σ t = λt. 2 3) Las funciones de medias y de varianzas del proceso son N N 4) Las funciones de autocorrelación del proceso y de autocovarianzas son, respectivamente, N (, ) = λmin {, } + λ 2 ; (, ) = λmin {, } R t t t t tt C t t t t 1 2 1 2 1 2 N 1 2 1 2
El proceso de Poisson es habitual encontrarlo en sistemas de colas de espera o en fiabilidad de sistemas. Ejemplo: El número de aviones N(t) que llegan a un pequeño aeropuerto en el intervalo [0,t) es un proceso de Poisson de tasa 12 aviones a la hora. a) Un controlador se ausenta 10 minutos, cuál es la probabilidad de que en su ausencia llegue algún avión? b) Cuál es el número medio de aviones que llegan entre el minuto 15 y el minuto 30? c) Calcula la probabilidad del suceso llegan 5 aviones en la primera media hora y 12 aviones en la primera hora d) Calcula P( N( 3) = 30 / N( 1) = 14). e) Calcula P N( 3) N( 5) E ( N 3 N 1 ) 2 >. f) Calcula Obs: En ejercicios de procesos de Poisson, hay que elegir una única unidad de tiempo única. Usaremos de nuevo la distribución de Poisson vista en tema 2 (función de masa, media, varianza, cálculo de probabilidades)
5.3.2.EJEMPLO DE PROCESO ESTOCÁSTICO: PROCESO GAUSSIANO O NORMAL Definición Un proceso X(t) se dice que es Gaussiano o NORMAL si para cualquier conjunto de instantes de tiempo t1, t2,..., t n, la distribución conjunta de la variable aleatoria n-dimensional ( ( 1), ( 2),..., ( n )) X = X t X t X t es NORMAL n-dimensional. Vimos en el tema 3 que si X es normal n-dimensional: 1) X queda totalmente caracterizada si conocemos su vector de medias m X y su matriz de varianzas covarianzas M X donde m X ( ) ( ) ( ) (, ) (, ( n )) (, ) ( ) (, ( n )) E X t 1 V X t1 Cov X t1 X t2 Cov X t1 X t E( X t2 ) Cov X t1 X t2 V X t2 Cov X t2 X t = y M X = E X t Cov X t X t Cov X t X t V X t ( ( 1), ) ( 2), ( ) n n n n
2) Las distribuciones de primer orden en un proceso normal son normales unidimensionales, es decir, cada variable aleatoria unidimensional X(t) es normal, t fijo 2 ( µ =, σ = ( )) X t N E X t V X t. 3) Las distribuciones de segundo orden en un proceso normal (distribuciones X t, X t, t t conjuntas de i j i j), son normales bidimensionales con el vector de medias y matriz de varianzas correspondiente (ver punto 1). ( i) ( j) ( i) ( j) ( i) y X ( tj) son independientes. 4) Si X t, X t son normales y Cov X t, X t = 0 X t 5) Si,,..., 1 2 n dimensional X X ( t1), X ( t2),..., X ( tn ) X t X t X t son normales e independientes, la variable aleatoria n- matriz de varianzas de X es = es normal n-dimensional. En este caso, la M X ( ( 1) ) V X t 0 0 0 V( X ( t2 )) 0 = 0 0 V( X ( tn ))
6) Transformaciones lineales de una variable X = X ( t1), X ( t2),..., X ( tn ) normal n-dimensional con vector de medias m X y matriz de varianzas M X nos devuelven variables aleatorias normales. En concreto: a) Y = AX + B, A una matriz mxn, B un vector mx1. Entonces, Y es una variable aleatoria m-dimensional y el vector de medias y la matriz de varianzas-covarianzas de Y son, respectivamente, m Y = Am X + B y M Y = AM X A T T T n b) Y= ax 1 1+ ax 2 2 +... + ax n n + b= a X+ b, a= ( a1, a2,..., a n ) un vector de y b. Entonces, Y es una variable aleatoria unidimensional y la media y la varianza de Y son, respectivamente, [ ] T y T EY = amx + b V Y = am Xa Obs: En el caso b) los valores E[Y] y V(Y) se pueden calcular usando las fórmulas vistas en el tema 3 para el cálculo de medias y varianzas de combinaciones lineales de variables aleatorias.
IMPORTANTE: Muchas señales y procesos de ruido se ajustan bien a procesos gaussianos. Esto hace que sean unos de los procesos estocásticos más utilizados en el procesamiento de señales aleatorias. Problema 2:
5.3.3. PROCESOS ESTACIONARIOS EN SENTIDO ESTRICTO Definición: Un proceso X(t) se dice que es estacionario en sentido estricto si para cualquier conjunto de instantes de tiempo t1, t2,..., t n, las variables aleatorias n-dimensionales ( X ( t1), X ( t2),..., X ( t n )) y X ( t1 h), X ( t2 h),..., X ( tn h) tienen la MISMA DISTRIBUCIÓN para cualquier h > 0. + + +, Idea: El comportamiento aleatorio del proceso se mantiene constante a lo largo del tiempo. Esto es, tiene el mismo comportamiento en el intervalo de tiempo (a,b) que en el intervalo (a+h,b+h). Observación: Es complicado demostrar que un proceso es estacionario en sentido estricto. En la práctica sólo se puede comprobar si algunas de sus medidas como la media o la varianza son estacionarias. Esto se recoge en la definición de procesos estacionarios en sentido amplio, que son los que se usan en situaciones reales.
5.3.4. PROCESOS ESTACIONARIOS EN SENTIDO AMPLIO Definición: Un proceso X(t) se dice que es estacionario en sentido amplio (lo denotaremos como ESA) si verifica: 1) μ X (t)= E(X(t)) = μ (la función de medias del proceso es constante e independiente de t, para todo t). 2) X ( 1, 2) X ( t ) R t t = R t (la función de autocorrelación sólo depende de la diferencia entre los dos instantes de tiempo, t 2 - t 1 = τ. Es, por tanto, una función de una sola variable). Observación: Como el objetivo es probar que X ( 1, 2) de τ =t 2 - t 1, para calcular X ( 1, 2) R t t depende solamente R t t vamos a cambiar la notación. En concreto, t 1 = t y t 2 = t + τ e intentaremos probar que R (, ) (, X t1 t2 RX t t t) RX ( t) = + =.
Propiedades para un proceso estacionario en sentido amplio (ESA) 1) La función de varianzas es constante y no depende de t 2 ( ) = X ( 0) V X t R µ 2) La función de autocovarianzas es una función de una sola variable y depende solamente de τ X 2 (, + t) = ( t ) µ C tt R 3) La función de los coeficientes de correlación es también una función de una sola variable y depende solamente de τ 2 RX ( t ) µ ρx ( tt, + t) = 2 R 0 µ 4) Si X(t) es estacionario en sentido estricto, entonces es estacionario en sentido amplio pero el recíproco no es cierto (solamente ). 5) Si X(t) es GAUSSIANO + ESA (estacionario en sentido amplio) X(t) es estacionario en sentido estricto X X
Problema 5: Ejemplo de procesos ESA Sean X(t) e Y(t) procesos estocásticos independientes tales que E[X(t)] = E[Y(t)] = 0, con funciones de autocorrelación respectivas X τ ( t ) y ( t ) cos( 2πτ ) R e R = Y =. Se pide: a) Estudiar si el proceso Z(t) = X(t) - Y(t) es estacionario en sentido amplio. b) Calcular la varianza de Z(3) c) Calcular Cov(X(0), X(5))
5.3.4.1. PROPIEDADES DE LA FUNCIÓN DE AUTOCORRELACIÓN EN PROCESOS ESTACIONARIOS EN SENTIDO AMPLIO (ESA) Normalmente, las señales se modelizan mediante procesos estocásticos X(t) que son estacionarios en sentido amplio (ESA). Para el estudio de estas señales la herramienta fundamental es la función de autocorrelación, R x (τ), del proceso. Propiedades de R(τ) en procesos ESA: 1) R( 0) E X 2 ( t) 2) R( τ) R( τ) = mide la POTENCIA MEDIA del proceso = es decir, R(τ) es una función par. 3) R(τ) mide la rapidez de cambio del proceso: si R(τ) R(0) rápido cuando τ 0, el proceso X(t) cambia rápidamente. Si R(τ) R(0) despacio cuando τ 0, el proceso X(t) cambia lentamente. 4) R(τ) alcanza su máximo cuando τ = 0. Entonces R R( 0) τ. 5) Si X(t) es periódico, R(τ) también es periódica. Además, si R( 0) = R( d) entonces la función R(τ) es periódica de periodo d. 2 6) Si existe lim R( τ ) τ, entonces lim R( τ) m no sea periódica. τ = siempre que la función R(τ)
Ejemplo: Esta función de autocorrelación pertenece a un proceso estacionario en sentido amplio. En efecto, se pueden verificar las propiedades antes enunciadas: es par, alcanza su máximo en τ = 0, tiende rápidamente hacia R(0) cuando τ 0 y los límites en el infinito coinciden con la media al cuadrado del proceso.
Problema 7: Observar que R X (τ) verifica todas las propiedades que se le piden a una función de autocorrelación de un proceso ESA: es par, alcanza su máximo en τ = 0, R X (τ) tiende a R X (0) cuando τ 0 y los límites en el infinito coinciden con la media al cuadrado del proceso.
5.3.4.2: PROCESO SINUSOIDAL EN TEORÍA DE LA SEÑAL Muchas señales aleatorias son del tipo X t = Acos( ω t + θ ), A, θ U ( π, π) ó U ( 0, 2π) con frecuencia ω constante, y amplitud A y fase θ variables independientes. 1) Si la amplitud A es constante, el proceso es ESA con E(X(t)) =0 y su A 2 función de autocorrelación es R( τ) = cos( wτ). Esta función es periódica. Problema 9 a): Para la señal portadora Y( t) = ( ω0t+ θ) ω0 θ U( ππ) probar que es estacionaria en sentido amplio. p 2 cos, constante,,, 2) Si A y θ son variables aleatorias no siempre el proceso será ESA.
5.3.4.3. SEÑALES EN TIEMPO DISCRETO Y PROCESO DE RUIDO BLANCO EN TIEMPO DISCRETO EN TEORÍA DE LA SEÑAL Muchas señales de parámetro continuo se muestrean en intervalos regulares de tiempo, dando lugar a señales discretas en el tiempo, X(n). Al transmitir estas señales por un canal, el ruido que las acompaña, W(n), se suele modelizar como un proceso estocástico discreto llamado RUIDO BLANCO. Definición: Un proceso estocástico en tiempo discreto {W(n)} se dice que es un RUIDO BLANCO si las variables aleatorias W(n), para n, son independientes con distribución N(0, σ W ). Se puede demostrar que este tipo de procesos son estacionarios en sentido amplio y que: W E W n = 0 (, + ) = W = 2 R n n k R k 0 k 0, k σ W k = 0
Problema 6: Dado el proceso estocático, n 1 X ( n) = W( n) + W( n 1 ), con W( n) N( 0, σw ), iid 2 a) Obtener la distribución de X(3). b) Calcular la media, la varianza y la función de autocorrelación del proceso X(n) Es X(n) estacionario en sentido amplio? Observación: este proceso {W(n)} es un proceso de ruido blanco en tiempo discreto.