Germán Bassi. 9 de septiembre de X(i) = 1 N 1T X. i=1

Transcripción

1 . Estimación de la Media Germán Bassi 9 de septiembre de 00 Dada la variable aleatoria X, podemos estimar el valor esperado de la misma mediante la siguiente fórmula: µ X = X(i) = T X. Ambas representaciones son iguales pero, en ciertas circunstancias, conviene utilizar una antes que la otra. Una propiedad importante en un estimador es el valor esperado del mismo. Se denomina sesgo de un estimador a la diferencia entre dicho valor y el verdadero valor del parámetro a estimar. Es deseable que un estimador sea insesgado, es decir, que su sesgo sea nulo por ser su esperanza igual al parámetro que se desea estimar. En nuestro caso, E µ X = E X(i) = EX(i) = µ X = µ X. Esto significa que el estimador de la media presentado es insesgado. Otra característica que nos da una idea de la bondad del estimador es la varianza del mismo. uevamente, es deseable que la varianza disminuya conforme el número de muestras tomadas por el estimador aumente. Se dice que un estimador es consistente cuando éste converge a su valor verdadero cuando el número de datos de la muestra tiende a infinito. En nuestro caso, Var µ X = E ( µ X µ X ) ( ) = E T (X µ X ) = E T (X µ X ) (X µ X ) T = T C X. La operación T C X resulta en la sumatoria de todas las componentes de la matriz C X. Dado que dichas componentes están acotadas en valor absoluto por σ X, la

2 sumatoria no puede exceder el valor σx. En el imposible caso límite, donde la covarianza de la variable aleatoria fuese σx para cualquier retardo, la varianza de la estimación sería σx. Sin embargo, para los procesos normales y no periódicos, en donde la función de covarianza tiene un máximo en el origen y siempre disminuye a medida que tendemos a infinito, el valor de la sumatoria de las componentes de C X aumenta más lentamente que. Como resultado, el estimador de la media es consistente. En el caso de que las realizaciones de X estén descorrelacionadas entre sí, la matriz C X resulta σx I. De esta manera, podemos reescribir la ecuación anterior a una más sencilla: Var µ X = σ X. () Aquí vemos claramente que la varianza de la estimación tiende a cero a medida que aumenta el número de muestras tomadas.. Estimación de la Varianza Dada la variable aleatoria X, podemos estimar la varianza de la misma mediante la siguiente fórmula: σ X = ( ). Xi µ X A diferencia del estimador de la media, este estimador posee un factor de escalado igual a /( ), denominado corrección de Bessel. En el caso de que las muestras sean independientes entre sí, este factor permite obtener un estimador insesgado de la varianza. Demostración. E σ ( ) X = E Xi µ X = E ( ) Xi µ X + µ X µ X = E ( ) ( ) ( ) ( ) Xi µ X µx µ X Xi µ X + µx µ X = ( E ) ( ) ( ) Xi µ X µx µ X X i µ X + ( ) µ X µ X = E ( ) ( ) ( ) Xi µ X µx µ X + µx µ X = E ( ) ( ) Xi µ X µx µ X = { (Xi ) E µ X ( ) E } µx µ X

3 En el primer término de la ecuación anterior se encuentra la fórmula analítica para la varianza de una variable aleatoria, mientras que en el segundo término, encontramos la varianza del estimador de la media. En el caso de variables i.i.d., este último término resulta el encontrado en (). Por lo tanto, E σ X = ( σ X σ X ) = ( ) σ X σx = σ X. La distribución de probabilidad de los valores del estimador de la varianza sigue una distribución χ. Es por esto que la derivación de la varianza del estimador resulta compleja y no se tratará en este apunte. Sin embargo, dejamos el resultado a modo descriptivo: Var σ X = ( ) E (X µ 3 X ) 4 ( )( 3) σ X. 3 Debido a que la dependencia de la varianza con respecto al número de muestras es /, podemos ver que este estimador también es consistente. 3. Estimación de la Autocorrelación La función de autocorrelación de un proceso es, de manera informal, la similitud entre las observaciones de dicho proceso en función del tiempo de separación entre ellas. Dado el proceso estocástico X n podemos estimar su función de autocorrelación mediante la siguiente fórmula: X (k) = k X i X i+k, k R (i) para 0 < k <. Este estimador es insesgado como vemos a continuación: E R (i) X (k) = k EX i X i+k k = k R X (k) k = R X (k). Sin embargo, el estimador anterior tiene un inconveniente. A medida que el valor de k aumenta, la sumatoria anterior contiene cada vez menos términos, lo que provoca un promedio más ruidoso. El efecto es más notorio en los extremos del vector de muestras, cuando k. Dado que la función de autocorrelación tiende a cero en tiempo infinito, el resultado del estimador nos provee de información inválida en esta zona, como se aprecia en la Figura (a). En el caso de un proceso de media nula y que no sea periódico. Si el proceso tiene media, la autocorrelación tiende a un valor fijo igual a µ X. 3

4 ,5 0,5 0-0, k, 0,8 0,4 0 (a) Estimación insesgada de la autocorrelación k (b) Estimación sesgada de la autocorrelación. Figura : Comparación de los estimadores de la autocorrelación para ruido blanco Gaussiano X n (0, ) para = 390. En el caso de que el proceso sea de media nula, una manera de remediar el problema mencionado es utilizando un estimador sesgado: R (s) X (k) = k X i X i+k. El objetivo de este nuevo estimador es anular las colas en la estimación. Vemos a continuación que, para valores de k > 0, el estimador sesgado es simplemente una 4

5 versión escalada del estimador insesgado: R (s) X (k) = k k ( = k ( = k k X i X i+k ) k ) R (i) X (k). k X i X i+k El escalado resulta por el producto entre el valor insesgado y una ventana triangular. Si el intervalo donde la autocorrelación verdadera posee valores no nulos es mucho menor que el largo de las muestras, el sesgo puede despreciarse. En las Figuras (a) y (b), podemos apreciar los dos estimadores de la autocorrelación para la misma realización de un mismo proceso. Éste consiste de 390 muestras de un ruido blanco Gaussiano de media nula y varianza unitaria. En el caso del estimador insesgado, Figura (a), es notorio el efecto de las pocas muestras en la estimación en los límites del intervalo. Incluso, los valores allí son superiores al de k = 0. Por el contrario, en la Figura (b), el estimador sesgado nos provee de información más exacta acerca de la dinámica del proceso. La distribución de probabilidad de los valores del estimador de la autocorrelación es similar al caso del estimador de la varianza. Es decir, este estimador, en cualquiera de sus dos versiones, es consistente. Por esta razón, necesitamos muchas muestras para que el valor del estimador en cada uno de los retardos tenga poco error. Como vemos en los gráficos, los valores cercanos a k = 0 poseen bastante aleatoriedad debido a las pocas muestras utilizadas. 4. Estimación de la Densidad Espectral de Potencia La densidad espectral de potencia de una señal S X (ω) es una función matemática que nos informa de cómo está distribuida la potencia de dicha señal en las distintas frecuencias que la forman, es decir, su espectro. Según el teorema de Wiener- Khinchin, en el caso de los procesos estocásticos tenemos que: S X (ω) = F{R X (k)}, donde F{ } es la transformada de Fourier. Por simplicidad, a continuación sólo tendremos en cuenta el caso discreto y utilizaremos la siguiente notación: X(ω) = F{X n } = i=0 X i e jπωi. El estimador de la densidad espectral de potencia más utilizado es el del periodograma de la señal Ŝ X (ω) = X(ω). 5

6 i m i = ( ) m i = 0 0 Figura : Representación gráfica de las sumatorias de (). Los puntos grises corresponden a los términos de las sumatorias. Desarrollando la esperanza de este estimador podemos ver de dónde proviene: EŜX (ω) = E X(ω) X (ω) = E X m e jπωm X i e jπωi = = m=0 m i = i=0 EX m X i e jπω(m i) m=0 i=0 R X (m i)e jπω(m i). () m=0 i=0 La Figura muestra los rangos y la cantidad de términos que poseen las sumatorias de esta ecuación. Asimismo, notemos que los términos en las diagonales m = m i son todos iguales pero no así su cantidad. Si tenemos en cuenta estos factores, simplificamos la esperanza anterior de la siguiente manera: EŜX (ω) = = m = ( ) m = ( ) m ( m ) R X (m )e jπωm ( ) m R X (m )e jπωm. (3) El resultado anterior nos muestra dos aspectos de la esperanza del estimador de la densidad espectral. Primero, los límites de la sumatoria no son ±, y segundo, el término entre paréntesis representa el mismo sesgo que el estimador de la función de autocorrelación. En resumen, este estimador es sesgado. Sin embargo, a medida 6

7 que, el término entre paréntesis tiende a uno, y los límites de la sumatoria tienden a ±, por lo tanto, EŜX (ω) S X (ω). Importante: En (3) podemos ver que el periodograma es equivalente a tomar la Transformada de Fourier del estimador sesgado de la autocorrelación, es decir, Ŝ X (ω) = R (s) X (k)e jπωk. k= ( ) Al igual que en los casos anteriores, debemos analizar el comportamiento de la varianza de este estimador para ver si es consistente. La derivación de esta varianza es compleja y varía dependiendo del proceso X n en particular. Sin embargo, de realizar estos análisis veríamos que la varianza del estimador no tiende a anularse a medida que el número de muestras aumenta. De manera general, el comportamiento de la varianza es: VarŜX (ω) = α S X (ω). En la Figura 3(a), vemos la estimación de la densidad espectral para el proceso X n = W n + W n, donde W n es ruido blanco Gaussiano de media nula y varianza unitaria. Aquí apreciamos claramente el comportamiento de la varianza enunciado anteriormente. Dado que el proceso X n es un promediador, sus componentes espectrales están en las bajas frecuencias. Allí, donde los valores son altos, también lo es la varianza del estimador. Por otro lado, en el límite de la alta frecuencia, ±π, la densidad espectral de potencia es nula y la varianza del estimador, mínima. Para combatir este problema, recurrimos a un segundo estimador de la densidad espectral: Ŝ (ave) X (ω) = L Ŝ X,l (ω). L Este nuevo estimador es el promedio de L periodogramas distintos del proceso X n, con lo que logramos suavizar las variaciones de los mismos. La esperanza del estimador resulta igual al caso anterior ya que sólo estamos promediando varias estimaciones: Ŝ(ave) E X (ω) = L L l=0 l=0 EŜX,l (ω) L L l=0 S X (ω) = S X (ω). Y por último, dado que las distintas realizaciones del estimador son independientes entre sí, la varianza del estimador suavizado tiende a cero a medida que el Esto surge del análisis de la varianza del estimador, ver. 7

8 (a) Periodograma del proceso X n.,4, 0,8 0,6 0,4 0, Estimada Teórica (b) Periodograma suavizado del proceso X n. Figura 3: Comparación de los estimadores de la densidad espectral de potencia para el proceso X n = (W n + W n )/, donde W n (0, ) i.i.d.. número de bloques crece: Ŝ(ave) Var X (ω) = L L VarŜX,l (ω) l=0 = L L α S X(ω) = α L S X(ω) L En la Figura 3(b), vemos el estimador suavizado donde podemos apreciar cómo 8 0.

9 éste sigue más fielmente el valor teórico de la densidad espectral de potencia del proceso X n. Para esta simulación el tamaño de los bloques fue = 04 y la cantidad de bloques promediados, L = 64. En el caso de la Figura 3(a), la cantidad de muestras utilizadas para el periodograma simple fue = En este segundo estimador, el número de muestras necesario para la estimación es L, muestras por periodograma y L periodogramas promediados. Dado que uno dispone de una cantidad determinada de muestras, debemos elegir en cuántos bloques de muestras dividiremos nuestro total. Si elegimos un valor de L muy grande para disminuir el error de estimación, el valor de será chico, y por consiguiente, la discriminación en frecuencia que logramos con la Transformada de Fourier será poca. Por el contrario, si tomamos un valor de grande para tener una gran discriminación en frecuencia, el error de estimación será más notorio. Referencias Leon-Garcia, Alberto: Probability and Random Processes for Electrical Engineering, da edición. Massachusetts: Addison-Wesley, 994. Papoulis, Athanasios: Probability, Random Variables and Stochastic Processes, 3 ra edición. ew York: McGraw-Hill, Wolfram MathWorld: Sample Variance Distribution from Wolfram Math- World. (consultado el 7 de agosto de 00). 9