Estimadores insesgados lineales óptimos (BLUE)

Transcripción

1 Estimadores insesgados lineales óptimos (BLUE) Alvaro Gómez & Pablo Musé {agomez, Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica Facultad de Ingeniería Marzo de 08

2 Repaso Estimación MVU general I Dos técnicas para encontrar el MVU I I Teorema de Cramer-Rao Estadísticos suficientes y teorema de Rao-Blackwell-Lehmann-Sche e I Ninguna de las dos técnicas asegura encontrar el MVU Estimación MVU en modelos lineales I Si los datos pueden representarse con un modelo lineal, x = H + w, w N(0, I) siempre es posible encontrar el MVU y su varianza. El estimador MVU es La matriz de covarianza del estimador es ˆ = H T H H T x () C ˆ = H T H () I Además, el estimador es eficiente ya que alcanza la CRLB.

3 Introducción Estimadores Lineales e Insesgados Óptimos (BLUE) I En la práctica ocurre frecuentemente que aunque el estimador MVU existe, no puede ser encontrado. I No se conoce la PDF o no se puede asumir un modelo de los datos. I No puede aplicarse CRLB o la teoría de estadísiticos suficientes. I En estos casos es razonable recurrir a estimadores subóptimos I No se conoce la pérdida de desempeño del estimador porque no se conoce la varianza del MVU. I El estimador puede ser empleado si cumple las especificaciones del problema. I Una estrategia es restringir el estimador a ser lineal con los datos, y buscar el estimador lineal insesgado y de varianza mínima: Estimador Lineal e Insesgado Óptimo (BLUE) [Kay, 993] I Un virtud del estimador BLUE es que solo se necesita conocer el primer y segundo momento de la PDF, por lo que es apropiado en aplicaciones prácticas.

4 Estimador BLUE Definición Se observa el conjunto de datos {x[0], x[],..., x[n ]} cuya PDF p(x, ) depende del parámetro desconocido que se quiere estimar. I El estimador BLUE se restringe a ser lineal con los datos, NX ˆ = a n x[n] I Definición del estimador BLUE: aquel que es insesgado y tiene varianza mínima entre todos los estimadores lineales. I Hay que determinar los coeficientes a n para que el estimador cumpla la condición anterior.

5 Búsqueda del BLUE Para determinar el BLUE se impone que el estimador ˆ sea lineal e insesgado y se determinan los coeficientes a n que minimizan la varianza. I Estimador lineal I Condición de insesgado NX ˆ = a n x[n] =a T x (3) NX E(ˆ ) = a n E (x[n]) =, 8 I Para satisfacer la condición de insesgado, E (x[n]) tiene que ser lineal con el parámetro desconocido, E (x[n]) = s[n], con s[n] conocido. (4) Si esto no se cumple, es imposible satisfacer la condición de insesgado. Por ejemplo, si E(x[n]) = cos, lacondicióndeinsesgadosería P N an cos =. No existen coeficientes a n que cumplan esto para todo.

6 Búsqueda del BLUE I La condición 4 significa que el BLUE solo es aplicable en el problema de estimación de la amplitud de señales conocidas en ruido, x[n] = s[n]+w[n], I Se puede generalizar su uso a través de transformaciones no lineales de los datos. I Continuando con la condición de no sesgado, NX a n E (x[n]) = NX a n s[n] = NX a n s[n] = es decir, a T s = con s =[s[0] s[]...s[n ]] T.

7 Búsqueda del BLUE I La varianza del estimador es apple var(ˆ ) =E ˆ E(ˆ ) h = E a T x E(a T x) i h = E a T x a T E(x) i h = E a T (x E(x)) i h i = E a T (x E(x)) (x E(x)) T a = a T Ca I Hay que encontrar a de forma de minimizar la varianza manteniendo la condición de insesgado, a opt =min a a T Ca sujeto a a T s = Esto se resuelve con multiplicadores de Lagrange.

8 Búsqueda del BLUE I El Lagrangiano es: L(a, )=a T Ca + (a T s ) I El gradiente respecto a a es: I ) se tiene que: I Sustituyendo 5 en la restricción, se encuentra el multiplicador de Lagrange, I Sustituyendo el multiplicador en 5, se obtiene el a =Ca + a = C s (5) a T s = s T C s = =) = a opt = s s T C s C s s T C s

9 Estimador lineal Búsqueda del BLUE Varianza del estimador lineal Coeficientes del estimador lineal óptimo ˆ = a T x var(ˆ ) =a T Ca a opt = C s s T C s I El estimador BLUE es Usando 4 se deduce que el entonces: BLUE es insesgado ˆ = st C x s T C s I ysuvarianzaes: var(ˆ ) = s T C s (6) (7) E(ˆ ) = st C E(x) s T C s = st C s s T C s = Observación: Para determinar el BLUE solo se requiere conocer I s (media escalada) I C, la matriz de covarianza de x es decir, los dos primeros momentos en lugar de la PDF completa.

10 Ejemplo I Nivel de DC en ruido blanco Se quiere estimar A a partir de las observaciones x[n] =A + w[n] n =0,,...,N donde w[n] es ruido blanco con varianza y PDF no especificada. I En este caso, E(x[n]) = A ) s[n] =8n ) s = I La matriz de covarianza de x[n] esc = I ) C = I Usando la ecuación 6, el estimador BLUE es  = T Ix T I = P N x[n] N Con la ecuación 7, se obtiene su varianza, var(â) = T I = NX x[n] = x[n] = N N La media muestral es el estimador BLUE independientemente de la PDF de los datos

11 Ejemplo II Nivel de DC en ruido no correlacionado Se quiere estimar A a partir de las observaciones x[n] =A + w[n] n =0,,...,N donde w[n] es ruido no correlacionado var(w[n]) = n. I Como en el caso anterior, s = I La matriz de covarianza es ahora C = N ) C = N

12 Ejemplo II Nivel de DC en ruido no correlacionado I El estimador BLUE es I con varianza Observaciones  = T C x T C = NP N P x[n] n n var(ˆ ) = T C = NP I El estimador BLUE pesa mas fuertemente las muestras con menor varianza de forma de igualar la contribución del ruido de cada muestra. I El estimador encontrado es idéntico al estimador MVU encontrado en el caso de ruido gaussiano no correlacionado (Ejemplo II en Modelos Lineales). n

13 Extensión a vector de parámetros Se quiere estimar el BLUE para el caso de un vector de p parámetros, =[... p ] T I Para que el estimador sea lineal con los datos, se requiere NX ˆ i = a in x[n] =a T i x donde a in son los coeficientes a estimar. I La condición en notación matricial es i =,,...,p ˆ = Ax con A matriz p N con filas a T i I La condición de que el estimador ˆ sea insesgado es NX E(ˆ i )= a in E (x[n]) = i, i =,,...,p que en notación matricial es E(ˆ ) =AE(x) = (8)

14 Extensión a vector de parámetros I Análogamente al caso escalar, para satisfacer la condición de no sesgado (ecuación 8), E(x) tiene que ser lineal con, E(x) =H, con H matriz N p conocida. (9) Notar que en el caso escalar (p =),H = s. I Sustituyendo la ecuación 9 en la 8 se obtiene la restricción de no sesgo, AH = I (0) I Denotando la fila i-ésima de A como a T i como h j, 3 a T a T A = 6 4. a T p 7 5 y la columna j-ésima de H H =[h h... h p ] la ecuación 0 de la restricción de no sesgo queda, a T i h j = ij i =,,...,p; j =,,...,p.

15 Extensión a vector de parámetros I Realizando un razonamiento análogo al caso escalar, la varianza es apple h var(ˆ i )=E ˆ i E(ˆ i ) = E a T i x E(a T i x) i = a T i Ca i I Hay que encontrar A de forma de minimizar la varianza manteniendo la condición de insesgado. Para encontrar la fila i-ésima de A hay que resolver a iopt =min a i a T i Ca i sujeto a a T i h j = ij i =,,...,p j =,,...,p I Ahora hay p restricciones, y la función de Lagrange queda, J i = a T i Ca i + px j= (i) j a T i h j ij I y resolviendo [ejercicio], se obtienen los coeficientes óptimos, a iopt = C H H T C H e i ) A opt = H T C H H T C

16 Extensión a vector de parámetros I El estimador BLUE en el caso vectorial queda, con matriz de covarianza Observación ˆ = A opt x = H T C H H T C x Cˆ = HT C H I El estimador BLUE es el mismo que el estimador MVU para el modelo lineal general, Por qué? x = H + w, w N(0, C)

17 Extensión a vector de parámetros Teorema de Gauss-Markov Hipótesis: Los datos observados tienen la forma del modelo lineal general, Tésis: x = H + w El estimador BLUE de es ˆ = H T C H H T C x ylavarianzadeˆ i es h var(ˆ i )= H T C H i ii I I I I x: N vectordeobservaciones H: N p matriz de observación conocida, con N > p yrangop : p vectordeparámetrosa estimar w: N vector de ruido con PDF arbitraria, media nula y covarianza C Además, la matriz de covarianza del estimador es C ˆ = HT C H

18 Consideraciones sobre la optimalidad del BLUE Modelo lineal con ruido gaussiano I En el modelo lineal general con ruido gaussiano se encontró que el estimador MVU es ˆ = H T C H H T C x El estimador MVU es lineal en los datos I Restringir el estimador a ser lineal no conduce a un estimador suboptimo, ya que el MVU pertenece a la clase de operadores lineales. I Ejemplo: estimación de nivel de DC en WGN. En ese caso, el MVU es la media muestral lineal en los datos. ˆ = x = NX x[n], N Si el modelo es lineal y los datos son gaussianos, el BLUE es también el MVU

19 Consideraciones sobre la optimalidad del BLUE Modelo lineal con ruido no gaussiano I Si el modelo es lineal pero los datos no son gaussianos, el estimador MVU no es lineal con los datos. I Ejemplo: estimación de la media de ruido blanco uniforme. I El MVU, encontrado mediante estadísticos suficientes es ˆ MVU = N + N max x[n], no lineal en los datos. I Restringiendo el estimador a ser lineal, el BLUE es la media muestral (Ejemplo I). I La varianza de los estimadores es (x[n] U(0, )) var(ˆ MVU )= 4N(N +) var(ˆ BLUE )= N Si el modelo es lineal y los datos no son gaussianos, el BLUE es subóptimo

20 Consideraciones sobre la optimalidad del BLUE Nivel de DC en WGN. El BLUE es óptimo. Media en ruido uniforme. El BLUE es subóptimo. I Si el MVU pertenece a la clase de estimadores lineales, no se pierde desempeño con el BLUE. I Si el MVU pertenece a la clase de estimadores no lineales, hay pérdida de desmpeño, la cual puede ser significativa.

21 Ejemplo III: Transformación de los datos Estimación de la varianza de WGN Se tienen las observaciones x[n] N(0, ) n =0,,...,N ysequiereestimar. I Empleando Cramer-Rao, se puede demostrar que el MVU es ˆ = NX x [n] Además, es eficiente (ejercicio) N El MVU no es lineal con los datos I Si se intenta calcular el BLUE en este caso, se tiene que N ˆ = X NX a n x[n] =) E( ˆ )= a n E(x[n]) = 0 I El BLUE es totalmente inapropiado en este caso ya que ni siquiera produce un estimador insesgado.

22 Ejemplo III: Transformación de los datos Estimación de la varianza de WGN I Sin embargo, el BLUE puede calcularse a partir de los datos transformados como y[n] =x [n], N ˆ = X NX a n y[n] = a n x [n] I La restricción de insesgado puede cumplirse, ya que NX NX E( ˆ )= a n E(x [n]) = a n = I Teniendo en cuenta que E(x [n]) =, el modelo con los datos transformados puede expresarse como y[n] =x [n] =E(x [n]) + x [n] E(x [n]) {z } {z } w[n]

23 Ejemplo III: Transformación de los datos Estimación de la varianza de WGN I Ahora el modelo es y[n] = + w[n] con w[n] =x [n] I I La transformación de los datos hace que el problema se reduzca a la estimación de la amplitud de una señal en ruido. Usando las ecuaciones 6 y 7 con s =, elestimadorbluees I ˆ = T C y T C var( ˆ )= T C Hay que calcular la matriz de covarianza C del ruido w[n]. I Por construcción del modelo, la media de w[n] esnula, E(w[n]) = E(x [n]) =0 I El elemento (i, j) de la matriz de covarianza es E(w C ij = E(w[i]w[j]) = [i]) E(w[i])E(w[j]) = 0 i = j i 6= j

24 Ejemplo III: Transformación de los datos Estimación de la varianza de WGN I La matriz de covarianza es diagonal, C ii = E(w [i]) = E x [n] = E(x 4 [n]) E(x [n]) + E (x [n]) = = 4 I El estimador y su varianza es C = 4 I ) C = 4 I ˆ = var( ˆ ) = T 4 Iy T = 4 I T = 4 I N P N 4 y[n] = N 4 N X N y[n] = NX x [n] N

25 Referencias I Kay, S. M. (993). Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory, chapter 6. Prentice Hall, st edition.