EL Estimación y Detección

Transcripción

1 EL Estimación y Detección Clase No. 9: Mejor Estimador Lineal Insesgado Patricio Parada Departamento de Ingeniería Eléctrica Universidad de Chile P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 1/41

2 Contenidos de la Clase I Introducción Definición Construcción del Estimador Caso Vectorial Propiedades de MELI Aplicaciones Voltaje DC en Ruido Blanco Localización de Fuente Resumen y Lecturas P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 2/41

3 Introducción Es bastante habitual que la construcción de un estimador insesgado de varianza mínima sea una labor difícil o a veces imposible. Situaciones donde esto se puede dar son: la distribución de probabilidad no es conocida y no estamos dispuestos a realizar una suposición respecto de un modelo para él. aunque conozcamos la distribución de probabilidad, métodos como la aplicación del teorema de RBLS no garantizan que el estimador sea de varianza mínima (excepto que el estadístico suficiente sea completo). P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 3/41

4 Criterios Subóptimos En muchas ocasiones resulta conveniente relajar algún aspecto del problema, como por ejemplo la clase a la que pertenece el estimador. Esta consención tiene costos que no siempre pueden ser determinados en forma previa (si no conocemos la varianza del mejor estimador, cómo podemos evaluar cuál es el precio de nuestra decisión?) Sin embargo, si podemos estimar la varianza de este estimador subóptimo y ella se encuentra dentro de un rango aceptable, puede resultar en una buena solución de compromiso. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 4/41

5 Estimadores Lineales Uno de estos criterios subóptimos corresponde a restringir la clase de estimadores posibles a que sea lineal respecto de los datos, y dentro de ellos se selecciona a uno que sea insesgado y de la menor varianza posible. Esta criterio da origen al diseño del mejor estimador lineal insesgado (MELI), el cual sólo requiere de conocer el primer y segundo momento de la distribución para poder ser construido. Este es el tema de la clase de hoy. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 5/41

6 Qué es MELI? (1) Consideremos el conjunto de observaciones{x[0], x[1],..., x[n 1]} cuya densidad de probabilidad conjunta p(x; θ) depende del parámetro desconocido θ. El criterio de Mejor Estimador Lineal Insesgado (MELI) establece que el estimador ˆθ es lineal en los datos, es decir, N 1 ˆθ = a n x[n]. (1) donde las constantes a n deben ser determinadas. El criterio puede ser ampliado para considerar estimadores afines, es decir, donde N 1 ˆθ = a n x[n]+b n=0 n=0 P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 6/41

7 Qué es MELI? (2) Notemos que podemos expresar de manera compacta el estimador si definimos a = [a 0, a 1,..., a N 1 ] T, lo que nos lleva a la expresión: ˆθ = a T x o bien ˆθ = a T x+b en el caso que permitamos que el estimador sea afín. La selección de a definirá una infinidad de posibles estimadores, pero en nuestro caso nos vamos a concentrar en aquellos que dentro de la clase de estimadores lineales sean insesgados y minimicen la varianza del estimador. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 7/41

8 Cómo determinar el MELI? (1) Son dos las condiciones que debe cumplir a para que pueda ser considerado como una solución admisible en el problema de encontrar el mejor estimador lineal insesgado. En primer lugar, debe ser insesgado: E[ˆθ] = E[a T x] = a T E[x] = θ. (2) En segundo lugar, la varianza de ˆθ debe ser la menor posible dentro de los estimadores de esta estructura: var(ˆθ) = E [ (ˆθ E[ˆθ]) 2] = E [ a T (x E[x])(x E[x]) T a ] = a T Ca (3) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 8/41

9 Cómo determinar el MELI? (2) donde C = E [ (x E[x])(x E[x]) T] Para que el problema tenga solución, se debe cumplir que E[x] = sθ donde s es un vector de señales conocidas. El valor de s se determina a partir del modelo que relaciona las observaciones con los parámetros, por lo que en general puede ser conocido. Luego, la condición (2) se logra cuando a T s = 1 P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 9/41

10 Cómo determinar el MELI? (3) Finalmente, el problema de optimización que se debe resolver es minimizar a R N sujeto a : a T s = 1 a T Ca (4) La solución del problema es directa de aplicar técnicas de optimización con Lagrangiano: L(a,λ) = a T Ca λ(a T s 1) a L = 2Ca λs = 0 a = λ 2 C 1 s. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 10/41

11 Cómo determinar el MELI? (4) Por otro lado, la ecuación: L λ = at s 1 = 0 1 = λ 2 st C 1 s Finalmente: Por lo tanto, el MELI es a opt = C 1 s s T C 1 s ˆθ = st C 1 x s T C 1 s (5) (6) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 11/41

12 Cómo determinar el MELI? (5) y su varianza es var(ˆθ) = 1 s T C 1 s. (7) Por lo tanto, para poder diseñar el MELI lo único que necesitamos saber son dos cosas: 1. El valor esperado de x, pues x = sθ 2. La covarianza de x, pues C = E [ (x E[x])(x E[x]) T]. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 12/41

13 Extensión al Caso Vectorial (1) Consideremos la extensión natural al caso en que queremos estimar un conjunto de p parámetrosθ = [θ 1,θ 2,...,θ p ] T. En este caso, el estimador lineal en los datos tiene la forma ˆθ = Ax (8) donde(a) in = a jn corresponde al peso que la observación x[n] tiene en el estimador ˆθ i. Nuevamente, la condición que establece que el estimador es insesgado es E[ˆθ] = AE[x] = θ. (9) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 13/41

14 Extensión al Caso Vectorial (2) Al igual que en el caso escalar, asumimos conocido el valor esperado de x, y le damos la forma E[x] = Sθ donde S es una matriz de señales conocidas. Notemos que en este caso, la condición de que establece que el estimador es insesgado se traduce en Definamos AS = I. (10) A = a T 1 a T 2... a T P P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 14/41

15 Extensión al Caso Vectorial (3) y s i es la i-ésima columna de la matriz S. Luego, la condición (10) puede ser escrita como: a T i s j = δ ij (11) con i = 1, 2,..., p; j = 1, 2,..., p. Notemos que con esta descomposición por columnas tenemos que la varianza del estimador ˆθ i toma la forma var(ˆθ i ) = a T i Ca i P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 15/41

16 Extensión al Caso Vectorial (4) Para determinar el estimador que minimiza la varianza de cada ˆθ i definiremos el problema El Lagrangiano de este problema es: minimizar a i sujeto a a i s j = δ ij, j = 1, 2,..., p p L i = a T i Ca i λ (i) j (a T i s j δ ij ) j=1 a T i Ca i P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 16/41

17 Extensión al Caso Vectorial (5) Encontraremos los puntos candidatos a óptimo igualando el gradiente del i a cero. ai L i = Ca i λ (i) j s j p j=1 ai L i = 2Ca i λ (i) j s j Definiendoλ i = [λ (i) 1,λ(i) 2,...,λ(i) p ], podemos plantear una ecuación vectorial p i=1 ai L i = 2Ca i + Sλ i (12) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 17/41

18 Extensión al Caso Vectorial (6) Haciendo el gradiente igual a 0 tenemos: a i = 1 2 C 1 Sλ i (13) Para calcular los multiplicadores de lagrange λ i aplicamos la ecuación: a i s j = δ ij, j = 1, 2,..., p Esto nos permite escribir: S T a j = e i (14) donde e i es el i-ésimo elemento de la base canónica der p. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 18/41

19 Extensión al Caso Vectorial (7) Luego, reemplazando (13) en (14) obtenemos: 1 2 ST C 1 Sλ i = e i Si asumimos que S T C 1 S es invertible entonces Si este resultado lo aplicamos en (13) obtenemos que y la varianza de ˆθ i es 1 2 λ i = (S T C 1 S) 1 e i (15) a i = C 1 S(S T C 1 S) 1 e i (16) var(ˆθ i ) = e T i (ST C 1 S) 1 e i P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 19/41

20 Extensión al Caso Vectorial (8) Con un poco más de trabajo podemos ver que el estimador lineal que minimiza la varianza es ˆθ i = a T i x = e T i (ST C 1 S) 1 S T x donde hemos aplicado el hecho que C T = C. Agrupando en el vector ˆθ tenemos la siguiente relación: e T 1 e ˆθ T = 2. e T p (S T C 1 S) 1 S T x P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 20/41

21 Extensión al Caso Vectorial (9) Finalmente, y su covarianza es ˆθ = (S T C 1 S) 1 S T x (17) Cˆθ = (S T C 1 S) 1 (18) Notemos que el estimador MELI tiene exactamente la misma forma que el estimador insesgado de varianza mínima en el caso que exista una relación lineal entre los parámetros y las observaciones. Este resultado es presentado en el teorema de Gauss-Markov. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 21/41

22 Teorema de Gauss-Markov Si la relación entre un conjunto de observaciones y sus parámetros se puede llevar a un modelo lineal de la forma x = Sθ+w donde S es una matriz conocida de dimensión n p,θ es un vector de p 1 parámetros a ser estimados, y w es un vector de media cero y covarianza C, entonces mejor estimador lineal insesgado deθ es: ˆθ = (S T C 1 S) 1 S T C 1 x y la menor varianza de ˆθ i es var(ˆθ i ) = [ (S T C 1 S) 1] ii. Además, la matriz de covarianza de ˆθ es Cˆθ = (S T C 1 S) 1 P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 22/41

23 Propiedades de MELI (1) Propiedad. Estimador Afín Consideremos el caso en El MELI es ˆθ = a T x+b. ˆθ = st C 1 (x b1) s T C 1 s P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 23/41

24 Propiedades de MELI (2) Propiedad. Descomposición en Vectores Propios de C Consideremos el caso en la señal s es proyectada en la base originada por los vectores propios de la matriz C. Ello puede hacerse siempre porque la matriz C es simétrica. Sea esta descomposición: N 1 s = α i v i. i=0 P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 24/41

25 Propiedades de MELI (3) La varianza del MELI es var(ˆθ) = 1 N 1 n=0 dondeλ i es el valor propio de C asociado al vector propio v i. α 2 i λ i P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 25/41

26 Voltaje DC en Ruido Blanco (1) Consideremos una generalización del problema de estimación de un voltaje DC usando medidas ruidosas. En este caso, vamos a relajar nuestra hipótesis sobre el tipo de ruido que afecta la medición, pues sólo vamos a exigir que sea blanco. El modelo es x[n] = A+w[n], n = 0, 1,..., N 1 El proceso de ruido tiene valor medio cero y función de autocorrelación R w [k] = σ 2 δ[k], dondeδ[k] es la función delta Kronecker. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 26/41

27 Voltaje DC en Ruido Blanco (2) El mejor estimador lineal insesgado de A es  = st C 1 x s T C 1 s De acuerdo al modelo (26)E[x[n]] = A, lo que implica que s[n] = 1 para todo n = 0, 1,..., N 1. (19) Por lo tanto, s = 1, el vector con 1 s en cada posición. Luego,  = 1T I/σ 2 x s T I/σ 2 s = 1 N 1 x[n] N y var(â) = 1 1 T I/σ 2 1 = σ2 N n=0 P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 27/41

28 Voltaje DC en Ruido Blanco (3) x[n] n Figura: Simulación del modelo x[n] = 2+w[n], con N = 100 observaciones yσ = 1. En la simulación  = 1,85 y var(â) = 0,01. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 28/41

29 Voltaje DC en Ruido Blanco (4) Consideremos la extensión del problema a var(w[n]) = σ 2 n. En este caso tendremos que  = 1T C 1 x 1 T C 1 1 = N 1 n=0 N 1 x[n] σ 2 n 1 (20) y la varianza del estimador es n=0 σ 2 n var(â) = 1 N 1 1 σ 2 n=0 (21) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 29/41

30 Voltaje DC en Ruido Blanco (5) x[n] n Figura: Simulación del modelo x[n] = 2+w[n], con N = 100 observaciones y σ[n] = 1+Unif(0, 1)/2. En la simulación  = 2,091 y var(â) = 0,008. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 30/41

31 Localización de Fuente (1) Consideremos el problema de identificar la posición de la fuente de una señal (por ejemplo un faro,una baliza, un cuerpo celeste, etc.) Para realizar esta labor empleamos un arreglo de varias antenas distribuidas en una cierta región geográfica. Un método empleado para realizar la estimación pedida es mediante la medición de las diferencias de tiempo que ocurren entre las mediciones realizas por cada una de las antenas del arreglo. En lo que sigue asumiremos que vamos a utilizar un arreglo de N antenas cuyas posiciones son conocidas, y que contamos con mediciones de tiempos de recepción de la señal en cada antena, las que denotaremos por t i, con i = 0, 1,..., N 1. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 31/41

32 Localización de Fuente (2) El problema que vamos a resolver es estimar la posición de la fuente(x s, y s ) mediante el modelo: t i = T 0 + R i c +ǫ i, i = 0, 1,..., N 1 (22) donde T 0 es el tiempo en el cual se realizó la transmisión de la fuente, c es la velocidad de propagación de la señal en el medio, y ǫ i representa el ruido en la medición de la i-ésima antena. y FUENTE (x s, y s) POSICION NOMINAL (x n, y n) δ y s δx s R ni R i antena 0 α i antena i (x 0, y 0 ) antena 1 (x i, y i ) antena N 1 (x 1, y 1 ) (x N 1, y N 1 ) x P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 32/41

33 Localización de Fuente (2) El ruido de las muestras vamos a asumir que tiene media cero y varianza σ 2, no correlacionada entre ellas. Los parámetros de este problema sonθ = [x s y s ] T y se relacionan con la distancia a la antena i, R i mediante la ecuación: R i = (x s x i ) 2 +(y s y i ) 2 Al sustituir en el modelo obtenemos la ecuación que relaciona las observaciones con los parámetros que deseamos estimar: t i = T 0 + (xs x i ) 2 +(y s y i ) 2 c +ǫ i, i = 0, 1,..., N 1 (23) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 33/41

34 Localización de Fuente (3) Podemos aplicar el teorema de Gauss-Markov, para lo que vamos a asumir que tenemos acceso a una posición nominal (x n, y n ) que es cercana a la posición real de la fuente, y que puede haber sido obtenida utilizando mediciones anteriores. Por lo tanto, si queremos estimar la nueva posición de la fuente, basta con calcular θ = [(x s x n ) (y s y n )] T = [δx s δy s ] T La distancia nominales (obtenida a partir de la posición nominal) R ni se relacionará con la distancia real R i mediante la aproximación de Taylor de primer orden R i R ni + x n x i δx s + y n y i δy s (24) R ni R ni P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 34/41

35 Localización de Fuente (4) El modelo linealizado es t i = T 0 + R n i c + x n x i R ni c δx s + y n y i R ni c δy s +ǫ i (25) Definiendo el ángulo entre R ni y el eje x como α i entonces el modelo es Finalmente, definiendo obtenemos t i = T 0 + R n i c + cosα i c τ i = T 0 + cosα i c τ i = t i R n i c δx s + sinα i δy s +ǫ c i (26) (27) δx s + sinα i δy s +ǫ i (28) c P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 35/41

36 Localización de Fuente (5) donde los parámetros desconocidos son T 0,δx s,δy s. Dado que T 0 es un parámetro que podemos eliminar del problema (nos interesa sólo la posición), entonces podemos definir las diferencias entre las mediciones de una antena y la inmediatamente adyacente, de la forma: ξ 1 = τ 1 τ 0 ξ 2 = τ 2 τ 1. ξ N 1 = τ N 1 τ N 2 lo que nos permite escribir ξ i = 1 c (cosα i cosα i 1 )δx s + 1 c (sinα i sinα i 1 )δy s +ǫ i ǫ i 1. (29) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 36/41

37 Localización de Fuente (6) Notar que podemos definir una nueva secuencia de perturbaciones w i = ǫ i ǫ i 1, i = 1,..., N 1. (30) que vectorialmente puede ser escrito como ǫ ǫ 1 w = ǫ N 1 } {{ }} {{ } D ǫ donde D es una matriz de N 1 N. (31) Por hipótesis el vector de ruidos es no correlacionado, lo que implica que E[ǫǫ T ] = σ 2 I. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 37/41

38 Localización de Fuente (7) Sin embargo, el proceso w tiene correlación dado que está definido en términos de un proceso incremental de covarianza: E[ww T ] = E[Dǫǫ T D T ] = σ 2 DD T. (32) El resto de las ecuaciones que describen el modelo de observación son las siguientes: θ = [δx s S = 1 c δy s ] T cosα 1 cosα 0 sinα 1 sinα 0 cosα 2 cosα 1 sinα 2 sinα 1.. cosα N 1 cosα N 2 sinα N 1 sinα N 2 P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 38/41

39 Localización de Fuente (8) El mejor estimador lineal insesgado para la posición de la fuente es ˆθ = [ ˆδxs ˆδy s y la matriz de covarianza es ] = (S T (DD T ) 1 S) 1 S T (DD T ) 1 ξ (33) Cˆθ = σ 2 [S T (DD T ) 1 S] 1 (34) P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 39/41

40 Ideas para madurar En esta clase hemos visto cómo derivar un estimador lineal en las observaciones que minimiza la varianza del estimador (dentro de esta clase de estimadores). Recibe del nombre de MELI. El teorema de Gauss-Markov nos permite conectar la solución que conocíamos para sistemas lineales en los parámetros, con la solución MELI. Este nuevo estimador requiere sólo que conozcamos el valor esperado de las observaciones x y de su matriz de covarianza. No es necesario conocer la función de verosimilitud. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 40/41

41 Lecturas Steven M. Kay. Fundamentals of Statistical Signal Processing: Volume 1 - Estimation Theory, Capítulo 6. Jerry M. Mendel. Lessons in Estimation Theory for Signal Processing, Communications, and Control, Lesson 9. P. Parada, DIE-UCh EL7002, Clase No. 9: Mejor Estimador Lineal Insesgado 41/41