Estimación insesgada de mínima varianza

Transcripción

1 Estimación insesgada de mínima varianza Tratamiento Estadístico de Señales Pablo Musé, Ernesto López & Luís Di Martino {pmuse, elopez, Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica Facultad de Ingeniería Curso 2015

2 Introducción Problema de estimación de parámetros Se dispone de N muestras una señal discreta x[n]. Se tiene además un modelo matemático de la señal que depende de un parámetro θ desconocido. El objetivo es estimar el valor del parámetro θ a partir de x[n]. Planteo matemático del problema El estimador de θ se determina a partir de los datos como ˆθ = g(x[0], x[1],...,x[n 1]) g es una función a determinar ˆθ es un estimador de θ El problema consiste en encontrar una función g de los datos de forma que ˆθ sea un buen estimador de θ. Como las muestras de x[n] son variables aleatorias, el estimador ˆθ es una variable aleatoria y por lo tanto el desempeño del estimador debe ser evaluado estadísticamente.

3 Introducción Objetivo Se buscará, entre los estimadores insesgados, aquél de menor variabilidad. Estimadores insesgados de mínima varianza (MVU, Minimum Variance Unbiased). Estimadores MVU Se verá que en general no tienen porqué existir. Cuando existen, dos técnicas para encontrarlos son: Técnica basada en la cota inferior de Cramér-Rao. Técnica basada en la noción de estadísticos suficientes. Cuando no existen, se pueden agregar restricciones. Por ejemplo, imponer que el estimador, además de insesgado, sea lineal en los datos (estimadores lineales). Son fáciles de implementar Son subóptimos

4 Conceptos previos Modelado de los datos Se dispone del conjunto de datos {x[0], x[1],...,x[n 1]} y un modelo que depende de un parámetro θ desconocido. Como los datos son aleatorios, hay que describirlos especificando la función de densidad de probabilidad (PDF, Probability Density Function), p(x[0], x[1],...,x[n 1];θ) La PDF está parametrizada por el parámetro desconocido θ, definiendo una familia de funciones. Notación: se usa punto y coma para denotar esa dependencia. No confundir con una densidad de probabilidad conjunta (p(x[0], θ))

5 Ejemplo: PDF paramétrica Conceptos previos En el caso en que N = 1, el parámetro desconocido θ es la media y se modelan los datos como x[0] N(θ,σ 2 ), la PDF sería: p(x[0];θ) = con σ 2 conocido, [ 1 exp 1 ] 2πσ 2 2σ 2(x[0] θ)2 p(x[0];θ) θ 1 θ 2 θ 3 x[0] Como el valor de θ afecta la probabilidad de x[0], debería ser posible inferir el valor θ a partir del valor observado de x[0]. Por ejemplo, si el valor observado de x[0] es negativo, es poco probable que θ = θ 2. El valor θ = θ 1 es mas razonable.

6 Conceptos previos Modelado de los datos La especificación de la PDF es crucial para obtener un buen estimador. En un problema real, la PDF de los datos no es conocida. Debe ser elegida de forma que: Sea consistente con las restricciones del problema Refleje el conocimiento previo de los datos Sea matemáticamente tratable

7 Conceptos previos Ejemplo: Modelado de los datos 1 Temperatura global media anual de la Tierra (Referencia: media entre 1951 a 1980) 0.5 T ( C) Año Datos obtenidos de la NASA ( Los datos son de naturaleza ruidosa, pero en promedio tienen tendencia creciente. Un modelo razonable sería una recta en ruido, x[n] = A+Bn+w[n], n = 0, 1,...,N 1

8 Conceptos previos Ejemplo: Modelado de los datos Además, el ruido podría asumirse blanco y Gaussiano (WGN, White Gaussian Noise). Cada muestra de w[n] tiene PDF N(0,σ 2 ) y no está correlacionada con las demás muestras. La PDF conjunta de las muestras de ruido es, p(w[0], w[1],...,w[n 1]) = = N 1 n=0 N 1 n=0 p(w[n]) [ 1 exp w2 [n] 2πσ 2 2σ 2 [ 1 = exp (2πσ 2 ) N 2 1 2σ 2 N 1 n=0 ] w 2 [n] ]

9 Conceptos previos Ejemplo: Modelado de los datos En este ejemplo, los parámetros desconocidos son A y B. Arreglando los datos y los parámetros como un vector, θ = [A B] T, la PDF de los datos es 1 p(x;θ) = (2πσ 2 ) N 2 exp x = [x[0]x[1]...x[n 1]] T [ 1 2σ 2 N 1 n=0 (x[n] A Bn) 2 ].

10 Conceptos previos Observaciones La hipótesis de WGN es justificada por la necesidad de obtener un modelo matemáticamente tratable que conduzca a estimadores que puedan expresarse en forma cerrada. La hipótesis también es razonable a menos que haya evidencia de otra cosa, como muestras altamente correlacionadas. El desempeño del estimador tiene dependencia fuerte con las hipótesis de la PDF de los datos. A lo sumo, se puede esperar que el estimador obtenido sea robusto, en el sentido en que pequeños cambios en la PDF de los datos no afecten demasiado el desempeño del estimador.

11 Definición Estimadores insesgados Un estimador de cierto parámetro desconocido es insesgado si en promedio conduce al valor verdadero del parámetro. Formalmente: un estimador ˆθ del parámetro θ (a,b) es insesgado si E(ˆθ) = θ, θ (a,b). Estimador insesgado del nivel de DC en WGN Se consideran las observaciones x[n] = A+w[n], n = 0, 1,...,N 1 w[n] es WGN, w[n] N(0,σ 2 ) A es el parámetro a estimar, con < A < Un estimador razonable de A es la media muestral, Â = 1 N N 1 n=0 x[n]

12 Estimadores insesgados Estimador insesgado del nivel de DC en WGN Se quiere ver si el estimador es insesgado. [ E(Â) = E 1 N N 1 n=0 x[n] ] (a) = 1 N 1 E(x[n]) N n=0 (b) = 1 N 1 A N = A n=0 (a) Linealidad de la esperanza. (b) Como A es determinístico, E(x[n]) = E(A+w[n]) = A+E(w[n]) = A. Se concluye que el estimador media muestral es insesgado. Cuál es la PDF de Â? Como Â es la suma de variables aleatorias gaussianas independientes, es una variable aleatoria gaussiana. queda completamente especificada por la media y la varianza.

13 Estimadores insesgados Estimador insesgado del nivel de DC en WGN La media es E(Â) = A (se vio previamente que es insesgado). Solo falta calcular la varianza: [ var(â) = var 1 N N 1 n=0 x[n] ] (a) = 1 N 1 N 2 var(x[n]) n=0 (b) = 1 N 1 N 2 = σ2 N n=0 σ 2 Se concluye que Â N(A,σ2 /N). (a) Si X e Y son variables aleatorias independientes, var(ax +by) = a 2 var(x) (b) Como A es constante, +b 2 var(y) var(x[n]) = var(a+w[n]) = var(w[n]) = σ 2. La varianza del estimador decrece un factor de N respecto a la varianza de las muestras individuales.

14 Observaciones Estimadores insesgados La restricción de que E(ˆθ) = θ para todo θ es importante. Significa que si ˆθ = g(x), con x = [x[0],x[1],...,x[n 1]] T, se tiene que cumplir que E(ˆθ) = g(x)p(x; θ)dx = θ Podría ocurrir que se cumpla para algunos valores de θ pero no para otros. Un estimador que es insesgado no garantiza que es un buen estimador. Solo indica que en promedio alcanza el valor verdadero del parámetro. Los estimadores sesgados introducen un error sistemático en la estimación, siendo su desempeño pobre. Compromiso sesgo-varianza: en algunos casos, los estimadores sesgados tienen menor variabilidad. θ

15 Estimadores insesgados Combinación de estimadores La propiedad de insesgado tiene implicancias importantes al combinar estimadores. Se dispone de varios estimadores del {ˆθ1, ˆθ } 1,...,ˆθ n mismo parámetro: Un procedimiento para mejorar la ˆθ = 1 n ˆθ i estimación podría ser su promediado: n Asumiendo que los estimadores son insesgados, de igual varianza y no correlacionados, se ve que E(ˆθ) = θ var(ˆθ) = var(ˆθ 1 ) n Cuantos mas estimadores se combinan, mas decrece la varianza. i=1 lim var(ˆθ) 0 n lim ˆθ = θ. n Los estimadores insesgados se pueden combinar para obtener uno mejor.

16 Combinación de estimadores Estimadores insesgados En el caso en que los estimadores θ i son sesgados, E(ˆθ i ) = θ +b(θ) E(ˆθ) = 1 n E(ˆθ i ) = θ +b(θ) n Sin importar cuantos estimadores se promedien, ˆθ no converge al valor verdadero. i=1 p(ˆθ) Estimador Insesgado p(ˆθ) p(ˆθ) θ ˆθ n crece p(ˆθ) θ ˆθ Estimador Sesgado E(ˆθ) θ ˆθ E(ˆθ) θ ˆθ Sesgo de un estimador: b(θ) = E(ˆθ) θ

17 Criterio de Mínima Varianza En la búsqueda de estimadores óptimos es necesario adoptar algún criterio de optimalidad. Uno natural es la minimización del error cuadrático medio (MSE, Mean Square Error), [ mse(ˆθ) = E (ˆθ θ) 2]. Análisis del error cuadrático medio { ) ( )] } 2 mse(ˆθ) = E [(ˆθ E(ˆθ) + E(ˆθ) θ [ ) ] 2 = E (ˆθ E(ˆθ) [ ) ] 2 ( = E (ˆθ E(ˆθ) + E(ˆθ) θ = var(ˆθ) + b 2 (θ) }{{}}{{}. depende del estimador depende del parámetro )( )] +2E [(ˆθ E(ˆθ) E(ˆθ) θ }{{} E 2 (ˆθ) E(ˆθ)θ E 2 (ˆθ)+E(ˆθ)θ=0 ) 2 ( ) ] 2 +E[ E(ˆθ) θ

18 Criterio de Mínima Varianza Estimador MSE del nivel de DC en WGN x[n] = A+w[n], n = 0,1,...,N 1, w[n] i.i.d. con w[n] N(0,σ 2 ) Se considera como estimador la media muestral modificada, Ǎ = a N N 1 n=0 x[n], a constante. Se quiere encontrar el valor de a que minimice el MSE. El estimador es insesgado si y solo si a = 1. Media Sesgo Varianza E(Ǎ) = aa b(a) = (a 1)A var(ǎ) = a2 σ 2 N Sustituyendo en b(a) y var(ǎ) en la ecuación del MSE queda mse(ǎ) = a2 σ 2 N +(a 1)2 A 2

19 Criterio de Mínima Varianza Estimador MSE del nivel de DC en WGN Diferenciando respecto a a, se tiene que dmse(ǎ) da = 2aσ2 N +2(a 1)A2 e igualando a cero para encontrar el valor de a opt se obtiene que a opt = A 2 A 2 +σ 2 /N. El estimador que produce el menor error cuadrático medio es ( A 2 ) ( ) N 1 1 Ǎ = A 2 +σ 2 x[n] /N N n=0 Problema: el estimador del parámetro desconocido depende del valor del parámetro desconocido.

20 Observaciones Criterio de Mínima Varianza En general los estimadores que minimizan el error cuadrático medio dependen del parámetro desconocido y por lo tanto no son realizables. Esto es porque el MSE es función del sesgo (ver ecuación del MSE), y el sesgo depende del parámetro desconocido. Comparación de los estimadores del nivel de DC en WGN Â = x Ǎ = a opt x a opt = A 2 A 2 +σ 2 /N 1 E(Â) = A var(â) = σ2 /N mse(â) = σ2 /N E(Ǎ) = aopta var(ǎ) = a2 optσ 2 /N mse(ǎ) = aoptσ2 /N El estimador insesgado tiene mayor varianza y error cuadrático medio. Compromiso sesgo-varianza: en general, reducir la varianza de un estimador tiene el costo de hacerlo sesgado.

21 Criterio de Mínima Varianza Estimadores MVU El enfoque de minimizar el MSE debe ser abandonado ya que conduce a estimadores irrealizables. La alternativa es restringirse a estimadores insesgados y minimizar la varianza. Como mse(ˆθ) = var(ˆθ)+b 2 (θ), si b(θ) = 0 mse(ˆθ) = var(ˆθ) Como el error cuadrático medio de estimadores insesgados es la varianza, minimizar la varianza equivale a minimizar el MSE. Estimadores insesgados de varianza mínima (MVU, Minimum Variance Unbiased)

22 Estimadores MVU Existencia de estimadores MVU Se dice que existe un estimador MVU si hay un estimador de menor varianza que el resto de los posibles estimadores para todo θ. Estimador MVU: No hay estimador MVU En general, el estimador MVU no tiene porque existir. Por ejemplo, esto ocurre si la PDF de los datos cambia con el valor del parámetro.

23 Estimadores MVU Ejemplo: no existencia de estimador MVU Se dispone de dos observaciones independientes x[0] y x[1] con PDF x[0] N(θ,1) x[1] { N(θ,1) si θ 0 N(θ,2) si θ < 0 y se quiere estimar θ. Se proponen los siguientes estimadores, ˆθ 1 = 1 2 (x[0]+x[1]), ˆθ2 = 2 3 x[0]+ 1 3 x[1]. Es fácil verificar que ambos estimadores son insesgados.

24 Estimadores MVU Ejemplo: no existencia de estimador MVU La varianza de los estimadores es var(ˆθ 1 ) = 1 4 (var(x[0])+var(x[1])) = var(ˆθ 2 ) = 4 9 var(x[0])+ 1 9 var(x[1]) = 1 2 = si θ = si θ < = si θ = si θ < 0 var(ˆθ) Se cumple que ˆθ 2 ˆθ 1 θ en θ 0, ˆθ1 MVU en θ < 0, ˆθ2 MVU No existe un estimador MVU entre los dos estimadores propuestos.

25 Estimadores MVU Existencia de estimadores MVU No solo puede no existir el estimador MVU, si no que incluso puede no existir un único estimador insesgado. En este caso, la búsqueda del estimador MVU no tiene sentido. No existencia de estimador insesgado Se dispone de una única observación x[0] y se sabe que x[0] U[0,1/θ] con θ > 0. Se quiere estimar θ. Para eso, se considera un estimador genérico de la forma ˆθ = g(x[0]) y se buscan funciones g de forma que sea insesgado. E(ˆθ) = E(g(x[0])) (a) = (b) = θ (c) = θ 1 θ 0 g(u)p U (u)du g(u)du (a) Definición de esperanza. (b) Como U U[0,1/θ], { θ si 0 u 1/θ p U(u) = 0 en otro caso (c) Condición de insesgado.

26 Estimadores MVU No existencia de estimador insesgado Se llegó a que para que el estimador sea insesgado se tiene que cumplir que 1 θ 0 g(u)du = 1, θ > 0. No existe una función g que cumpla la condición θ > 0. Se concluye que no existe un estimador insesgado en este problema.

27 Estimadores MVU Búsqueda estimadores MVU Aún cuando existe un estimador MVU, puede no ser posible encontrarlo. No hay ninguna regla infalible para encontrar estimadores MVU. Enfoques de búsqueda: 1. Determinar la cota inferior de Cramér-Rao (CRLB, Cramér Rao Lower Bound), y ver si algún estimador la verifica. La CRLB determina un ĺımite inferior en la varianza de cualquier estimador insesgado. Si un estimador tiene varianza igual a la CRLB para todos los valores de θ, es el estimador MVU.

28 Estimadores MVU Búsqueda estimadores MVU Enfoques de búsqueda: 2. Buscar estadísticos suficientes y aplicar el teorema de Rao-Blackwell-Lehmann-Scheffe (RBLS). Puede existir un estimador MVU que no alcance la CRLB. 3. Restringir la clase de estimadores no sólo a los insesgados, sino también a los insesgados lineales con los datos, y encontrar el MVU en esta clase. Este estimador no será óptimo, a menos que el estimador MVU sea lineal en ese problema particular.

29 Extensión a vector de parámetros En el problema general de estimación de parámetros, los parámetros desconocidos pueden ser varios. Estimador insesgado Si hay p parámetros desconocidos, se construye el vector de parámetros desconocidos, θ = [θ 1 θ 2...θ p ] T. Se dice que un estimador ˆθ = [ˆθ 1 ˆθ2... ˆθ p ] T es insesgado si para todo i = 1, 2,...,p. E(ˆθ i ) = θ i, Definiendo la esperanza de un vector de variables aleatorias como un estimador insesgado cumple la propiedad a i < θ i < b i E(ˆθ) = E(ˆθ 1 ) E(ˆθ 2 ). E(ˆθ p ) E(ˆθ) = θ

30 Extensión a vector de parámetros Estimador MVU Un estimador MVU tiene la propiedad adicional de que var(ˆθ i ) mínima, para i = 1, 2,...,p entre todos los estimadores insesgados.

31 Propiedades de la varianza Varianza La varianza de un variable aleatoria X es el segundo momento central, var(x) = E ( (X E(X)) 2) Ejercicio: demostrar las siguientes propiedades 1. Una formulación alternativa de la varianza es, var(x) = E(X 2 ) E 2 (X) 2. Si X es una variable aleatoria con varianza finita, para cualquier constante a y b se cumple que, var(ax +b) = a 2 var(x) 3. Si X 1 y X 2 son variables aleatorias independientes, var(x 1 +X 2 ) = var(x 1 )+var(x 2 )

32 Referencias I Kay, S. M. (1993). Fundamentals of Statistical Signal Processing, Volume I: Estimation Theory, chapter 2. Prentice Hall, 1st edition.