Filtros de Wiener. Tratamiento Estadístico de Señales. Pablo Musé & Ernesto López

Transcripción

1 Filtros de Wiener Tratamiento Estadístico de Señales Pablo Musé & Ernesto López Departamento de Procesamiento de Señales Instituto de Ingeniería Eléctrica Facultad de Ingeniería Abril de 2013 Biblio: Haykin, Adaptive Filter Theory, 4ta. edición: Capítulo 2 y Apéndice B. Hayes, Statistical Digital Signal Processing and Modeling, 1996: Capítulo 7, secs. 7.2 y 7.3.

2 Introducción Estudiaremos una clase de filtros en tiempo discreto, óptimos en un sentido que definiremos más adelante, llamados Filtros de Wiener. Filtrado lineal óptimo: planteo del problema Given input samples and filter coefficients Conditions at time n Input u(0), u(1), u(2), Linear discrete-time filter w 0, w 1, w 2, Output y(n) Σ Desired response d(n) + Estimation error e(n) Figure 2.1 {u(n)}, {d(n)}: realizaciones de procesos estocásticos conjuntamente Block diagram representation of the statistical filtering problem. WSS, de media nula (si no, basta con restárselas). y(n): estimación de la respuesta deseada en tiempo n Prentice Hall, Inc. Simon Haykin Adaptive Filter Theory 4E e(n) = d(n) y(n): error de estimación en tiempo n Objetivo: hacer e(n) lo más chico posible en algún sentido estadístico.

3 Restricciones y opciones de diseño Sobre el filtro Restricciones: lineal y discreto. Opciones: FIR o IIR. Trataremos la teoría para IIRs (siendo los FIRs un caso particular), pero nos focalizaremos en los FIRs por ser inherentemente estables. Obs: cuando tratemos con filtros adaptivos, tener que lidiar con IIRs y sus posibles inestabilidades hacen del problema difícil de manejar. Por esta razón en general en filtros adaptivos se utilizan FIRs, a pesar que los IIR son mucho menos demandantes computacionalmente.

4 Restricciones y opciones de diseño Sobre el filtro Restricciones: lineal y discreto. Opciones: FIR o IIR. Trataremos la teoría para IIRs (siendo los FIRs un caso particular), pero nos focalizaremos en los FIRs por ser inherentemente estables. Obs: cuando tratemos con filtros adaptivos, tener que lidiar con IIRs y sus posibles inestabilidades hacen del problema difícil de manejar. Por esta razón en general en filtros adaptivos se utilizan FIRs, a pesar que los IIR son mucho menos demandantes computacionalmente. Sobre el criterio estadístico de optimalidad E[ e(n) ]: convexo, no diferenciable. Corresponde a distribuciones de Laplace. E[ e(n) 2 ]: convexo, diferenciable. Corresponde a distribuciones Gaussianas. Es matemáticamente más sencillo de tratar (podemos calcular gradientes). Otros.

5 Posibles Aplicaciones Dependiendo de cómo están vinculadas u(n) y d(n), varios problemas fundamentales pueden ser planteados como un filtrado de Wiener:

6 Posibles Aplicaciones Dependiendo de cómo están vinculadas u(n) y d(n), varios problemas fundamentales pueden ser planteados como un filtrado de Wiener: Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir de muestras ruidosas con un filtro causal, i.e. a partir de las muestras u(n), u(n 1), u(n 2),....

7 Posibles Aplicaciones Dependiendo de cómo están vinculadas u(n) y d(n), varios problemas fundamentales pueden ser planteados como un filtrado de Wiener: Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir de muestras ruidosas con un filtro causal, i.e. a partir de las muestras u(n), u(n 1), u(n 2),.... Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo, estimar d(n) offline a partir de todo el registro de datos disponibles (previos y posteriores a n).

8 Posibles Aplicaciones Dependiendo de cómo están vinculadas u(n) y d(n), varios problemas fundamentales pueden ser planteados como un filtrado de Wiener: Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir de muestras ruidosas con un filtro causal, i.e. a partir de las muestras u(n), u(n 1), u(n 2),.... Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo, estimar d(n) offline a partir de todo el registro de datos disponibles (previos y posteriores a n). Predicción: si d(n) = u(n + 1) y el filtro es causal, se busca estimar u(n + 1) a partir de u(n) y sus muestras previas.

9 Posibles Aplicaciones Dependiendo de cómo están vinculadas u(n) y d(n), varios problemas fundamentales pueden ser planteados como un filtrado de Wiener: Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir de muestras ruidosas con un filtro causal, i.e. a partir de las muestras u(n), u(n 1), u(n 2),.... Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo, estimar d(n) offline a partir de todo el registro de datos disponibles (previos y posteriores a n). Predicción: si d(n) = u(n + 1) y el filtro es causal, se busca estimar u(n + 1) a partir de u(n) y sus muestras previas. Deconvolución: u(n) = h d(n) + v(n). El objetivo es encontrar algún filtro de respuesta al impulso g(n) tal que podamos estimar ˆd(n) = g u(n).

10 Posibles Aplicaciones Dependiendo de cómo están vinculadas u(n) y d(n), varios problemas fundamentales pueden ser planteados como un filtrado de Wiener: Filtrado: u(n) = d(n) + v(n), con v(n) ruido. Estimar d(n) a partir de muestras ruidosas con un filtro causal, i.e. a partir de las muestras u(n), u(n 1), u(n 2),.... Suavizado: idem salvo que el filtro puede ser no causal. Por ejemplo, estimar d(n) offline a partir de todo el registro de datos disponibles (previos y posteriores a n). Predicción: si d(n) = u(n + 1) y el filtro es causal, se busca estimar u(n + 1) a partir de u(n) y sus muestras previas. Deconvolución: u(n) = h d(n) + v(n). El objetivo es encontrar algún filtro de respuesta al impulso g(n) tal que podamos estimar ˆd(n) = g u(n). Otros.

11 Filtrado de Wiener: Solución al problema Objetivo: encontrar w 0, w 1, w 2,... tales que se minimice J n (w) = E[ e(n) 2 ] = J(w). Desarrollaremos la solución matemática a este problema de optimización estadística abordando dos enfoques diferentes pero complementarios: El principio de ortogonalidad (característicos de los espacios de Hilbert) La superficie de performance del error e(n).

12 Las ecuaciones normales o de Wiener-Hopf (1) Entrada: u(0), u(1), u(2),... Resp. al impulso del filtro: w 0, w 1, w 2,... } complejas e infinitas. Salida del filtro: + y(n) = wku(n k), n = 0, 1, 2,... k=0 e(n) = d(n) y(n). =w H u(n), con w T = [w 0, w 1, w 2,... ], u(n) T = [u(n), u(n 1), u(n 2),... ] Recordemos que {u(n)}, {d(n)} son realizaciones de procesos estocásticos conjuntamente WSS, de media nula

13 Las ecuaciones normales o de Wiener-Hopf (2) Queremos ver bajo qué condiciones en w (o cual es el filtro tal que) J(w) = E[e (n)e(n)] alcanza el mínimo. Definamos p T = [p(0), p( 1), p( 2),... ] = E[u(n)d (n)]. Ejercicio: 1. Escribir J(w) como función de w, R = E[u(n)u(n) H ], p y σ 2 d = E[ d(n) 2 ], y verificar que es cuadrática y convexa en w. 2. Escribir el sistema de ecuaciones que debe verificar w o = arg min w J(w), conocido como ecuaciones normales.

14 Las ecuaciones normales o de Wiener-Hopf (2) Queremos ver bajo qué condiciones en w (o cual es el filtro tal que) J(w) = E[e (n)e(n)] alcanza el mínimo. Definamos p T = [p(0), p( 1), p( 2),... ] = E[u(n)d (n)]. Ejercicio: 1. Escribir J(w) como función de w, R = E[u(n)u(n) H ], p y σ 2 d = E[ d(n) 2 ], y verificar que es cuadrática y convexa en w. 2. Escribir el sistema de ecuaciones que debe verificar w o = arg min w J(w), conocido como ecuaciones normales. J(w) =E[(d (n) u H (n)w)(d(n) w H u(n))] =E[ d(n) 2 + w H E[u(n)u(n) H ]w w H E[u(n)d (n)] E[d(n)u H (n)]w =w H Rw p H w w H p + σ 2 d. Es convexa ya que R es def. positiva, por lo que admite un único mínimo local.

15 Las ecuaciones normales o de Wiener-Hopf (2) Queremos ver bajo qué condiciones en w (o cual es el filtro tal que) J(w) = E[e (n)e(n)] alcanza el mínimo. Definamos p T = [p(0), p( 1), p( 2),... ] = E[u(n)d (n)]. Ejercicio: 1. Escribir J(w) como función de w, R = E[u(n)u(n) H ], p y σ 2 d = E[ d(n) 2 ], y verificar que es cuadrática y convexa en w. 2. Escribir el sistema de ecuaciones que debe verificar w o = arg min w J(w), conocido como ecuaciones normales. J(w) =E[(d (n) u H (n)w)(d(n) w H u(n))] =E[ d(n) 2 + w H E[u(n)u(n) H ]w w H E[u(n)d (n)] E[d(n)u H (n)]w =w H Rw p H w w H p + σ 2 d. Es convexa ya que R es def. positiva, por lo que admite un único mínimo local. Sabemos que w = 2 (ver Haykin, Apéndice B). w 0 = 2 J (w w o) = 2Rw o 0 2p 0 Rw o = p Ecuaciones normales

16 Principio de ortogonalidad Breve paréntesis: E[X H Y ] como producto interno X 1, X 2, Y vectores aleatorios, E[X 1] = E[X 2] = E[Y ] = 0. < X, Y >:= E[X H Y ] define un producto interno: < X, X > 0, y < X, X >= 0 X = 0. < X, Y >=< Y, X > < ax 1 + bx 2, Y >= a < X 1, Y > +b < X 2, Y > (linealidad de E[ ]). < X, Y >= E[X H Y ] = 0 X, Y no correlacionados (o ortogonales para este p. i.).

17 Principio de ortogonalidad Breve paréntesis: E[X H Y ] como producto interno X 1, X 2, Y vectores aleatorios, E[X 1] = E[X 2] = E[Y ] = 0. < X, Y >:= E[X H Y ] define un producto interno: < X, X > 0, y < X, X >= 0 X = 0. < X, Y >=< Y, X > < ax 1 + bx 2, Y >= a < X 1, Y > +b < X 2, Y > (linealidad de E[ ]). < X, Y >= E[X H Y ] = 0 X, Y no correlacionados (o ortogonales para este p. i.). Rw o = p E[u(n)u(n) H ]w o = E[u(n)d (n)] E[u(n)(d (n) u(n) H w o )] = E[u(n)e o(n)] = 0. E[u(n k)e o(n)] = 0 k = 0, 1, 2,... La CNS para que J alcance el mínimo es que el error e(n) = e o (n) sea ortogonal a todas las muestras involucradas al tiempo n.

18 Principio de ortogonalidad (cont.) Cuando el filtro opera en condición óptima w = w o, la estimación de la respuesta deseada y el error de estimación son ortogonales: E[y o (n)e (n)] = E[w H o u(n)e o(n)] = w H o E[u(n)e o(n)] = 0.

19 Principio de ortogonalidad (cont.) Cuando el filtro opera en condición óptima w = w o, la estimación de la respuesta deseada y el error de estimación son ortogonales: E[y o (n)e (n)] = E[w H o u(n)e o(n)] = w H o E[u(n)e o(n)] = 0. Error cuadrático medio mínimo e o (n) = d(n) y o (n), y o (n) = ˆd(n), J min = E[ e o (n) 2 ] Por el principio de ortogonalidad, sabemos que e o (n) y o (n), de dónde d(n) = e o (n) + y o (n) E[ d(n) 2 ] }{{} σ 2 d J min = σ 2 d σ2ˆd ε := Jmin σ 2 d = E[ e o (n) 2 ] }{{} J min + E[ y o (n) 2 ] }{{} σ 2ˆd = 1 σ2ˆd. Tendremos 0 ε 1. σd 2

20 Solución de las ecs. normales para filtros transversales u(n) z 1 u(n-1) z 1... u(n-m+2) z 1 u(n-m+1) w* 0 w* w* 1 M 2 w* M e(n) d(n u ˆ n ) Ahora estamos en dimensión finita: u(n) T = [u(n), u(n 1),..., u(n M + 1)] Figure 2.4 Transversal filter. + d(n) w T = [w 0, w 1,..., w M 1 ], w T o = [w o,0, w o,1,..., w o,m 1 ] p T = [p(0), p( 1),..., p( M + 1)] w o = R 1 p Necesitamos conocer: matriz de correlación de u(n) y las correlaciones cruzadas entre u(n k) y d(n), k = 0, 1,..., M Prentice Hall, Inc. Simon Haykin Adaptive Filter Theory 4E

21 Superficie de performance del error J(w) = w H Rw p H w w H p + σd. 2 J min = J(w o ) = p H R H RR 1 p p H R 1 p p H R H p + σd. 2 = σd 2 p H R 1 p = σd 2 p H w o. Se puede ver fácilmente que J(w) = J min + (w w o ) H R(w w o )

22 Superficie de performance del error J(w) = w H Rw p H w w H p + σd. 2 J min = J(w o ) = p H R H RR 1 p p H R 1 p p H R H p + σd. 2 = σd 2 p H R 1 p = σd 2 p H w o. Se puede ver fácilmente que J(w) = J min + (w w o ) H R(w w o ) Forma canónica de la superficie de error Sabemos que R = QΛQ H (R hermítica, teorema espectral). Luego, J(w) = J min + (w w o ) H QΛQ H (w w o ) = J min + v H Λv, con v = Q H (w w o ) la proyección de (w w o ) M 1 = J min + λ k v k 2. k=0 en los ejes principales de R ( de la superficie de error).

23 Superficie de performance del error: ejemplo de un filtro con dos taps Cost function J Prentice Hall, Inc. Simon Haykin Adaptive Filter Theory 4E w Figure 2.7 Error-performance surface of the two-tap transversal filter described in the example of Section w Prentice Hall, Inc. Simon Haykin 4.00 Figure 2.8 En la forma canónica, J min se alcanza en (w w o ) = (0, 0), y los ejes están orientados según los ejes principales de las elipses de las curvas de nivel. Contour plots of the error-performance surface depicted in Fig 2.7.

24 Filtros de Wiener IIR No serán abordados aquí por las razones expuestas en la introducción: la mayoría de las señales no son WSS y a lo sumo se asumirá que los procesos son localmente WSS, lo que da lugar a los filtros adaptivos. Pero en el caso de que los procesos sean WSS en su conjunto, pueden ser de gran utilidad. Se recomienda la siguiente lectura: Filtro de Wiener IIR no causal (Hayes, 7.3.1). Ejemplo de aplicación: Deconvolución (Hayes, 7.3.5). Teorema de factorización espectral (Hayes,. 3.5) Filtro de Wiener IIR causal (Hayes, y 7.3.3)