Variantes del LMS Algortimo LMA ( Least Mean Absolute ) Algoritmo LMS normalizado Algoritmo LMS regularizado Algoritmo LMS en frecuencia

Transcripción

1 4.4 Algoritmo LMS Introducción El algoritmo LMS Análisis de convergencia Variantes del LMS Algortimo LMA ( Least Mean Absolute ) Algoritmo LMS normalizado Algoritmo LMS regularizado Algoritmo LMS en frecuencia Conclusiones

2 Introducción El método de máxima pendiente requiere conocer los estadísticos de 2 o orden w n+1 = w n µ 2 J(w) w = w n + µ[p Rw n ] wn R y p son raramente conocidas en la práctica Algoritmo LMS ( Least Mean Square ): realiza una estima instantánea R = E[x n x H n ] Estima ˆR = x n x H n p = E[d(n) x n ] Estima ˆp = d(n) x n

3 Algoritmo LMS Utilizando las estimas instantáneas de los estadísticos w n+1 = w n + µ[ˆp ˆRw n ] = w n + µx n [d(n) x H n w n ] Estima instantánea del gradiente: x n e (n) Ventajas w n+1 = w n + µx n e (n) No precisa conocer los estadísticos de la señal Permite seguir los cambios en las señales involucradas ( tracking ) Implementación sencilla y bajo coste computacional (para señales reales 2M sumas y 2M + 1 multiplicaciones) Inconvenientes La estima instantánea del gradiente es ruidosa La convergencia de los coeficientes está acoplada

4 Formulación alternativa Si se define la salida del filtro como (ejemplo: conformación de haz) se obtiene y(n) = M 1 i=0 x(n i)ω i = w H x n w n+1 = w n + µx n e (n) Si se define la salida del filtro como (ejemplo: igualación) se obtiene y(n) = M 1 i=0 x(n i)ω i = w T x n w n+1 = w n + µx ne(n)

5 Relación con la solución de Wiener Método de máximo descenso: los coeficientes describen una trayectoria que finaliza en la solución de Wiener Algoritmo LMS: realizan un movimiento aleatorio alrededor de la solución de Wiener

6 Convergencia Dos tipos de convergencia Convergencia en media lím n E[w n] = w o Convergencia en error cuadrático medio (MSE) lím E[J(n)] = cte = J( ) n Hipótesis para el análisis de convergencia El filtro y la señal de entrada son independientes (aproximadamente cierto si µ es pequeño) La entrada está incorrelada con el error (aproximadamente cierto si la convergencia está avanzada) La entrada y la salida son procesos de media nula y conjuntamente gaussianos

7 Convergencia en media w n+1 = w n + µx n [d(n) x H n w n ] Definiendo los pesos normalizados w n = w n w o w n+1 = w n + µx n d(n) µw n x H n w n µw n x H n w o Tomando esperanzas matemáticas E [ w n+1 ] = E [ w n ] + µx n d(n) µw n x H n w n µw n x H n w o E [ w n+1 ] = (I µr) E [ w n ] Expresión idéntica a la del algoritmo de máximo descenso Condición de convergencia 0 < µ < 2 λ max

8 Convergencia en MSE Requiere condiciones más restrictivas que la convergencia en media Evolución de la función de coste J(n) = J min + T r [RK(n)] donde K(n) = E [ (w n w o )(w n w o ) H] Se deduce que las condiciones de convergencia en MSE son 0 < µ < 2 λ max M i=1 µλ i 2 µλ i < 1

9 Convergencia en MSE (II) Asumiendo que el LMS converge en media y que µ << 2 λ max M µλ i < 1 M µλ i = µ M λ i < 1 µ < 2 2 µλ i 2 2 M i=1 i=1 La suma de los autovalores de una matriz definida positiva es igual i=1 a la suma de los elementos de la diagonal principal i=1 λ i µ < 2 Mσ 2 x µ < 2 Pot. señal de entrada

10 Desajuste D = J( ) J min J min Proporciona información sobre el exceso de MSE respecto al filtro de Wiener si µ << 2 λ max D µ 2 M i=1 λ i = µ 2 Mσ2 x Para una velocidad de convergencia (µ) dada, el desajuste aumenta con el número de coeficientes (M) El desajuste es inversamente proporcional a la velocidad de convergencia µ velocidad de convergencia D

11 Modos de convergencia Al igual que el método de máximo descenso existen M modos de convergencia (1 µλ i ) n Velocidad de convergencia inicial Dominada por el modo más rápido Velocidad de convergencia final Dominada por el modo más lento

12 Selección del parámetro de paso µ Al aumentar µ aumenta la velocidad de convergencia pero también el ruido de desajuste

13 Curvas de convergencia Una realización 200 realizaciones independientes promediadas

14 Algortimo LMA ( Least Mean Absolute ) Algoritmo LMA: Minimiza la norma L 1 del error J(w) = E[ e(n) ] No existe una solución cerrada Minimización estocástica (tipo LMS) w n+1 = w n + µx n sign (e(n)) Versión cuantificada del LMS: 1 bit para el error ( sign-error LMS ) µ = 1/2 k : multiplicaciones desplazamientos

15 LMS normalizado LMS: si x n toma valores elevados la estima del gradiente es muy ruidosa LMS normalizado Condición de convergencia w n+1 = w n + µx n e(n) w n+1 = w n + µ x n 2 + ε e(n) 0 < µ < 2 Interpretación: LMS con paso de adaptación dependiente de la potencia de entrada µ n = x n µ x n 2 + ε

16 LMS regularizado Función de coste J(w) = α w 2 + E [ e(n) 2] Solución óptima w opt = (R + αi) 1 p Algoritmo iterativo w n+1 = (1 αµ)w n + µe(n)x n Puede mejorar la convergencia al reducir la dispersión de los autovalores de la matriz de autocorrelación

17 LMS en el dominio de la frecuencia

18 LMS en el dominio de la frecuencia (II) Se calcula la DFT sobre una ventana de M muestras X n [k] = M 1 i=0 x(n i)e j 2π M ki, k = 0, 1,, M 1 Adaptación del coeficiente k-ésimo de la DFT W n+1 [k] = W n [k] + µ k X n [k]e n[k], k = 0, 1,, M 1 donde el error se define como E n [k] = D n [k] W n[k]x n [k] M algoritmos desacoplados (uno por raya espectral) 0 < µ k < 2 Pot. de la raya espectral k-ésima

19 Conclusiones Basado en estimas instantáneas de los estadísticos del problema Permite la adaptación a cambios del entorno y la estadística del problema La convergencia se garantiza limitando el paso de la adaptación µ < 2 Pot. de la señal de entrada La velocidad de convergencia y desajuste final dependen de µ La velocidad de convergencia depende de la dispersión de autovalores de R Existen multitud de variantes: LMS normalizado, regularizado, en frecuencia, etc.