Problemas Inversos en Procesamiento Digital de Imágenes

Transcripción

1 Problemas Inversos en Procesamiento Digital de Imágenes Carlos Milovic F. 1,2,3 1. PixInsight Project Developer, Pleiades Astrophoto S.L., España 2. Centro de Imágenes Biomédicas Pontificia Universidad Católica de Chile 3. Departamento de Ingeniería Eléctrica PUC Octubre de 2014

2 Problemas Inversos en Procesamiento Digital de Imágenes 1/42

3 Problemas Inversos en Procesamiento Digital de Imágenes Expectativas 1/42

4 Realidad

5 Realidad

6 Podemos resolver el problema inverso? Realidad / Mediciones Expectativas / Ideal

7 Degradaciones

8 Ruido

9 Modelo de Imagen

10 Problema Inverso

11 Modelo de Imagen Si A es isotrópico, puede modelarse el problema como una convolución. Problema inverso es una deconvolución. A = h, la respuesta al impulso (PSF). En el espacio de frecuencia (Fourier), las convoluciones son multiplicaciones punto a punto de matrices. FFT {g (t) h(t)}=g (f ) H (f )

12 Filtro Inverso

13 Amplificación de ruido Ejemplo: modelo de Hufnagel y Stanley [1964] Útil para modelos de degradación por turbulencia atmosférica. Es muy similar a un filtro gaussiano pasabajos

14 Recortar acción de H f_corte = 40

15 Recortar acción de H f_corte = 70

16 Recortar acción de H f_corte = 85

17 Otra alternativa: SVD o Valores propios

18 SVD

19 Ejemplo SVD en reconocimiento de caras.

20 Ejemplo SVD en reconocimiento de caras.

21 SVD

22 SVD Podemos truncar la sumatoria!

23 Otras formas de estabilizar con SVD

24 Filtro de Wiener Es equivalente a utilizar el espacio de Fourier como vectores propios y estabilizar la solución.

25 Filtro de Wiener

26 Filtro de Wiener

27 Cambio paradigma: Optimización

28 Cambio paradigma: Optimización sujeto a :Ω(f )<ϵ

29 Ejemplo: Tikhonov Si Q = Id, entonces esto es el filtro de Wiener.

30 Ejemplo: Constrained Least Squares

31 Ejemplo: Constrained Least Squares

32 Cambio paradigma: Optimización

33 Cambio paradigma: Optimización Consistencia de datos. Ej. Norma 2 (RMS), Suma error absoluto, etc. Depende del modelo de ruido. Regularizador o conocimiento previo. Multiplicador de Lagrance. Balance entre términos.

34 Regularizador

35 Enfoque Bayesiano Queremos encontrar la imagen ideal con mayor probabilidad dada una imagen capturada p(g f ) p( f ) argmax f p( f g)=argmax f p(g)

36 Enfoque bayesiano Queremos encontrar la imagen ideal con mayor probabilidad dada una imagen capturada p(g f ) p( f ) argmax f p( f g)=argmax f p(g) argmin f [ log( p( f g))] argmin f [ log ( p(g f )) log( p( f ))].=argmin f C ( f )+ R( f )

37 Ruido Gaussiano Sabemos que: 1 2 ( 2 ( Af i g i) ) 2σ n 1 p( g f )= ( )e i σ (2 π) n log( p(g f )) ( Af i g i ) = Af i g i 2 2 i2

38 Regularizadores más utilizados Tikhonov: Variación total (TV):

39 Tikhonov genera ringing Problema con las bases (Fourier) al ser eliminadas (aliasing) y el uso de la norma 2.

40 Tikhonov genera ringing Tikhonov y TSVD asumen que los datos son suaves y continuos. TV solo asume discontinuidades. Converge a soluciones constantes a pedazos.

41 Variación Total Ventajas: Preserva bien bordes. No presenta ringing. Desventajas: Mucho más dificil de resolver. (Usar algoritmos iterativos como el Gradiente Conjugado). Efecto escalera o cartoon. Cambios suaves se pierden. Funcional NO es diferenciable.

42 Regularizadores más utilizados

43 Variación Total

44 Variación Total

45 Paréntesis: Compressed Sensing

46 Paréntesis: Compressed Sensing

47 Paréntesis: Compressed Sensing Elegir bien el espacio ralo. TV es el espacio ralo del gradiente.

48 Variación Total

49 Restauración regularizada mediante TGV de Imágenes con ruido Poisson Artefactos tipo escalera 9/30

50 Variación Total Generalizada

51 Variación Total Generalizada

52 Variación Total Generalizada

53 Variación Total Generalizada

54 Variación Total Generalizada

55 Ejemplos Denoising con TGV Performance: Imagen 256x256, 100 iteraciones C++: 0.945s Matlab: 7.062s Imagen 1024x1024, 100 iteraciones C++: 2.233s Matlab: 317.9s

56 Ejemplos Denoising con TGV Imagen original Ruido uniforme 25% Resultado TGVDenoise

57 Ejemplos Denoising con TGV Resultado TGVDenoise Resultado ATrousWavelet

58 Ejemplos Denoising con TGV Resultado TGVDenoise Resultado GREYCstoration

59 Ejemplos Denoising con TGV Resultado TGVDenoise Resultado Multiscale Median Transform

60 Ejemplos Denoising con TGV Resultado TGVDenoise Resultado ACDNR

61 Ejemplos Denoising con TGV Original Resultado TGVDenoise

62 Ejemplos Denoising con TGV Original Resultado TGVDenoise

63 Ejemplos Denoising con TGV Original Resultado TGVDenoise

64 Ejemplos Denoising con TGV Original Resultado TGVDenoise

65 Imágenes astronómicas lineales Original Resultado TGVDenoise

66 Utilizando consistencia de datos espacialmente dependiente Original Resultado TGVDenoise

67 Color (CIE Lab) + LS Original

68 Color (CIE Lab) + LS Luminancia original

69 Color (CIE Lab) + LS Luminancia procesada

70 Color (CIE Lab) + LS Crominancia original

71 Color (CIE Lab) + LS Crominancia procesada

72 Color (CIE Lab) + LS Imagen procesada

73 Color (CIE Lab) + LS Original Resultado TGVDenoise

74 Color (CIE Lab) + LS Original Resultado TGVDenoise

75 Color (CIE Lab) + LS Original Resultado TGVDenoise

76 En MRI Compressed Sensing K = U W W es la transformada de Fourier (FFT2) U es el patrón de submuestreo K* = real( iw ) iw es la transformada de Fourier inversa. Estamos reconstruyendo imagen anatómica. Hay que forzar que sea real.

77 Cerebro factor 2

78 Cerebro factor 4

79 Angiografía factor 8

80 Inpainting

81 Inpainting (GREYCstoration)

82 Inpainting (GREYCstoration vs TGV)

83 Deconvoluciones Desenfoque y ruido gaussianos Resultado con VanCittert regularizado con wavelets Resultado con TGV

84 Marte con telescopio aficionado

85 Imagen de Cielo Profundo

86 Ringing

87 Ringing

88 Ringing

89 Otro problema inverso: HDR

90 Otro problema inverso: HDR Ejemplo: secuencia de 1/1000s a 1/4s Consejo: Usar formato RAW Mayor rango dinámico. Datos lineales (intensidad proporcional al tiempo de captura).

91 Gradient Domain HDR Compression A la imagen se le calcula el gradiente. Se determina qué bordes atenuar, gracias a un análisis multiescala. Se recalcula la imagen a partir del gradiente modificado.

92 Gradient Domain HDR Compression Cálculo del gradiente multiescala (gaussianas sucesivas, o con wavelets): Factores de atenuación dependiente de cada gradiente: Acumulación multiplicativa de factores:

93 Cómo devolverse al espacio de imagen? -> Problema inverso No es posible integrar directamente. No es un campo conservativo. Usamos criterio de minimizar el error cuadrático medio para encontrar una solución óptima: Esto tiene como solución la ecuación de Poisson: Que se puede resolver usando varios métodos, como el multigrilla o los solvers rápidos (FFT o DCT).

94 Ejemplos

95 Bibliografía Total Generalized Variation. K. Bredies, K. Kunisch & T. Pock Second Order Total Generalized Variation (TGV) for MRI. F. Knoll, K. Bredies, T. Poll & R. Stollberger Recovering piecewise smooth multichannel images by minimization of convex functionals with total generalized variation penalty. K. Bredies. Apr 2012 Spatially dependent regularization parameter selection in total generalized variation models for image restoration. K. Bredies, Y. Dong & M. Hintermüller. Feb 2012

96 Restauración regularizada mediante TGV de Imágenes con ruido Poisson Fin. Introducción Marco Teórico Preguntas de Investigación Solución Limitaciones Estado 42/42