TÉCNICAS AVANZADAS DE FUSIÓN DE IMÁGENES. Consuelo Gonzalo Martín (UPM) María González-Audicana

Transcripción

1 Consuelo Gonzalo Martín (UPM) María González-Audcana Madrd, 23 Abrl 2007

2 1.- Introduccón 2.- en la ponderacón de la nformacón 3.- en bancos de fltros 3.- en la respuesta espectral del sensor 4.- Conclusones 5.- Bblografía

3 Introduccón

4 Introduccón ponderacón bancos de fltros computaconal Motvacón Dferentes algortmos de fusón proporconan mágenes con dferentes característcas espacales y espectrales La caldad de una magen depende de su aplcacón fnal Necesdad de algortmos que permtan controlar el compromso entre la caldad espacal y espectral de las mágenes fusonadas Necesdad de algortmos de bajo coste computaconal para aplcacones que requeran fusonar un número elevado de mágenes.

5 Introduccón ponderacón bancos de fltros computaconal Algortmos de fusón con control de la caldad espacal-espectral de las mágenes fusonadas en la ponderacón de la nformacón Medante valores estadístcos de las mágenes fuente Medante la optmzacón del compromso entre la caldad espacalespectral de la magen fusonada Medante la optmzacón de un índce global de la magen fusonada en la sntonzacón de bancos de fltros Transformada de Fourer Representacones conjuntas (wavelets, counterlet, )

6 Introduccón ponderacón bancos de fltros computaconal Algortmo de fusón de bajo coste computaconal en la respuesta espectral del sensor

7 en la ponderacón de la Introduccón nformacón bancos de fltroscomputaconal Medante la optmzacón del compromso entre la caldad espacal y espectral Algortmo de fusón: transformada wavelet-à trous Defncón de un parámetro de ponderacón. Búsqueda del equlbro entre la caldad espacal (ERGAS espacal ) y espectral (ERGAS espectral ) Mult j PAN j h j Coefcentes Wavelet Multespectral Wcoef (1,2) h j Coefcentes Wavelet Pancromátco Wcoef (1,2) Mult j+1 PAN j+1 h j+n-1 Coefcentes Wavelet Multespectral Wcoef (j+n-1, j+n) h j+n-1 Coefcentes Wavelet Pancromátco Wcoef (j+n-1, j+n) Mult j+n PAN j+n

8 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral Mult j PAN j h j Coefcentes Wavelet Multespectral Wcoef (1,2) h j Coefcentes Wavelet Pancromátco Wcoef (1,2) Mult j+1 PAN j+1 h j+n-1 Coefcentes Wavelet Multespectral Wcoef (j+n-1, j+n) h j+n-1 Coefcentes Wavelet Pancromátco Wcoef (j+n-1, j+n) Mult j+n PAN j+n Fused Image Banda MULTI α Wcoef (1,2) Wcoef (j+n-1,,j+n) j+n PAN PAN

9 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral Uso de los índces de caldad ERGAS ERGAS Compromso α c 0 0% 50% 100% 150% 200% α(%) ERGAS Espacal α m ERGAS Espe ctral

10 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral Estudo de la varacón de la caldad espacal-espectral con el nvel de descomposcón ERGAS espectral (n) ERGAS espacal (n) 1,6 1,4 ERGAS 1,2 1, Nvel de Degradacón Espacal Espectral Promedo

11 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral NGB Orgnal Pancromátca NGB Fusonada n=2

12 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral B1 B2 B3 B4 α NGB Orgnal Pancromátca NGB fusonada ERGAS spatal ERGAS spectral ERGAS average Dev.(σ) Q

13 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral NGB Orgnal Pancromátca NGB Fusonada n=3

14 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral B1 B2 B3 B4 α NGB Orgnal Pancromátca NGB fusonada ERGAS spatal ERGAS spectral ERGAS average Dev.(σ) Q

15 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón de un índce global (Q4) Algortmo de fusón: transformada wavelet-à trous Defncón de un parámetro de ponderacón. Optmzacón del índce global Q4 medante algortmos genétcos. C FUS (x, y) = g (C (x, y) C (x, y)) + j PAN j PAN j C MUL j (x, y) C FUS j (x, y) C PAN j (x, y) C PAN j (x, y) Coefcentes de la transformada wavelet de la banda -ésma de la magen fusonada Coefcentes de la transformada wavelet de la banda -ésma de la magen PAN Valor medo de los coefcentes de la transformada wavelet de la magen PAN C MUL j (x, y) Coefcentes de la transformada wavelet de la banda -ésma de la magen MULTI

16 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón de un índce global (Q4) NGB Orgnal Pancromátca NGB Fusonada

17 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral B1 B2 B3 B4 g NGB Orgnal Pancromátca NGB fusonada ERGAS spatal ERGAS spectral ERGAS average Dev.(σ) Q

18 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón de un índce global (Q4) NGB Fusonada NGB Orgnal Pancromátca NGB Fusonada

19 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón de un índce global (Q4) B1 B2 B3 B4 g NGB Orgnal Pancromátca NGB fusonada ERGAS spatal ERGAS spectral ERGAS average Dev.(σ) Q

20 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Motvacón: necesdad de nuevos algortmos altamente ansotrópcos que permtan una seleccón adecuada de los detalles de las mágenes fuente Transformada Contourlet

21 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Contourlet :presenta algunas ventajas respecto a sus predecesoras (Wavelet). Transformada Contourlet (TC) Orgnalmente defnda en un domno dscreto, medante el uso de un banco de fltros. Capacdad de detectar bordes de forma correcta, debdo a su naturaleza 2D.

22 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón TC: mplca una transformada multrresolucón que permta detectar los bordes, seguda de una transformada local drecconal que permta detectar los segmentos de los contornos presentes en la magen. (2,2) Imagen Descomposcón Multrresolucón Descomposcón Multdrecconal

23 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón (2,2) Imagen Descomposcón Multrresolucón Prmer Banco de Fltros Descomposcón Multdrecconal Segundo Banco de Fltros

24 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Nueva representacón conjunta multresolucón-multdrecconal Imagen (x,y) = FFT (FFT(Image n j+ n 1 j+ n 1 (x,y)) H(u,v, θ n )) Imagen degrada en la dreccón θ n Imagen en el domno de Fourer en el nvel prevo a aplcar la transformada Banco de fltros de paso bajo drecconal (dreccón θ n )

25 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Nueva representacón conjunta multresolucón-multdrecconal Coef θ n = Imagen j+ n Imagen j+ n 1 Contendo de bordes (alta frecuenca)

26 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Nueva representacón conjunta multresolucón-multdrecconal DLPFB θ1 DLPFB θ2 DLPFB θ3 Imagen j Imagen j+1 Imagen j+2 Imagen j+3 Coef θ1 Coef θ2 Coef θ3

27 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Síntess de la magen Imagen j = Imagen j+ k + k n= 1 Coef θ n

28 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Dseño de los fltros drecconales: Los parámetros a y b determnan la elongacón del fltro. θ determna la dreccón de fltrado en el domno de Fourer H(u,v) = 1 s 2 + a 0 en otros casos 2 ( ucos θ v sn θ) ( u snθ v cos θ) b 2 2 1

29 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Estratega de fusón FUS (x,y) = MULTI j+ k + k n= 1 Coef PAN θ n DLPFB θ1 DLPFB θ2 DLPFB θ3 Imagen j Imagen j+1 Imagen j+2 Imagen j+3 Coef θ1 Coef θ2 Coef θ3

30 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Estratega de fusón MULTI (Banda th ) FUS (Banda th ) Crtero Coef θn K-dreccones Coef θ3 Kernels de la transformada para θ=0 o, 45 o y 90 o Coef θ2 Coef θ1

31 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón Compromso caldad espacal-espectral Parámetros de los fltros a: escala b: elongacón

32 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón NGB Orgnal Pancromátca NGB Fusonada

33 en la ponderacón de la Introduccón nformacón bancos de fltrosdel sensor Medante la optmzacón del compromso entre la caldad espacal y espectral B1 B2 B3 B4 a b NGB Orgnal Pancromátca NGB fusonada ERGAS spatal ERGAS spectral ERGAS average Dev.(σ) Q

34 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón NGB Orgnal Pancromátca NGB Fusonada

35 Introduccón de nformacón en bancos de fltros del sensor Sntonzacón de bancos de fltros multdreccón-multrresolucón B1 B2 B3 B4 a b NGB Orgnal Pancromátca NGB fusonada ERGAS spatal ERGAS spectral ERGAS average Dev.(σ) Q

36 Algortmos de fusón de bajo coste computaconal Basados en la respuesta Basados del sensor en las SRF de los sensores Algortmo efihs, propuesto por Tu et al X1 X2... Xn fus fus fus X1 + δ X2 + δ =... Xn + δ δ = PAN I Tenendo en cuenta las SRF de QuckBrd, Ikonos: n 1 I = X Cuanto mayor es la dferenca espectral entre PAN e I, n = 1 mayor es la dstorsón espectral de la magen fusonada 1.0 Ikonos QuckBrd 0.6 0,8 0,6 PAN 0.4 0,4 0,2 0.2 PAN λ λ B G R NIR fus fus fus fus = B G R NIR + δ + δ + δ + δ δ = PAN I B + G + R + NIR I = 4 Tenendo en cuenta las SRF de SPOT 5: 1 0,8 PAN SPOT 5 0,6 0,4 0, λ G R NIR MIR fus fus fus fus G + δ R + δ = NIR + δ MIR + δ δ = PAN I G + R I = 2

37 Algortmos de fusón de bajo coste computaconal Basados en la respuesta Basados del sensor en las SRF de los sensores Problema del algortmo efihs: dferenca en la radometría de la magen PAN e I Baja caldad espectral de las mágenes fusonadas resultantes. Posbles solucones: S.1. Extraer, de la magen PAN, el detalle espacal que le falta a la magen Intensdad medante el algortmo TWD á trous: δ = ( Ifus ) HR ILR = (ILR + wpan ) ILR wpan δ = w PAN = S.2. Emplear la nformacón contenda en las SRF de los sensores para obtener una magen Intensdad smlar a la que obtendría el sensor MULTI s trabajase a la resolucón del PAN (I HR ): δ =IHR I LR I HR A partr de PAN S.3. Emplear la nformacón contenda en las SRF de los sensores para obtener una magen smlar a la que obtendría el sensor PAN s trabajase a la resolucón del MULTI (PAN LR ): δ = PANHR PAN LR PAN LR A partr de MULTI Equvalente a S1, pero sn necesdad de aplcar TWD. δ w PAN

38 Algortmos de fusón de bajo coste computaconal Basados en la respuesta Basados del sensor en las SRF de los sensores Base teórca del empleo de las SRF para la fusón de mágenes: B( ν G( ν ) ) 0.5 R( ν ) ϕ NIR( ν ) φ(ν) SRF: probabldad de que un fotón, emtdo o reflejado a una frecuenca, sea detectado por el sensor. φ(ν) : FRS del sensor PAN ϕ ( ν) : FRS de la banda del sensor MULTI. La probabldad de que un fotón, de La probabldad de que un fotón, de frecuenca, sea detectado por el sensor PAN: P(p) = φ( ν) dν frecuenca, sea detectado sensor MULTI : P(m ) = ϕ ( ν) dν por el La probabldad de que un fotón, de frecuenca, detectado por el sensor PAN sea tambén detectado por el sensor MULTI: P(p ) = mn( φ,max( ϕ, ϕ, L, ϕ ))dν = φ ( ν) dν m 1 2 n m

39 Algortmos de fusón de bajo coste computaconal Basados en la respuesta Basados del sensor en las SRF de los sensores La probabldad de que un fotón detectado por el sensor PAN sea tambén detectado por el MULTI es: P(m p) P(m p) = donde P(m p) = mn( ϕ, φ) dν P(p) La probabldad de que un fotón detectado por el sensor MULTI tambén sea detectado por el sensor PAN es: P(m p) P(pm ) = donde P(m p) = mn( ϕ, φ) dν P(m ) ϕ ϕ G( ν ) ( ) B ν ϕ R( ν ) ϕ NIR( ν ) φ(ν) n p : fotones detectados por PAN n : fotones detectados por MULTI np, = P(m p) np 1 n p, fotones smultáneamente detectados por MULTI y PAN n = P(pm ) n 2 p,

40 Algortmos de fusón de bajo coste computaconal Basados en las SRF de los sensores 1 Exsten fotones detectados por el sensor PAN que no son detectados por el sensor MULTI, Factor α p : representa la fraccón de fotones detectada por el sensor PAN que tambén puede ser detectada por el sensor MULTI α p = mn( φ,max( ϕ1, ϕ2, L, ϕ φ( ν)dν n ))dν n p, = P(m p) n p α p 2 Exsten fotones detectados smultáneamente por dos bandas MULTI adyacentes. Factor β,j : representa la fraccón de fotones detectada smultáneamente por el sensor MULTI y su adyacente MULTI j, que tambén puede ser detectada por el sensor PAN n n p, p, = P(m p) α p n β,j = P(pm ) (1 ) n 2 p n p, β = P(pm ) n (1 2 Conocdo n p, es posble obtener (n ) HR y por lo tanto I HR Conocdo n, es posble obtener (n p ) LR y por lo tanto PAN LR,j ) P(m p) α p n p β,j = P(pm ) (1 ) n 2 Drectamente de las SRF de los sensores

41 Algortmos de fusón de bajo coste computaconal Basados en las SRF de los sensores P(m p) α p n p β,j = P(pm ) (1 ) n 2 Drectamente de las SRF de los sensores S.2. Emplear la nformacón contenda en las SRF de los sensores para obtener una magen Intensdad smlar a la que obtendría el sensor MULTI s trabajase a la resolucón del PAN (I HR ): δ = IHR ILR = detalle espacal I HR A partr de PAN B + G + R + NIR I LR = 4 IKONOS, magen I LR IKONOS, magen I HR, a partr de PAN δ, Detalle espacal

42 Algortmos de fusón de bajo coste computaconal Basados en las SRF de los sensores P(m p) α p n p β,j = P(pm ) (1 ) n 2 Drectamente de las SRF de los sensores S.3. Emplear la nformacón contenda en las SRF de los sensores para obtener una magen smlar a la que obtendría el sensor PAN s trabajase a la resolucón del MULTI (PAN LR ): δ = PANHR PANLR = detalle espacal PAN LR A partr Equvalente a S1, pero sn necesdad de aplcar TWD. de MULTI δ w PAN SPOT 5, magen PAN HR SPOT 5, magen PAN LR, a partr de MULTI (G,R) δ, Detalle espacal

43 Algortmos de fusón de bajo coste computaconal S.3. Aplcado a la fusón de mágenes SPOT 5 Basados en las SRF de los sensores FAST SRF (S.3) MULTI, 10m 0.5km por 0.5km PAN, 2.5m 0.5km por 0.5km FUSIONADA, 2.5m 0.5km por 0.5km ERGAS spectral : ERGAS spatal : ERGAS aver. : CC : 56N 2

44 Algortmos de fusón de bajo coste computaconal S.3. Aplcado a la fusón de mágenes SPOT 5 Basados en las SRF de los sensores FUSIONADA AW, 2.5m FUSIONADA FAST-SRF, 2.5m

45 Algortmos de fusón de bajo coste computaconal Basados en las SRF de los sensores Bajo coste computaconal Imágenes de alta caldad espectral Imágenes de mayor caldad espacal que las obtendas medante métodos TWD El método empleado para el remuestreo de la magen MULTI no nfluye en la caldad espacal fnal de las mágenes fusonadas (S.3.) Ausenca de artefactos en las mágenes fusonadas cuando exste un desfase temporal en la adquscón de las mágenes MULTI y PAN Ejemplo: SPOT-5 MULTI, PAN and fused mages correspondng to an area of Barajas AIRPORT. MULTI PAN Wavelets FAST_SRF

46 Bblografía Garzell, A., and Nencn, F., 2006, PAN-Sharpenng of very hgh resoluton multspectral mages usng genetc algorthms, Internatonal Journal of Remote Sensng, 27 (15): Gónzalez-Audcana, M., Saleta, J. L., García Catalán, R. y García, R., 2004, Fuson of multespectral and panchromatc mages usng mproved IHS and PCA mergers based on Wavelet decomposton, IEEE Transactons on Geoscences and Remote Sensng, 42 (6): Lllo-Saavedra, M., Gonzalo, C., Arquero, A. and Martnez, E., 2005, Fuson of multspectral and panchromatc satellte sensor magery based on talored flterng n the Fourer doman, Internatonal Journal of Remote Sensng, 26, pp X. Otazu, M. González-Audícana, O. Fors, 2005, Introducton of sensor spectral response nto mage fuson methods: applcaton to wavelet-based methods, IEEE Transactons on Geoscences and Remote Sensng, 43 (10):

47 Bblografía Lllo-Saavedra, M., Gonzalo, C., Spectral or spatal qualty for fused satellte magery? A trade-off soluton usng the wavelet à trous algorthm. Internatonal Journal of Remote Sensng, 27(7), Lllo-Saavedra, M., Gonzalo, Multspectral Images Fuson by a Multdrectonal and Multresoluton Image Transforms. Internatonal Journal of Remote Sensng (n press). Yunhao, Ch., Le, D., Jng, L. Xaobng, L., Pejun, Sh., A new waveletbased mage fuson method for remotely sensed data. Internatonal Journal of Remote Sensng, 27, Gónzalez-Audcana, X. Otazu, O. Fors and J. Alvarez-Mozos, 2006, A low computatonal-cost method to fuse IKONOS mages usng the SRF of ts sensors, IEEE Transactons on Geoscences and Remote Sensng, 44 (6):

48 Madrd, 23 abrl 2007 Gracas por su atencón!