Campo de movimiento en el plano de la imagen. Flujo óptico y correspondencia

Transcripción

1 Campo de movimieno en el plano de la. Flujo ópico correspondencia Deparameno de Ciencias de la Compuación e I.A. Campo de Movimieno en el plano de la 1

2 Conenidos Movimieno 2-D vs movimieno aparene. Desplazamieno velocidad 2-D. Correspondencia lujo ópico. Ejemplo. Correspondencia 2-D Flujo ópico. Validez de la ecuación del lujo ópico. Campo de Movimieno en el plano de la 2

3 El problema de la oclusión El problema de la aperura Bibliograía Campo de Movimieno en el plano de la 3

4 I. Movimieno 2-D vs Movimieno Aparene El objeivo de esa sección es clariicar la dierencia enre velocidad 2-D lujo ópico enre desplazamieno 2-D correspondencia 2-D. Recordemos que en emas aneriores hemos uilizado el érmino campo de movimieno para reerirnos ano a la velocidad como al desplazamieno 2-D. Campo de Movimieno en el plano de la 4

5 El movimieno 2-D es la proección del movimieno 3-D en el plano de la. El objeivo es esimar el movimieno 2-D bien sea la velocidad insanánea o el desplazamieno a parir de la secuencia de imágenes de que disponemos. Tano la velocidad 2-D como el desplazamieno pueden no ser observables las razones las veremos después. En su lugar observaremos el llamado movimieno aparene lujo ópico o correspondencia. Campo de Movimieno en el plano de la 5

6 I.1 Desplazamieno Velocidad 2-D El desplazamieno proecado enre los iempos se puede deinir para odos los punos = R 3. Tendríamos así d c ; - que ha que enenderlo como que el puno en el insane se ha desplazado a + d c ; - en el insane. El subíndice c se reiere a que hasa ahora odo es coninuo. Campo de Movimieno en el plano de la 6

7 Una versión muesreada d m ;l de los vecores de desplazamienos 2-D deinida sobre las variables coninuas espacio-emporales se obiene mediane d m ;l = d c ;l con l Z. Eso signiica ijar un inervalo de muesreo omar =+l Si ahora suponemos que =n con n=ij ij Z 2 los iempos de observación los noamos k Z podremos escribir dnkl= d m ;l Igual puede hacerse con los vecores velocidades obeniendo vnk. por qué ha desaparecido l?. Campo de Movimieno en el plano de la 7

8 I.2 Correspondencia Flujo Ópico. El desplazamieno de las coordenadas del plano de la del iempo al basado en la variación del nivel de gris recibe el nombre de vecor de correspondencias. El vecor de lujo ópico se deine como la razón de cambio emporal de las coordenadas del plano de la uv=d 1 /dd 2 /d en un puno R 3 deerminado por la variación espacio-emporal del parón de inensidades. El campo de correspondencias el campo de lujo ópico reciben ambién el nombre campo aparene de desplazamieno 2-D campo aparene de velocidad 2-D respecivamene. Ya que sólo podemos observar el lujo ópico las correspondencias supondremos que son lo mismo que el campo de movimieno los desplazamienos. Sin embargo... Campo de Movimieno en el plano de la 8

9 Pueso que esamos esimando el movimieno a parir de los niveles de gris enemos problemas: Problema 1: Tiene que haber suiciene variación en el nivel de gris de la región que se mueve para que su movimieno se deece. esera con nivel de gris consane que gira su movimieno no se deeca. Flujo: No Movimieno: Sí. Problema 2: Puede deecarse lujo ópico cuando no haa movimieno. cambio en la iluminación eerna. Flujo: Sí Movimieno: No. Campo de Movimieno en el plano de la 9

10 I.3 Ejemplo Las imágenes han sido obenidas del Compuer Vision Research Group Deparmen o Compuer Science Universi o Oago Dunedin New Zealand hp:// w/opicallow.hml que posee generadores de libre disposición de lujo ópico basados en Tcl/Tk ra-racer. Campo de Movimieno en el plano de la 10

11 La esera gira de izquierda a derecha genera el movimieno que vemos en la Imagen 1 Flujo ópico Imagen 2 En el direcorio pub/vision de p.csd.uwo se encuenran los códigos que implemenan los méodos de esimación de lujo ópico que veremos a coninuación así como varias secuencias programas que generan imágenes su lujo ópico. Ver el rabajo de Barron col maerial adicional de la asignaura en pd Campo de Movimieno en el plano de la 11

12 II. Correspondencia 2-D El problema de la correspondencia puede esablecerse como la esimación hacia delane o hacia arás del movimieno d que iene la orma d=d d Hacia delane: 1 2 k= 1 + d d k+l con l>0 se ha suprimido en d su dependencia de k l de hecho debemos escribir d lk. Hacia arás usado más en compresión: con l> k= 1 + d d k-l Campo de Movimieno en el plano de la 12

13 Se dice que un problema esá mal deinido si no eise una solución única /o sus soluciones no dependen coninuamene de los daos. La esimación del movimieno es un problema mal deinido a que sure de: Problema de la oclusión Problema de la aperura No coninuidad de la solución. Veremos esos problemas con poserioridad. Campo de Movimieno en el plano de la 13

14 III. Flujo ópico El problema de la esimación del lujo ópico consise en la esimación de la velocidad 2-D v. Nóese que la esimación de la correspondencia el lujo son equivalenes cuando usamos sólo dos imágenes. Es decir d;l =v l Consideremos la disribución de inensidades en un sisema espacio-emporal coninuo es imporane recordar que luego endremos que aproimar nuesros cálculos a parir de las secuencias de imágenes discreas en el espacio el iempo. Campo de Movimieno en el plano de la 14

15 Hipóesis: la inensidad de cada objeo permanece consane durane el movimieno por ano +u δ +v δ + δ = 1 Vamos ahora a desarrollar por Talor +u δ +v δ + δ luego endremos en cuena la ecuación anerior. Si usamos desarrollo en serie de Talor endremos +u δ +v δ + δ = + u δ / +v δ / + δ / +ε susiuendo el valor de +u δ +v δ + δ de la ec. 1 Campo de Movimieno en el plano de la 15

16 endremos = + u δ / +v δ / + δ / +ε dividiendo por δ cuando δ 0 obenemos la llamada ecuación del lujo ópico u +v + =0 2 donde u v denoan las componenes del vecor de velocidades nóese que hemos suprimido por comodidad su dependencia de al igual que hemos hecho con los subíndices indican derivadas parciales. Campo de Movimieno en el plano de la 16

17 Campo de Movimieno en el plano de la 17 Esa ecuación puede reescribirse como produco inerno denoa donde 0 T T v u c c = = = +

18 Es imporane noar que esa ecuación se puede obener desde oro puno de visa. La consancia de la inensidad puede escribirse como d/d=0 Tengamos en cuena que esa derivada no es lo mismo que / que lo que esamos airmando es que el nivel de gris como unción del iempo no cambia durane la raecoria veremos poseriormene en qué casos eso es ciero. Es decir airmamos d/d=0 Por la regla de la cadena endremos Campo de Movimieno en el plano de la 18

19 Campo de Movimieno en el plano de la = + + = + + = v u d d d d d d que es la misma ecuación que habíamos obenido anes. En esa ecuación aparecen derivadas parciales eniendo en cuena que nosoros rabajamos con imágenes discreas ano en el espacio como en el iempo Cómo reescribiríamos esa ecuación en su versión discrea?.

20 Campo de Movimieno en el plano de la 20 Si z= podemos uilizar z z z + = + = + = aunque es más razonable ilrar las imágenes ano espacial como emporalmene anes de realizar los cálculos. En cuano al amaño del bloque B se suele usar 55.

21 IV. Validez de la ecuación de lujo ópico*. Es buena la aproimación que proporciona la ec. 2 pg 16 o ec. 3 pg 19 al campo de movimieno?. Consideremos una supericie lamberiana S iluminada por una uene punual mu alejada de la cámara. Si ignoramos las posibles disorsiones oomérica podemos escribir la luminosidad de la supericie como = ρi n 4 Donde ρ es el albedo de la supericie I indica la inensidad dirección de la iluminación n es el vecor uniario normal a S en P. * esa sección es opcional. Sólo para los ineresados Campo de Movimieno en el plano de la 21

22 Calculemos ahora la derivada emporal de ambos lados de la ec. 4 pg 21. Si la supericie se mueve con relación a la cámara con velocidad de raslación T angular ω la orienación del vecor normal cambia de acuerdo con dn d = ω n Uilizando ec. 2 pg 15 endremos u + v + = ρi ω n Campo de Movimieno en el plano de la 22

23 Obenemos por ano que incluso bajo la hipóesis simple de supericie Lamberiana la ecuación del lujo ópico es válida sólo para Movimieno de raslación pura Movimieno rígidos en los que la dirección de iluminación sea paralela a la velocidad angular. Por eso en general el movimieno aparene de los niveles de gris es casi siempre dierene del campo de movimieno. De aquí que sea mu imporane disinguir enre lujo ópico campo de movimieno. Campo de Movimieno en el plano de la 23

24 V. Problema de oclusión El érmino oclusión se reiere a `apar/desapar una supericie debido a la roación 3-D a la raslación de un objeo que ocupa sólo pare del campo de visión. Imagen k Imagen k+l Se cubre ese ondo en la siguiene. Ninguna región en la siguiene se corresponde con ésa. Se descubre ese ondo en esa. Ninguna región en la anerior predice esa región. Campo de Movimieno en el plano de la 24

25 VI. El problema de la aperura Consideremos la ecuación del lujo ópico ec. 2 pg 16 u +v + =0 observemos que enemos una ecuación dos incógnias por ano eisen ininias soluciones en u v. Reepresemos uv en unción de - dos vecores perpendiculares: u v = λ con λ variable. lo que signiica que podemos deerminar la componene de uv en la dirección del gradiene espacial pero no en su dirección perpendicular. Es el llamado problema de la aperura. Campo de Movimieno en el plano de la 25

26 El problema de la aperura dirección normal al gradiene - dirección del gradiene dirección del gradiene Cuál es su lujo ópico? Campo de Movimieno en el plano de la 26

27 VII. Bibliograía Tekalp A.M Digial Video Processing Prenice- Hall. Trucco E. Y Verri A Inroducor Techniques or 3-D Compuer Vision Prenice Hall. Complemenaria incluida en maerial adicional J.L. Barron D.J. Flee D.J. S. Beauchemin 1994 Perormance o opical low echniques. Inernaional Journal o Compuer Vision 121: S. Beauchemin J.L. Barron 1996 The Compuaion o Opical Flow. ACM Compuing Surves 273: J. Siller and S. Siller 1999 Esimaing Moion in Image Sequences IEEE Signal Processing Magazine 164: A.J. Tabaabai and R.S. Jasinschi and T. Naveen 1998 Moion esimaion mehods or video compression. A review J. Franklin Insiue vol. 335B Campo de Movimieno en el plano de la 27