Modélos Matemáticos en Visión por Ordenador

Transcripción

1 Modélos Matemáticos en Visión por Ordenador Modelos matemáticos para representar el funcionamiento de una cámara Luis Alvarez Univ. Las Palmas de G.C. Mayo 29 Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 / 35

2 Contenido Modelo de proyección (pinhole model) 2 Modelo de distorsión de una lente 3 Calibración de cámaras 4 Bibliografía y problemas seleccionados Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 2 / 35

3 El uso de la perspectiva por los artistas del renacimiento Figure: Ilustración de Albrecht Dürer, pintor alemán del Renacimiento (527) Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 3 / 35

4 Geometría proyectiva Gérard Desargues Gérard Desargues (59-66), arquitecto, ingeniero y matemático francés, nació en el seno de una familia bien acomodada al servicio de la corona,contemporáneo de Pascal y Descartes. Es el iniciador de la geometría proyectiva, pues fundamentó matemáticamente los métodos de la perspectiva que habían desarrollado los artistas del Renacimiento, y aunque su trabajo fue publicado en 639, pasó desapercibido durante dos siglos Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 4 / 35

5 Modelo "pinhole" de proyección de un punto 3D. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 5 / 35

6 Modelo "pinhole" de proyección de un punto 3D. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 6 / 35

7 Modelo "pinhole" de proyección de un punto 3D. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 7 / 35

8 Modelo "pinhole" de proyección de un punto 3D Ecuación general modelo proyección x y A = f α x γ f α y y A {z } Parámetros Intrínsecos. Cambio coordenadas en el Plano Z = f r r r 2 t r r r 2 t y A r 2 r 2 r 22 {z t z } Parámetros extrínsecos Rotación y traslación en 3D X Y Z C A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 8 / 35

9 Modelo "pinhole" de proyección de un punto 3D Ecuación general modelo proyección x y A = f α x γ f α y y A {z } Parámetros Intrínsecos. Cambio coordenadas en el Plano Z = f r r r 2 t r r r 2 t y A r 2 r 2 r 22 {z t z } Parámetros extrínsecos Rotación y traslación en 3D X Y Z C A matriz de proyección P f α x x f α y y r r r 2 t x r r r 2 t y r 2 r 2 r 22 t z A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 8 / 35

10 Condiciones sobre la matriz P Una matriz P se puede descomponer como f α x x r r r 2 t x P f α y y r r r 2 t y r 2 r 2 r 22 t z A si sólo sí se cumplen las condiciones p p p 2 22 = ((p, p, p 2 ) ^ (p 2, p 2, p 22 )) T ((p, p, p 2 ) ^ (p 2, p 2, p 22 )) = Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 9 / 35

11 Homografías entre planos Un caso particularmente interesante en la práctica se produce cuando los puntos 3D se encuentran en un mismo plano, en ese caso, la matriz de proyección 3 4 P restringida al plano se convierte en una homografía H dada por una matriz 3 3, de tal manera que la relación x y A h h h 2 h h h 2 h 2 h 2 h 22 determina la proyección de los puntos del plano 3D en la cámara y donde ( x, ỹ) representa una parametrización del plano 3D. x ỹ A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 / 35

12 Extrayendo información de la matriz P Si C = (C x, C y, C z ) es el foco de la cámara debe cumplirse que P C x C y C z C A = Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 / 35

13 Extrayendo información de la matriz P Si C = (C x, C y, C z ) es el foco de la cámara debe cumplirse que P C x C y C z C A = ) C p p p 2 p p p 2 p 2 p 2 p 22 p 3 p 3 p 23 A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 / 35

14 Extrayendo información de la matriz P Si C = (C x, C y, C z ) es el foco de la cámara debe cumplirse que P C x C y C z C A = ) C p p p 2 p p p 2 p 2 p 2 p 22 p 3 p 3 p 23 Dado un punto (x, y) en el plano de proyección, el vector director ū = (u x, u y, u z ) de la recta 3D que une el punto con el foco debe veri car P u x u y u z C A x y A A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 / 35

15 Extrayendo información de la matriz P Si C = (C x, C y, C z ) es el foco de la cámara debe cumplirse que P C x C y C z C A = ) C p p p 2 p p p 2 p 2 p 2 p 22 p 3 p 3 p 23 Dado un punto (x, y) en el plano de proyección, el vector director ū = (u x, u y, u z ) de la recta 3D que une el punto con el foco debe veri car P u x u y u z C A x y A u x u y u z A p p p 2 p p p 2 p 2 p 2 p 22 A x y A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 / 35

16 Visión estéreo. Geometría epipolar Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 2 / 35

17 Condiciones que debe cumplir la matriz Q Una matriz 3 3 se puede descomponer como r 2 t y r t z r t z r 2 t x r t x r t y Q r 2 t y r t z r t z r 2 t x r t x r t y r 22 t y r 2 t z r 2 t z r 22 t x r 2 t x r 2 t y A si sólo si jqj = traza 2 Q T Q 2 traza Q T Q 2 = Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 3 / 35

18 Un enfoque geométrico de la visión por ordenador Olivier Faugeras Olivier Faugeras (949), cientí co francés, alumno de l Ecole Politechnique (Cauchy, Poisson, Poincaré), miembro de la Academia de Ciencias Francesa, investigador de gran prestigio en el ámbito de la visión arti cial, ha realizado importantes contribuciones en el área, fué uno de los primeros investigadores de prestigio en visión que se interesó por las aplicaciones de las EDP s a la visión. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 4 / 35

19 Contenido Modelo de proyección (pinhole model) 2 Modelo de distorsión de una lente 3 Calibración de cámaras 4 Bibliografía y problemas seleccionados Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 5 / 35

20 Funcionamiento de una lente de una cámara fotográ ca Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 6 / 35

21 La difracción de la luz David Brewster David Brewster (78-868), cientí co escocés, hijo de un profesor. Aunque realizó estudios teológicos, nalmente se dedicó a la ciencia y realizó importantes contribuciones en el estudio de la difracción de la luz. Propuso y analizó el uso de lentes para desviar los rayos de luz y enfocarlos hacia una zona común. Este es el principio en que se basan las actuales cámaras fotográ cas. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 7 / 35

22 Efecto de la distorsión de una lente y su corrección Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 8 / 35

23 Modelo matemático de distorsión de una lente La manera habitual de modelizar la distorsión de una lente consiste en suponer que la magnitud de la distorsión es una función radial, de tal manera que dado un punto (x, y) en la imagen, el correspondiente punto ( x, ỹ) con la distorsión corregida viene dado por x ỹ = xc y c + L(r 2 x ) y donde (x c, y c ) es el centro de distorsión, r 2 = (x x c ) 2 + (y y c ) 2 y L(r 2 ) = + d r 2 + d 2 s d Nd r 2N d. Este modelo es sólo una aproximación de la realidad pues no tiene en cuenta que la distorsión cambia también con la profundidad a la que se encuentra el objeto. Estimar el modelo de distorsión consiste en estimar los coe cientes fd i g y el centro de distorsión (x c, y c ). xc y c Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 9 / 35

24 Modelo de proyección de una cámara teniendo en cuenta el modelo de distorsión La distorsión introducida por la lente, aleja el modelo de proyección de una cámara del modelo "pinhole" de proyección 3D de un punto. Para restablecer la validez de este modelo es necesario corregir la distorsión de la lente, de tal manera que el modelo de proyección de un punto en la cámara viene dado por : xc y c x + L(r 2 ) y xc y c A p p p 2 p 3 p p p 2 p 3 p 2 p 2 p 22 p 23 A X Y Z C A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 2 / 35

25 Contenido Modelo de proyección (pinhole model) 2 Modelo de distorsión de una lente 3 Calibración de cámaras 4 Bibliografía y problemas seleccionados Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 2 / 35

26 Calibración de una cámara. Donde estoy y hacia donde miro? Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

27 Calibración de cámaras Algunos escenarios de calibración habituales Conocemos la posición 3D de un conjunto de puntos en la escena Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

28 Calibración de cámaras Algunos escenarios de calibración habituales Conocemos la posición 3D de un conjunto de puntos en la escena 2 Conocemos la posición de un conjunto de puntos situados en un plano en la escena Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

29 Calibración de cámaras Algunos escenarios de calibración habituales Conocemos la posición 3D de un conjunto de puntos en la escena 2 Conocemos la posición de un conjunto de puntos situados en un plano en la escena 3 Conocemos 2 vistas distintas de la misma escena donde son visibles un conjunto de puntos desde las dos cámaras. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

30 Calibración de cámaras Algunos escenarios de calibración habituales Conocemos la posición 3D de un conjunto de puntos en la escena 2 Conocemos la posición de un conjunto de puntos situados en un plano en la escena 3 Conocemos 2 vistas distintas de la misma escena donde son visibles un conjunto de puntos desde las dos cámaras. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

31 Calibración de cámaras Algunos escenarios de calibración habituales Conocemos la posición 3D de un conjunto de puntos en la escena 2 Conocemos la posición de un conjunto de puntos situados en un plano en la escena 3 Conocemos 2 vistas distintas de la misma escena donde son visibles un conjunto de puntos desde las dos cámaras. Cálculo modelo distorsión: En el caso en que sean visibles en la escena rectas distorsionadas por la lente, es posible calcular el modelo de distorsión de la lente a partir de la recti cación de estas rectas distorsionadas. Supóndremos en lo que sigue que la distorsión de la lente ha sido corregida. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

32 Calibración de cámaras Conocemos la posición 3D de un conjunto de puntos en la escena. Uso de un calibrador 3D Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

33 Calibración de cámaras Conocemos la posición 3D de un conjunto de puntos en la escena. por cada punto 3D X i del cual conocemos su proyección en la imagen x i, se cumple s i x i = P X i, si desarrollamos esta igualdad obtenemos s i x i = p 3 + p X i + p Y i + p 2 Z i s i y i = p 3 + p X i + p Y i + p 2 Z i s i = p 23 + p 2 X i + p 2 Y i + p 22 Z i si eliminamos s i del sistema llegamos a las siguientes ecuaciones lineales en los coe cientes de P p 3 + p X i + p Y i + p 2 Z i (p 23 + p 2 X i + p 2 Y i + p 22 Z i )x i = p 3 + p X i + p Y i + p 2 Z i (p 23 + p 2 X i + p 2 Y i + p 22 Z i )y i = Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

34 Calibración de cámaras Conocemos la posición 3D de un conjunto de puntos en la escena. Coleccionando la información de todos los puntos obtenemos un sistema de la forma A p = donde p es el vector formado por todos los coe cientes de la matriz P. La manera habitual de calcular p es minimizando E ( p) = ka pk 2 Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

35 Calibración de cámaras Conocemos la posición 3D de un conjunto de puntos en la escena. Coleccionando la información de todos los puntos obtenemos un sistema de la forma A p = donde p es el vector formado por todos los coe cientes de la matriz P. La manera habitual de calcular p es minimizando E ( p) = ka pk 2 = p T A T A p Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

36 Calibración de cámaras Conocemos la posición 3D de un conjunto de puntos en la escena. Coleccionando la información de todos los puntos obtenemos un sistema de la forma A p = donde p es el vector formado por todos los coe cientes de la matriz P. La manera habitual de calcular p es minimizando E ( p) = ka pk 2 = p T A T A p como p está de nido módulo la multiplicación por una constante, podemos suponer k pk =, en cuyo caso el mínimo de E ( p) es el autovector de autovalor mínimo de la matriz A T A. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

37 Calibración de cámaras Conocemos información sobre un plano en la escena. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

38 Calibración de cámaras Conocemos información sobre un plano en la escena. Para cada punto x i del plano en la escena para el cual conocemos su proyección x i tenemos la relación s i x i = H x i. A partir de un número su ciente de relaciones de este tipo es posible, como en el cálculo de P, calular la homografía H. Una vez calculada H, si conocemos los parámetros intrínsecos de la cámara es posible calcular los parámetros extrínsecos (R y t). Para ello se situa el sistema de coordenadas de tal forma que el plano en la escena corresponda a Z =, y explotando la relación algebraíca f α x x f α y y A H r r t x r r t y r 2 r 2 t z A Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

39 Disponemos de 2 vistas de la escena Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

40 Disponemos de 2 vistas de la escena Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 3 / 35

41 Disponemos de 2 vistas de la escena Para cada par de puntos en correspondencia entre las 2 vistas tenemos la relación lineal en los coe cientes de x i T Q x i =. A partir de un número su ciente de relaciones de este tipo es posible, como en el cálculo de P, calcular la matriz Q. Una vez calculada Q, es posible calcular los parámetros extrínsecos (R y t). Para ello se explota la relación r 2 t y r t z r t z r 2 t x r t x r t y r 2 t y r t z r t z r 2 t x r t x r t y r 22 t y r 2 t z r 2 t z r 22 t x r 2 t x r 2 t y A = sq Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo 29 3 / 35

42 Reconstrucción 3D a partir de un sistema de cámaras estéreo Video Reconstrucción 3D Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

43 Contenido Modelo de proyección (pinhole model) 2 Modelo de distorsión de una lente 3 Calibración de cámaras 4 Bibliografía y problemas seleccionados Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

44 Bibliografía seleccionada O. Faugeras. Three-Dimensional Computer Vision. MIT Press, 993. R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, 24. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35

45 Problemas Seleccionados Dado un plano parametrizado en 3D como X = p + xū + ỹ v (con p, ū, v 2 R 3, x, ỹ 2 R). Calcular, utilizando la matriz de proyección P, la expresión de homografía H que proyecta dicho plano en el plano de proyección. 2 Demostrar que el mínimo de E ( p) = ka pk 2 con la restricción k pk = es el autovector de autovalor mínimo de A T A. 3 Dadas dos cámaras de matrices de proyección P y P 2 y las proyecciones de un punto X en ámbas cámaras dadas por x y x 2. Deducir como podríamos recuperar las coordenadas 3D de X a partir de la información suministrada por P, P 2, x y x 2. Luis Alvarez (Univ. Las Palmas de G.C. ) Modélos Matemáticos en Visión Mayo / 35