Universitat de les Illes Balears Departament de Ciències Matemàtiques i Inormàtica 10212 Aplicaciones de la Ingeniería Electrónica II Máster en Ingeniería Electrónica Calibración geométrica de cámaras. Yolanda González Cid Datos del proesorado Yolanda González Cid Despacho 219, 2do piso, Ed. Anselm Turmeda Tno: 971 17 2038 email: y.gonzalez@uib.es web: http://dmi.uib.es/~ygonzalez Yolanda González Cid - UIB 2 1
Contenido de Parte II Caracterización de sensores: Calibración geométrica de cámaras. Formación de imágenes digitales a nivel geométrico. Técnicas básicas del procesamiento de imágenes digitales. Imágenes digitales en color: Procesamiento. Yolanda González Cid - UIB 3 Deinición Calibración de Cámaras [Tsai, 1987] Proceso mediante el cual se calculan los parámetros intrínsecos y extrínsecos de la misma, a partir de un conjunto de puntos de control, conocidas las coordenadas tridimensionales de esos puntos y midiendo las correspondientes coordenadas de imagen, en la imagen obtenida con dicha cámara. Yolanda González Cid - UIB 4 2
Formación de una imagen 1. Brillo/intensidad de los objetos: Modelo de iluminación, radiometría y componentes de la supericie. 2. Dónde aparecerán en la imagen. Modelo matemático: Función matemática g(u,v). Geometría: proyección de tres coordenadas en dos. Radiometría. Color. Digitalización.... Yolanda González Cid - UIB 5 Modelo de ormación de la imagen Modelos geométricos Modelo monocular sencillo (pinhole). Modelo monocular con lente ina. Modelo monocular con lente gruesa. Modelo binocular. Yolanda González Cid - UIB 6 3
Modelo Pinhole Yolanda González Cid - UIB 7 Modelo Pinhole Yolanda González Cid - UIB 8 4
Modelo Pinhole Yolanda González Cid - UIB 9 Modelo Pinhole Yolanda González Cid - UIB 10 5
Modelo Pinhole X proundidad Z M distancia ocal m x X Z x = Z X y = Z Y Yolanda González Cid - UIB 11 Modelo de lente ina Deinición Eje óptico oco Los rayos que inciden paralelamente en la lente, convergen en un único punto Yolanda González Cid - UIB 13 6
Modelo de lente ina Proyección Eje óptico Plano imagen z Los rayos que inciden paralelamente en la lente, convergen en un único punto Yolanda González Cid - UIB 14 Modelo de lente ina Propiedades: 1. Cualquier rayo que incida paralelo al eje óptico, pasará por el oco tras atravesar la lente. 2. Cualquier rayo que atraviese el oco previo a la lente, saldrá paralelo al eje óptico tras atravesarla. Yolanda González Cid - UIB 15 7
Modelo de lente ina Proyección Eje óptico Plano imagen z Los rayos que inciden paralelamente en la lente, convergen en un único punto Yolanda González Cid - UIB 16 Modelo de lente ina Formulación: P Q O F r QO = Z OR = z OR QO F l R p OR = QO = Z Z z QO Yolanda González Cid - UIB 17 Z = z z 2 = zz 8
Modelo de lente ina Formulación: P Ẑ Q ẑ 2 = zz O F r F l R p Z z 1 1 + = zˆ Zˆ Yolanda González Cid - UIB 18 1 Modelo geométrico de la ormación de una imagen Punto del objeto. Punto en la imagen. X W Y W Z W Mundo real 3D. Modelo de ormación de la imagen (Proyección perspectiva) Parámetros que inluy en en la ormación de la imagen. -Parámetros intrínsecos -Parámetros extrínsecos U S V S Imagen 2D. Yolanda González Cid - UIB 20 9
Transormaciones geométricas Rotación Traslación Original: Escalado Perspectiva Yolanda González Cid - UIB 21 Modelo de cámara Conjunto de ecuaciones Relación entre la escena y la imagen. Plantilla de calibración: puntos de control Yolanda González Cid - UIB 24 10
Plantilla de calibración Para determinar tanto los parámetros extrínsecos como los intrínsecos es necesario disponer de correspondencias de puntos de la imagen con puntos del mundo, cuantas más correspondencias mejor: (x,y ) (x w,y w,z w ) Para ello, hay que generar o adquirir una plantilla de calibración que incluya marcas para las que ácilmente se pueda conseguir las anteriores correspondencias, manual o automáticamente: Para poder determinar de orma precisa los parámetros de la cámara conviene que las marcas estén uniormemente repartidas por la escena con precisión de subpíxel. Por tanto, el objeto de calibración ha de ser suicientemente grande para que las marcas aparezcan en toda la imagen de calibración. Yolanda González Cid - UIB 25 Plantilla de calibración Ejemplo Detector de esquinas de Harris Yolanda González Cid - UIB 26 11
Parámetros del modelo de cámara Clasiicación de variables que intervienen en las ecuaciones Parámetros Intrínsecos Describen la geometría y óptica del conjunto cámara y tarjeta de adquisición de imágenes. Aectan al proceso que sure un rayo luminoso desde que alcanza la lente del objetivo hasta que impresiona el elemento sensible. Parámetros Extrínsecos Deinen la orientación y la posición de la cámara respecto a un sistema de coordenadas conocido, al que se suele llamar Sistema de Coordenadas del Mundo. Centro de la imagen. Factores de escala. Todo tipo de aberración. Distancia ocal. Enoque. Rotación. Traslación. Yolanda González Cid - UIB 27 Parámetros intrínsecos Distancia ocal X Y = Z C X Y C C Tamaño del pixel K x K y Centro de la imagen C, C x y No es lo mismo que el centro geométrico del plano imagen. Esa dierencia determina la exactitud de la cámara Yolanda González Cid - UIB 28 12
Aberraciones Hasta ahora hemos supuesto que los rayos que intervienen en la ormación de las imágenes eran paraxiales y la luz monocromática (de una sola longitud de onda). En realidad esto no es así. Por un lado, los rayos orman ángulos grandes con el eje óptico haciendo que las imágenes ormadas por los sistemas ópticos no sean geométricamente semejantes a los objetos. A estos deectos de las imágenes se les llama aberración geométrica. Las aberraciones geométricas a su vez se clasiican en aberración esérica, coma, astigmatismo, curvatura de campo y distorsión. Por otro lado si se emplea luz no monocromática (de varias longitudes de onda como la luz blanca) los rayos de distinta longitud de onda se dispersarán al atravesar el sistema óptico, y no convergerán en un mismo punto. A estos deectos de las imágenes se les denomina aberración cromática. Aberraciones cromáticas DEBIDAS A LOS DIFERENTES ÍNDICES DE REFRACCIÓN SEGÚN SU LONGITUD DE ONDA 13
Cromática Los rayos de longitudes de onda dierente tienen distancias ocales dierentes. La luz de longitud de onda más corta (azul) es curvada más que la luz de longitud de onda más larga (rojo), de orma que la luz azul llega a un oco más cercano de la lente que la luz roja El punto ocal para el azul es más corto que para el rojo. Yolanda González Cid - UIB 32 Aberraciones geométricas ABERRACIONES BÁSICAS: ESFERICA O DEFECTO DE ABERTURA COMA ASTIGMATISMO CURVATURA DE CAMPO DISTORSIÓN 14
Aberraciones geométricas Esérica Es una aberración simétrica que se produce para puntos que están situados sobre el eje óptico del sistema. Rayos periéricos Círculo de conusión mínima Lente Rayos paraxiales Aberración esérica longitudinal Aberración esérica transversal Esérica Los extremos de las lentes generan distancias ocales pequeñas Rayos paralelos al eje no convergen, por tanto, rayos que inciden en el obejtivo (espejo o lente) a dierentes radios, enocan en puntos dierentes. Yolanda González Cid - UIB 35 15
Aberraciones geométricas Coma: Es una aberración no simétrica que se produce para puntos que están situados uera del eje óptico del sistema. Se puede eliminar usando diaragmas Zona 1 Zona 3 Zona 2 Zona 4 Zona 1 Zona 2 Zona 3 Zona 4 Eje óptico Lente Imagen comática Coma Ocurre cuando los rayos que convergen oblicuamente, lo hacen en el plano ocal, pero no precisamente en el lugar que les corresponde. Las imágenes que se orman a radio r del eje óptico, son deormadas y desplazadas en sentido radial, de manera incremental. La imagen resultante es una especie de objeto triangular con su base diusa, que recuerda la imagen de un cometa, de allí el nombre dado a esta aberración. Yolanda González Cid - UIB 37 16
Aberraciones geométricas Astigmatismo: Se produce cuando el cono de rayos que atraviesa el sistema óptico es asimétrico Plano ocal meridional Plano ocal sagital Eje óptico Círculo de conusión mínima Lente Objeto puntual Astigmatismo Se produce cuando la distancia ocal de los rayos en el plano vertical diiere de la distancia ocal de rayos en el plano horizontal. La imágenes astigmáticas se caracterizan por ser elongadas en un sentido dentro del oco y elongadas a 90 grados respecto del ángulo anterior, uera del oco Yolanda González Cid - UIB 39 17
Aberraciones geométricas Curvatura de campo: Ocurre cuando la imagen de un objeto situado en un plano normal al eje óptico se orma en una supericie curva. Objeto plano Lente Imagen curvada Distorsión Distorsión geométrica. Distorsión tangencial. Distorsión radial. x x = y y d d (1 + k r 2 4 1 + k2r ) Yolanda González Cid - UIB 41 18
Distorsión Radial: Se produce cuando el aumento lateral varía en unción de la posición del punto objeto. Cojín: k i >0 Barril: k i <0 Distorsión radial - tipos Yolanda González Cid - UIB 43 19
Distortion geométrica, radial Se puede corregir, si se conocen los parámetros! Yolanda González Cid - UIB 44 Etapas del proceso de calibración Ecuaciones del sistema: modelo matemático. Paso 1: Transormación de coordenadas 3D mundo en coordenadas 3D cámara. Paso 2: Transormación de coordenadas 3D cámara en coordenadas 2D imagen. Determinación de las variables: Resolución de las ecuaciones planteadas utilizando la inormación obtenida. Yolanda González Cid - UIB 45 20
Coordenadas homogéneas Espacio proyectivo P 3 Coordenadas homogéneas (espacio n+1) Coordenadas cartesianas 3D: (x, y, z) Coordenadas homogéneas: (wx, wy, wz, w) Puntos: w=1 Modo de operación: 1. Paso de puntos aines a puntos en coordenadas homogéneas ej: (3,2) -> (3,2,1) 2. Paso de puntos en coordenadas homogéneas a puntos aines ej: (4,8,2) -> (2,4) 3. Transormaciones en P n (traslación, rotación, escala,...) ej: (3,2,1) -> (4,8,2) (Tx=-1, Ty=2) Yolanda González Cid - UIB 46 Conceptos abordados en calibración de cámaras Deiniciones básicas Yolanda González Cid - UIB 47 21
Sistemas de coordenadas Yolanda González Cid - UIB 48 Parámetros extrínsecos: rotación y traslación Modelo matemático I Yolanda González Cid - UIB 49 22
Modelo matemático I Parámetros extrínsecos: rotación y traslación X Y Z C C C cos φ = sin φ 0 sin φ cos φ 0 0 cos ϕ 0 1 sin ϕ 0 1 0 sin ϕ 1 0 0 cos ϕ 0 0 cosψ sinψ 0 X sinψ Y cosψ Z W W W t + t t X Y Z Rz Ry Rx T Yolanda González Cid - UIB 50 Modelo matemático I Parámetros extrínsecos matrices de rotación bidimensional z=lsin(φ+α)=l(sφcα+cφsα)=z cα+y sα y=lcos(φ+α)=l(cφcα sφsα)=y cα z sα z z α y y z =Lsinφ y =Lcosφ φ z L y z L φ+α y x y z x y z = 1 0 0 0 cα sα 0 sα cα = 1 0 0 0 cα sα 0 sα cα x y z x y z Yolanda González Cid - UIB 51 23
Proyección perspectiva Modelo pinhole W Y W Z W X C Y C X C Z x = X Z X Z O -x Yolanda González Cid - UIB 52 Parámetros intrínsecos: Modelo matemático II Yolanda González Cid - UIB 53 24
Modelo de lente Pinhole Parámetros intrínsecos: Yolanda González Cid - UIB 54 Parámetros intrínsecos: coeicientes de distorsión radial Modelo matemático III x y u u x = y d d (1 + k r 2 4 1 + k2r ) Yolanda González Cid - UIB 55 25
26 Yolanda González Cid - UIB 56 Modelo matemático IV Parámetros intrínsecos: actor de escala y centro del a imagen Yolanda González Cid - UIB 57 Modelo matemático: Resumen ) (1 4 2 2 1 r k r k y x y x d d u u + + =
Modelo matemático: Matriz de calibración Yolanda González Cid - UIB 58 Objetivos de la calibración Determinar los parámetros involucrados en el modelo matemático: Parámetros intrínsecos: Factor de escala: Kx, Ky Distancia ocal: Centro de la imagen: Cx, Cy Distancia ocal (en unidades de pixel): = Relación de aspecto: α = K K x y x K x Distorsión: K 1, K 2 Parámetros extrínsecos: Vector de traslación: T Matriz de rotación: R Yolanda González Cid - UIB 59 27
Métodos de calibración Clasiicación: Métodos lineales. Métodos de minimización no lineal. Métodos en dos etapas. Calibración activa Autocalibración. Ejemplos: DLT, 1971 Tsai, 1986 Heikkilä, 1997 Zhang, 2000 etc... http://www.vision.caltech.edu/bouguetj/calib_doc/ Yolanda González Cid - UIB 61 Bibliograía Pajares G. y de la Cruz, J.M. Visión por computador. Imágenes digitales y aplicaciones. Rama 2001. Trucco E. and Verri Introductory Techniques or 3-D Computer Vision. Prentice Hall 1998. Yolanda González Cid - UIB 62 28