SISTEMA PARA LA MEDICIÓN DIMENSIONAL 3D POR VISIÓN

Transcripción

1 SISTEMA PARA LA MEDICIÓN DIMENSIONAL 3D POR VISIÓN Benjamín Valera O. y José Sánchez V. Centro de Instrumentos UNAM, Laboratorio de Metrología Circuito Exterior, Ciudad Universitaria, Coyoacán, 04510, México D.F. Tel ext. 122, Fax , valerab@aleph.cinstrum.unam.mx Resumen: El trabajo describe los esfuerzos realizados en el Laboratorio de Metrología del Centro de Instrumentos UNAM por implementar un sistema binocular para la medición dimensional 3D por visión. El software actual incorpora técnicas de estimación del flujo óptico que automatizan el proceso y reducen restricciones ambientales en el cálculo de la disparidad estéreo. El hardware utilizado es el siguiente: una computadora PC, una tarjeta para la digitalización de imágenes de nivel científico y dos cámaras de alta resolución. En conjunto, el sistema es capaz de realizar mediciones con exactitudes cercanas a 1mm en volúmenes de visión de 500mm 3. INTRODUCCIÓN La visión estéreo habilita a los seres humanos y sistemas de visión a interactuar poderosamente con su entorno 3D, mediante el análisis de un par de imágenes (derecha e izquierda) conocidas como par estéreo [1]. La técnica ha demostrado exactitud y economía en aplicaciones de visión por computadora, robótica y nivel industrial [2]. En años recientes, en el Laboratorio de Metrología del CI UNAM, se ha desarrollado software de visión por computadora para la medición dimensional con exactitud geométrica sobre la base de una tarjeta de adquisición de imágenes DT3155 y programación especifica en Visual C++ 1,5, ejecutándose en una plataforma Windows 3,1 [3]. Los advenimientos de nuevos sistemas operativos (Windows 9X) y nuevas tecnologías de programación (ActiveX), irremediablemente nos obligan a mantener actualizado nuestro software. La tecnología ActiveX permite a los usuarios y aplicaciones ser centrados en el documento. En nuestro caso, si el usuario desea crear una aplicación de visión por computadora en Visual Basic, al elegir aplicaciones con ActiveX el usuario mantiene su atención en el algoritmo de visión por computadora sin preocuparse por el trasfondo inherente a la adquisición de imágenes. No obstante que la aplicación final tendrá partes de Visual Basic (algoritmo de visión por computadora) y controles ActiveX (adquisición de imágenes), para el usuario la adquisición de imágenes no es el punto central. Este desplazamiento en la atención del programador corresponde a una manera de pensar más orientada a objetos. Entonces ahora parece más natural distribuir el trabajo a través de diferentes aplicaciones y arreglárselas para comunicarlas entre ellas en lugar de crear aplicaciones aisladas y gigantescas que puedan hacer todo [4]. En éste trabajo, además de incorporar la tecnología ActiveX para el desarrollo de aplicaciones, añadimos algoritmos de estimación del flujo óptico en el apareamiento estéreo que mejoran el desempeño y reducen las restricciones ambientales del sistema de visión por computadora. MEDICIÓN POR VISIÓN El método para reconstruir un objeto o posición tridimensional a partir de dos de sus proyecciones planas mitiga la ambigüedad de escala (entre profundidad y translación) inherentes en la visión monocular, ya que un par de imágenes apropiadamente registradas contienen información acerca de la estructura de la escena. La actividad de interés entonces resulta ser la extracción de objetos para estimar su situación en el espacio, imitando de alguna manera el complejo sistema de visión humano. En resumen, la teoría de visión estéreo moderna se apoya y fundamenta en áreas de desarrollo particulares como: a) Calibración de cámaras. Encontrar el modelo matemático que relacione el arreglo físico y el par estéreo con las coordenadas globales 3D. b) Reconstrucción 3D. Reconstruir el ambiente 3D a partir del modelo anterior y un par estéreo.

2 c) Apareamiento estéreo (stereo matching). Encontrar la correspondencia de regiones 2D en el par estéreo, en relación con las coordenadas 3D para su empleo en la calibración y reconstrucción. 3D globales z w de cámara x w y c X u Plano del sensor no distorsionado Pin hole z c x c y w X d C x f Plano del sensor distorsionado Y u C y (X f, Y f) Archivo de imágen Y d Fig. 1 Modelo de cámara no lineal. Modelo de cámara no lineal El sistema de visión estéreo se plantea sobre la base del modelo de la figura 1 [5]. El modelo de cámara consiste en la proyección geométrica de un sistema de coordenadas global en un plano imagen e implica las siguientes conversiones. Convertir de coordenadas globales [x w y w z w ] T a coordenadas de cámara [x c y c z c ] T. Convertir de coordenadas de cámara [x c y c z c ] T a coordenadas de sensor no distorsionado [X u Y u ] T. Convertir de coordenadas de sensor no distorsionado [X u Y u ] T a coordenadas de sensor distorsionado [X d Y d ] T. Convertir de coordenadas de sensor distorsionado [X d Y d ] T a coordenadas de imagen [X f Y f ] T. Los parámetros involucrados en las conversiones del modelo de cámara se clasifican en extrínsecos e intrínsecos. Los parámetros extrínsecos a la cámara R y T (Rotación y Traslación) modelan la posición relativa entre la cámara y el sistema 3D de referencia. Los parámetros intrínsecos a la cámara f, k, C x, C y, s x, dp x y dp y (distancia focal, coeficiente de distorsión radial, coordenadas x y y del centro radial, factor de escala y dimensiones del píxel en x y y) modelan la constitución física de la cámara. Calibración En esta etapa, el ambiente proporciona las proyecciones, (X f, Y f ), de posiciones 3D patrón, (x w, y w, z w ) conocidas de antemano con gran precisión. En la práctica, las posiciones patrón son determinadas con un instrumento de alta exactitud como Máquina de Medición por (MMC) y las proyecciones se obtienen mediante dispositivos de adquisición de imágenes. Entonces

3 el proceso de calibración se convierte en un proceso de minimización de la siguiente función expresada en forma compacta xw, yw, zw [ X f,yf ] = R (1) [ C] en donde R es una función de relación y Rx, Ry, Rz, Tx, Ty, Tz [ C] = f, k, Cx,C y, sx, dpx, dp es el arreglo que contiene los parámetros de la calibración. La ecuación (1) es resuelta para [C] [6, 7] y dos proyecciones independientes del par estéreo. Reconstrucción 3D Tiene como objetivo la reconstrucción de coordenadas 3D de un punto [a] T =[x w, y w, z w ] a partir del conocimiento de dos de sus proyecciones 2D en correspondencia, derecha (X f D, Y f D ) e izquierda (X f I, Y f I ) y de los parámetros del modelo estimados como parte de la calibración, derecha [C D ] e izquierda [C I ]. En forma compacta [M] [a] = [b] (2) en donde [M] y [b] son arreglos matriciales que contienen información de la calibración y de las proyecciones correlacionadas. La correspondencia entre imágenes, conocida como apareamiento estéreo se describe a continuación. Apareamiento estéreo El procesamiento de imágenes moderno, sugiere el uso de técnicas basadas en la estimación del flujo óptico sobre imágenes en escala de gris (no binarias), para que la correspondencia entre imágenes resulte en un proceso automático, ya que la tecnología actual así lo permite. Es bien conocido que el estudio del flujo óptico en secuencias de imágenes proporciona la siguiente información de la escena: regiones en movimiento, direcciones del movimiento, tipo de movimiento y velocidad de movimiento. Particularmente la técnica de apareamiento estéreo utilizada en éste trabajo, determina el vector de desplazamiento inherente al fenómeno de flujo óptico que capturan las cámaras derecha e izquierda. En el esquema de la figura 2, el par de imágenes en escala de gris es procesado mediante la técnica de estimación de movimiento [8] y para encontrar el vector de desplazamiento d(θ) y por lo tanto la correspondencia entre regiones. La estimación de movimiento descrita en [8] permite eliminar las restricciones en iluminación y automatiza el proceso de correspondencia. Tal situación es planteada como una mejora al método desarrollado anteriormente en el Laboratorio de Metrología del CI UNAM. y 1 globales Rj I D (p) Imagen en escala de gris 1 x 1 Z Y d(θ) x 2 Región plana 3D X Iluminación ambiental Objeto 3d en inspección Rj y 2 I I (p) Imagen en escala de gris 2 Fig. 2 Visión estéreo a partir de imágenes fijas sin restricciones en iluminación. La estimación de movimiento consiste en determinar el vector de desplazamiento d(θ)=(dx(θ), dy(θ)) en donde Θ=(tx, ty, k, θ) es un vector de 4 parámetros de movimiento que contempla traslación en x y y, rotación y divergencia. El proceso se lleva a cabo al minimizar la diferencia de cuadro desplazado, DFD, a partir de la siguiente función cuadrática media de error, MSRE MSRE(d(Θ))=( DFD(d(Θ)) ) 2 (3) En donde DFD(d(Θ))= I D (p)-i I (p+d(θ)), p=(x, y) Rj, Rj es la región analizada, I D (p) es la imagen derecha e I I (p) es la imagen izquierda Entonces la correspondencia entre imágenes derecha e izquierda para la región Rj esta dada por (X f D, Y f D ) = (X f I +dx(θ), Y f I +dy(θ)) SISTEMA DE MEDICIÓN 3D POR VISIÓN El sistema de medición propuesto se ilustra en la figura 3. En tal figura, un programa en Visual Basic captura imágenes en tiempo real mediante un control ActiveX [9], procesa los algoritmos de estimación de movimiento y proporciona la

4 correspondencia entre pares de imágenes para su utilización en visión estéreo. Al contar con ésta herramienta de análisis de movimiento en secuencias de imágenes, los procesos de visión estéreo (calibración y reconstrucción) se benefician, y el proceso de medición se facilita y automatiza. Computadora PC con Windows 98 conocida, mediante la ecuación 2 y software específico, utilizando los parámetros de la calibración y la correspondencia del par estéreo. e) Se comparan los resultados de la reconstrucción no lineal contra la posición previamente establecida. La tabla 1 muestra tal comparación. Cámara 1 y Cámara 2 Programa en Visual Basic x Tarjeta de digitalización de imágenes z Fig. 3 Esquema de medición 3D por visión. RESULTADOS Los resultados son obtenidos sobre la base del sistema de visión binocular de la figura 4. El sistema genera imágenes planas que son procesadas por software específico. La figura 4 constituye un sistema con dos cámaras, un sistema de ejes coordenados y nueve posiciones o más para la calibración no lineal (generadas por la MMC). El procedimiento es el siguiente. a) Se especifica el ambiente global 3D. Se definen las posiciones 3D patrón con MMC y la posición de las cámaras izquierda y derecha para obtener el volumen de medición deseado. Posteriormente, las mediciones por visión prescinden de la MMC. La MMC puede ser sustituida por un patrón dimensional 3D con posiciones no coplanares. b) Se analiza el par estéreo resultante. Las imágenes planas son analizadas y se obtiene la correspondencia entre posiciones globales y proyecciones derecha e izquierda al minimizar la ecuación 3. El proceso de correspondencia es realizado en forma automática por el software desarrollado en el Laboratorio de Metrología del CI UNAM. c) Las 9 posiciones globales y sus correspondencias en el par estéreo se sustituyen en la ecuación 1 y en el software específico para obtener los parámetros de la calibración no lineal. d) Para evaluar el resultado de la calibración se reconstruye una posición, previamente Fig. 4 Sistema binocular de medición 3D. Posición Reconstrucción Error verdadera (mm) no lineal (mm) (mm) 25 25,15 0, ,97-0, ,05 0,05 Tabla 1. Comparación de la reconstrucción 3D. DISCUSIÓN El algoritmo de estimación de movimiento en Visual Basic, fue puesto a punto utilizando como referencia de comparación el mismo algoritmo ejecutándose en MatLab. La evaluación en MatLab nos permite sintonizar las variables heurísticas implícitas en el proceso de minimización de la ecuación 3. La tabla 2 muestra el desempeño de la estimación de movimiento al analizar una secuencia de dos imágenes, teniendo como parámetro de evaluación la diferencia de cuadro desplazado. Método Diferencia del cuadro desplazado DFD Sin estimación de movimiento 1104,786 Estimación por búsqueda intensiva Estimación por minimi-zación de la diferencia del cuadro desplazado 130, ,929 Tabla 2 Desempeño del algoritmo de estimación de movimiento

5 La tabla 2 muestra que la menor DFD proporciona una idea acerca de la mejor correspondencia en las imágenes. Entonces el método usado en el software de apareamiento estéreo es la minimización de la diferencia del cuadro desplazado, aunque se cuenta con la opción de la búsqueda intensiva [10]. Pensamos que en la presentación de resultados es conveniente reportar la reconstrucción 3D ya que existe una referencia de comparación (MMC), como se muestra en la tabla 2. En el reporte de otros resultados parciales, verbigracia los parámetros de calibración, no existe punto de referencia ya que las condiciones del arreglo en la figura 4 se determinan sin conocimiento previo de la geometría. Un punto de comparación para evaluar los resultados de la calibración sería medirlos dimensionalmente. En la práctica, sería difícil determinar, por otros medios, los parámetros de calibración ya que implicaría una labor de medición meticulosa del arreglo e inclusive la exploración interna de los dispositivos de adquisición de imágenes. Una mejor alternativa de comparación sería la simulación software del arreglo de la figura 4, por ejemplo en programas de traza de rayos. CONCLUSIONES Se ha logrado implantar la tecnología ActiveX para la adquisición de imágenes digitales en un software amigable con el usuario desarrollado en Visual Basic. Mediante la tecnología ActiveX, el programador puede enfrentar con mayor profundidad el algoritmo de procesamiento de imágenes, dejando a un lado los aspectos finos relacionados con la digitalización y despliegue de imágenes digitales. Se ha logrado implementar un algoritmo de estimación de movimiento en imágenes digitales para encontrar la correspondencia entre pares de imágenes. El algoritmo de estimación del flujo óptico (estimación de movimiento) reduce las restricciones ambientales impuestas anteriormente en el sistema de visión. El desempeño completo del sistema de visión estéreo se verifica al reconstruir posiciones tridimensionales generadas mediante MMC, usando software específico para la calibración y reconstrucción. El software para la calibración toma como entrada un conjunto de posiciones patrón 3D con sus respectivas proyecciones planas y obtiene los parámetros de calibración. Posteriormente, se implementa la reconstrucción tridimensional al utilizar los parámetros de calibración y pares de imágenes en correspondencia del objeto en inspección. El sistema de medición por visión presentado aquí requiere de una calibración inicial mediante MMC u otro patrón dimensional 3D. Posteriormente, el sistema prescinde del uso de la MMC o patrón y éste puede ser utilizado bajo condiciones de campo o de laboratorio. REFERENCIAS [1] F. Rogers y J. A. Adams, Mathematical Elements for Computer Graphics, McGraw Hill, 1990, pp [2] J.J. Aguilar, F. Torres, M.A. Lope, Stereo Vision for 3D measurement: accuracy analysis, calibration and industrial applications, Measurement, Vol. 18, No. 4, 1996, pp [3] B. Valera y J. Sánchez, Instrumentación para la metrología dimensional por visión, SOMI XIII Congreso de Instrumentación, Ensenada, México, 1998, pp [4] F. J. Ceballos, Enciclopedia de Microsoft Visual Basic 6, Ed. Alfaomega, México, 2000, pp [5] R. Y. Tsai, An Efficient and Accurate Camera Calibration Technique for 3D Vision, Proceedings of IEEE Conference on Comp and Pattern Recognition, Miami Beach, FL, 1986, pp [6] Minpack Project, MINPACK user's guide, Argonne National Laboratory, [7] W. H. Press et al, Numerical Recipes in C, Cambridge University Press, 1995, pp [8] M. Tekalp, Digital Video Processing, Prentice Hall, 1995, pp [9] Data Translation, SDK DT-Active Open Layers User s Manual, Data Translation, USA, 1999, pp [10] H. Nicolas y C. Labit, Motion and illumination variation estimation using a hierarchy of models: application to image sequence coding, IRISA: Publication Interne No 742, 1992, pp. 30.