SISTEMA DE VISION PARA ROBOTS BASADO EN SILUETAS M.Peña, *I. López, R.Osorio IIMAS-UNAM, CIATEQ A.C e-mail: mario@leibniz.iimas.unam.mx *: ilopez@ciateq.mx RESUMEN En el trabajo se presenta un Sistema de Visión que le permite a un manipulador KuKa de 6 grados de libertad (DOF), obtener información del POSE (localización del objeto) para realizar tareas de manufactura ensamblando piezas. Se presenta la arquitectura del sistema diseñado, así como el proceso para la obtención de la información de la posición y la orientación en tiempo real basandose en el análisis de siluetas (2D imagenes) obtenidas con técnicas de segmentación de imagenes. La base de funcionaiento con formas de imagenes binarias, hace al sistema robusto y flexible, lo que le permite utilizarlo también en aplicaciones de guía de trayectorias para el manipulador (visual servoing) en donde se requiera posicionar las herramientas de mano en el extremo del manipulador en diferentes puntos del espacio de trabajo utilizado. El proceso de adquisición de la imagen es presentado junto con una descripción del proceso de calibración que se utiliza, el procesamiento de los datos para generar las siluetas (imagen binaria) y la extracción de características de la imagen utilizadas, se muestran con un ejemplo real de aplicación. Finalmente una metodología para la evaluación del desempeño del sistema es presentada. ABSTRACT In this paper, a vision system which provides information about POSE (object location) to a KuKa 6 degrees of fredom (DOF) robot is presented. Assembly parts in automated manufacturing processes is the main task of the robot work. The architecture of the designed system is presented and the data organization and acquisition to obtain POSE, based in 2D images obtained with image segmentation techniques. Because of the binary image approach, the system becomes robust and flexible to some other applications like visual servoing to robot guidance in manufacturing using specialized tools operations in the robot s hand. A general description of the system is given together with an explanation of calibration method and performance testing metodologhy. 1.INTRODUCCION Hoy en día las aplicaciones en procesos de manufactura que utilizan robots para sus tareas han aumentado considerablemente, los costos de implementación y necesidades de automatización en los procesos de manufactura justifican las inversiones para este tipo de aplicaciones. El mercado ofrece una variaedad de robots maniupladores para diferentes aplicaciones y de diferentes precios que pueden ser accesibles por compañías de mediana capacidad, sin embargo, darle capacidades de autonomía a un robot manipulador representa un reto adicional para las industrias, ya que el mercado ofrece poco y a precios accesibles en cuanto a sistemas integrados de manufactura utilizando poca o mucha inteligencia artificial y capacidades sensoriales para los robots maniupladores[1]. El propósito de este trabajo es presentar un sistema de vision que provea de capacidad sensorial visual a un robot manipulador y pueda este ser utilizado en tareas de ensamble, para tal fin el objetivo es obtener información de lo que se conoce como el POSE (localizacion del objeto) que presenta información de donde esta el objeto dentro del espacio de trabajo del robot y como esta posicionado el objeto. Esta información debe ser transmitida al robot para que pueda posicionarse de manera correcta para asir el objeto determinado en cuanto a su posición y orientación. También es deseable que se conozca información de los descriptores que permitan tener un reconocimiento del objeto así como posibilidades de conocer su estructura y distribución en la pieza en cuestión (contronos, número de hoyos en la pieza, etc.). Las técnicas utilizadas de segmentación de imágenes para obtener imágenes binarias y procesarlas están bien establecidas en algunos sistemas que se ofrecen en el mercado [2], la razón es que la información necesaria para las aplicaciones de manufactura como inspección o manipulación de herramientas u objetos en general no requiere de una descripción detallada del objeto pero si de un conocimeinto de su localización y de que objeto se trata y tener información para moverlo (manipularlo) dentro de un cierto espacio de trabajo como lo puede se una celda de manufactura. En este aspecto los resultados de hacer mediciones en imágenes binarias (siluetas) ofrecen la capacidad necesaria para este tipo de aplicaciones además de hacer al sistema consistente y suficientemente rápido. Un sistema de estas características se ha desarrollado en el CIATEQ A.C. en Querétaro, México conjuntamente con el IIMAS-UNAM, integrandolo a un robot manipulador KuKa de 6 grados de libertad, que ofrece una interfase muy amigable para su uso, esta construído con materiales innovadores y esta provisto de paquetes de funciones inteligentes para ser situado de manera óptima en una celda de manufactura, su entrono de operación es la plataforma Windows 9X y permite se realicen tareas en modo de tiempo real. El sistema de manejo y reconocimiento orientado a características del objeto FORMS (Feature-Oriented Recognition and Management System) se a diseñado primordialmente para poder realizar tareas de ensamble dentro de una celda de manufactura inteligente. 2. SISTEMA DE VISION El sistema de vision identifica objetos presentados dentro del campo de vision de una cámara de televisión y obtiene su localización y orientación angular para ser comunicados al robot por medio de una interfase serial. Las piezas de trabajo son identificadas basándose en un conjunto de características (features) como el área,perímetro, etc. almacenadas en una base de datos que es contruída previamente bajo un modo
teach-by-showing en una fase previa en el proceso. Se presenta en el trabajo el procedimeinto del como puede ser entrenado y como se hace la operación en la identificación y localización de objetos. Figura 1. Arquitectura del Sistema de Vision basado en siluetas. Figura 1. Configuración General del Sistema de Visión El sistema de visión proporciona al brazo-robot, la información espacial en la localización (POSE) y captura de partes (grasping). La figura 1. muestra al sistema de visión integrado por: una cámara de televisión de alta velocidad del tipo progresiva con sensor CCD/B&W, PULNIX 6710 [3], colocada en un sistema de posicionamiento X-Y en la parte superior de una celda de manufactura, lo que permite tener escenas de partes en diferentes localidades dentro del área de trabajo. La cámara de televisión tiene una resolución de 648x482 pixeles y puede adquirir pixeles hasta velocidades de 40Mhz con 32 bits en modo LVDS y 20MHz. con la interfase RS-422, está conectada a un frame grabber PC-DIG de Coreco Imaging [4], instalado en una computadora PC. La imagen es adquirida y procesada para obtener información confiable dentro de un rango de iluminación considerable en tareas de manufactura dentro de un ambiente industrial. El sistema cuenta con un sistema de iluminación para proporcionar contraste a la imagen que se quiere y optimizar las primeras fases en la adquisición, básicamente se obtiene un fondo contrastado al color de las piezas que se trabajan. La imagen es procesada para obtener una imagen binaria sobre la cual se aplican algoritmos que permiten transformar la forma en una colección ordenada de pares numéricos la cual es analizada y utilizada para obtener infomación de las coordenadas del centroide y puntos importantes de la forma que permiten el cálculo de la orientación del objeto para obtener el POSE [5]. Por el análisis de éstos pares numéricos se forma un vector descriptivo del objeto que se integra a la información del POSE para formar el CFD (current frame descriptor). Este trabajo está enfocado a la utilización de las características métricas de la imagen binaria (silueta) obtenida y para ello se utilizan dos modos en el proceso. 2.1 Modo de Enseñanza Teach-Mode Cad pieza de trabajo es mostrada individualmente al sistema. La imagen es procesada como se muestra en la figura 2. Descriptores de la silueta (area,perimetro,etc.) son extraídos y almacenados en el current frame descriptor (CFD). Se pregunta al usuario que se le de un nombre y una identidad al objeto que se esta aprendiendo, y de esta manera junto con los descriptores se inserta la ifnormación en una base de datos utilizando el nombre del objeto como la llave de acceso. Este proceso se realiza con un comando APRENDE y para cada objeto que se introduzca en la base de datos. 2.2 Modo de operación Run-Mode Para encontrar un objeto una vez aprendido, ( Run-Mode ), los descriptores y la localización y orientación para cada uno de los objetos en la escena son extraídos en tiempo real y almacenados en el CFD. Para cada objeto requerido su vector descriptivo de características (f1) es
obtenido de la base de datos y comparado con el vector descriptivo de características (f2) en el CFD obtenido de la escena y buscar compararlo hasta que sea el requerido (matching) como se muestra también en la figura 2. Los vectores descriptivos son comparados elemento a elemento y son considerados iguales si todas las comparaciones tienen éxito. Dos características correspondientes pueden ser consideradas iguales si no difierne más que de una específica tolerancia descrita anteriormente. 3. DESCRIPTORES Y VECTORES DESCRIPTIVOS Los siguientes descriptores son extraídos y medidos para cada silueta: Area: es el area encerrada por el controno en la silueta en número de pixeles y referenciado a unidades de area como milimetros cuadrados. Perímetro: la longitud del controno en unidades de longirud como milimetros Radio Máximo: el máximo de un conjunto de radios partiendo del centroide a cada vértice del controno en unidades de longiud como milímetros. Si un objeto contuviera un hoyo se pueden obtener los mismos descriptores para ese hoyo como otro descriptor, con la información de las carácterísticas primarias mostradas, los vectores descriptivos (f1 y f2) consisten de lo siguiente: Area Perímetro Máximo Radio P2A = ( Perimetro) 2 / 4π ( area) No. de hoyos no es necesario en un momento dado guardar todas las características en la base de datos como el P2A, ya que puede ser derivado de los otros que si están almacenados, estos descriptores pueden ser cambiados o mejorados depende de la aplicación. Base de Datos Run-Mode Teach F1 f11 f12 f13 ***** f1n Decision Mode de Reconocimiento F2 f21 f22 f23 ***** f2n Descriptores Run-Mode ( CFD ) IMAGEN de ENTRADA Localización & Orientación (CFD) POSICION (POSE) Figura 2. CFD, descriptores y modos de Teach-Mode y Run-Mode
4. CALIBRACION El método de calibración utilizado para obtener las coordenadas de imagen (en pixeles) con las coordenadas de mundo real (en escena real de trabajo), se resume en la figura 3. Figura 3. Calibración del sistema En el método se siguen los siguientes pasos: Se establece un sistema de coordenadas en 2D con cuatro puntos proyectados en el área de trabajo. Se establece la localización de los 4 puntos dentro de la imagen Se asocian las posiciones de los 4 puntos en la imagen con medidas de las coordenadas del mundo real Se aplica el algoritmo de corrección para escalamiento, perspectiva y rotación Se obtienen las transformaciones de medidas en pixeles a unidades reales Cada vez que se cambie de localidad en la cámara se recalibra el sistema Una vez calibrado el sistema se procede a adquirir la imagen en cuestión para obtener la información de POSE & reconocimiento como se mostró con el CFD. 5. CFD Un ejemplo para un CFD de una imagen de dos piezas como se muestra a continuación es: X 0 Y
************************************************************************************** CFD: Contiene: 2 objetos: ************************************************************************************** OBJETO #1 AREA = -555-0 mm2 PERIMETRO = 91.8 mm. P2A = -1.221 Max. radio = 14.5 mm. # de hoyos = 1 Centroide (x,y) = (125.1, 69.9) mm. Orientación = 11.8 grados HOYO #1 AREA = 161.8 mm2 PERIMETRO = 50.9 mm. P2A = 1.278 Máx. radio = 8.1 mm. Centroide (x,y) = (125.1, 70) mm. Orientación = 170.9 grados ************************************************************************************** OBJETO # 2 AREA = -3042.7 mm2 PERIMETRO = 241.0 mm. P2A = -1.520 Máx. radio = 42.8 mm. Centroide (x,y) = (169.3, 114.2) mm. Orientación = -0.1 grados 5.1 Comandos Se proponen comandos para el sistema, algunos se muestran a continuación: LIMPIA_DB Limpia la base de datos TOLERANCIA permite al usuario especificar la tolerancia para cada carácterística medida en la comparacion del CFD CALIBRA Realiza la calibración del sistem para calcular el factor entre las mediciones en pixeles y las unidades de ingeniería. APRENDE Almacena los descriptores del objeto que está en la vista de la cámara y pide el nombre e identificación del objeto. BORRA_DB pide el nombre de un objeto y si se encuentra en la base de datos se puede borrar LISTA_DB hace un listado de los objetos en la base de datos con sus descriptores. CFD despliega la información del CFD del objeto que se pida incluyendo POSE. ENCUENTRA(obj) el vector descriptivo del nombre del objeto que se proporcione se extrae de la base de datos (f1) y se hace una comparación con el vector descriptivo del objeto en escena (f2) y existe, se despliega la localización y la orientación. 6. CONCLUSIONES El sistema proporciona la localización y orientación de las piezas vistas en el campo de visión de la cámara para que el robot KuKa pueda manipularlas. Muchas otras aplicaciones pueden obtenerse con el istema, la idea principal es orientarlo hacia tareas de ensamble, con lo que las piezas aprendidas y el área de trabajo se enfocan a piezas de ensamble y una area de trabajo dentro de una celda de manufactura flexible. Aplicaciones que requieren de más exactitud como establecer mediciones en piezas para insepcción, requerirán de menores tolerancias o adecuaciones en el sistema óptico de la cámara para obtener mejores precisiones en regiones de interés específicas dadas por el usuario. El hardware del sistema está basado en una computadora del tipo PC y utilizando el lenguaje Visual C++ 6.0 para su desarrollo.el tiempo de procesamiento depende de la complejidad del objeto y de la escena, pero en términos generales se obtienen resultados para aplicaciones en tiempo real. 7. REFERENCIAS [1] M. Peña, I. López-Juárez, et.al.. (2003). Vision para robots en tareas de ensamble, Memorias del 2do. Congreso Nacional de Mecatrónica, (aceptado).
[2] R.J. Sanderson. (1983). Machine Vision Systems: A summary and Forecast. Tech. Transc. Corporation Illinois. [3] www.pulnix.com [4] www.imaging.com [5] M. Peña, I. López-Juárez, R. Osorio. Invariant Object Recognition Applied to Machine Robot Vision. 17th. Conference of the Mexican Society for Instrumentation 2002, October 2002.