posteriormente para el reconocimiento de dichos objetos.

Transcripción

1 Sistema de Visión Artificial para el Control de un Robot Manipulador (Zoidberg) Luis Antonio Carrillo Martínez Universidad Autónoma de Tlaxcala, Facultad de Ingeniería y Tecnología, Ingeniería en Sistemas Electrónicos Calzada de Apizaquito s/n, Apizaco, Tlax. CP 90300, lacm@ieee.org RESUMEN Se desarrolló un sistema de visión artificial por medio de Matlab 6.5, que permite el reconocimiento y clasificación automático de objetos usando algunas de sus características (contorno y centroide). Una red Neuronal Back Propagation es entrenada y puesta a prueba obteniendo un porcentaje de reconocimiento del 95% y siendo capaz de reconocer 3 figuras geométricas (circulo, cuadrado, triángulo). La aplicación real de este sistema de visión artificial se implemento en un robot (Grúa Viajera usando un Kit Lego Mindstorm) manipulador, el sistema actúa como un sensor inteligente y por medio de una cámara web toma las imágenes, un protocolo de comunicación serial envía información (tipo y coordenadas del centroide de la figura) a un sistema de servocontrol digital el cual posiciona al robot (Zoidberg) manipulador para que tome y clasifique al objeto. I INTRODUCCIÓN Cuando se diseña un sistema de reconocimiento, siempre surge la duda acerca de que características serán las más indicadas al extraer del objeto para que este sistema tenga un alto índice de reconocimiento. La extracción de características permite entrenar una red neuronal que se usará posteriormente para el reconocimiento de dichos objetos. Un propósito de este artículo es describir el desarrollo de un sistema de reconocimiento automático de figuras geométricas. La extracción de características permite la representación grafica de los contornos de las fíguras. Las técnicas del procesamiento de imágenes y algunas propiedades de la Transformada Rápida de Fourier (FFT, por sus siglas en ingles) eliminan las variaciones en la extracción de las características al ser rotadas, escaladas y trasladadas. La red neuronal en este caso Back Propagation es entrenada con las características extraídas. En esta investigación se desarrolló un algoritmo para reconocer 3 figuras geométricas regulares tales como círculo, cuadrado y triángulo. Los efectos o variaciones debido al cambio de escala, rotación y desplazamiento son considerados. La red neuronal tiene diferentes paradigmas los cuales se usan y se convierten en un sistema de identificación que ordena al robot tomar el objeto y clasificarlo. Los diversos paradigmas tienen sus ventajas y desventajas, por lo que el funcionamiento depende del tipo de los datos y de las características disponibles. Un robot dotado con visión artificial que sea capaz de reconocer, posicionarse, manipular y clasificar, es una herramienta tecnológica muy útil y ventajosa en campos tales como la industria, robótica, medicina, biología, etc. 1

2 II DESARROLLO Los sentidos son los medios por los que interactuamos con el mundo que nos rodea, y, dentro de ellos, la vista destaca como el mas importante y complejo de todos: frente a las treinta mil fibras nerviosas dedicadas al sentido auditivo existen dos millones para el visual, y algunos estudios cifran su importancia en el 75% de la información procesada por el cerebro. Se pueden establecer varias analogías entre la visión humana y la visión artificial, ya que ambas tendrán un sensor (el ojo y la cámara) y un procesador de la información (el cerebro y una computadora) aunque nunca perdiendo de vista que no se trata de imitar o replicar el sentido de la vista del hombre [1]. Al desarrollar la primera etapa de la visión artificial de alto nivel o análisis de imágenes, el objetivo fue procesar la imagen de tal manera que el resultado sea el conjunto de las características que definen el problema a resolver, siendo en este caso muy particular la forma de los objetos para su posterior reconocimiento [1]. III ADQUISICIÓN DE LA IMAGEN Para desarrollar una aplicación que requiera la adquisición de una imagen se deben de considerar un amplio conjunto de elementos que van desde la fuente de luz necesaria para iluminar los objetos hasta llegar a los algoritmos encargados del preprocesamiento. La iluminación existente en el entorno del laboratorio en donde se desarrollo esta investigación no fue aceptable ya que se obtienen imágenes con bajo contraste y sombras no deseadas. Por ello se diseñó un sistema propio de acuerdo a las propiedades reflexivas, absorbentes y transmitivas de los objetos, optando por una iluminación difusa que consiste en hacer que los haces luminosos incidan sobre el objeto desde todas las direcciones. Las cámaras o sensores de imágenes son los elementos encargados de captar la información luminosa de la escena, y transmitirla por una computadora como una señal digital. Se usó un algoritmo de programación en Matlab 6.5 que detecta una cámara web (Creative Notebook), permitiendo que se lleve a cabo la adquisición de la imagen y se configuren los parámetros (Brillo, Saturación, Color, Resolución, Velocidad de Muestreo, etc...) propios de la cámara web así como que se muestre en una ventana la imagen en tiempo real en ambiente de Matlab 6.5. IV PREPROCESAMIENTO De la etapa de anterior se obtiene una imagen de 480X640 píxeles, esta imagen tendrá que convertirse en una matriz (arreglo bidimensional) que represente la coordenada de cada píxel y su magnitud, para convertirse así en una imagen digital [2] (Figura 1). Figura 1 Imagen adquirida con la iluminación difusa. Posteriormente se convierte la imagen de color a una imagen binaria como se muestra en la Figura 2, que se almacena en línea para una reutilización relativamente rápida [2]. Si las condiciones de iluminación no son suficientes para tener una imagen óptima hasta este punto del proceso, es el momento indicado para mejorar las características (eliminar ruido, mejorar contraste) y que aumenten así las posibilidades de éxito en procesos posteriores. Figura 2 Binarización de la imagen de entrada. 2

3 Las imágenes binarias de las 3 figuras son por decirlo así las señales de entrada de nuestro sistema de visión artificial. Estas imágenes de entrada y las que se generen después, tendrán que guardarse en formato.bmp, ya que este formato es muy recomendable al trabajar con imágenes en Matlab 6.5 y deberán tener el mismo tamaño todas las imágenes que se generen. Se rotaron en 6 ángulos diferentes cada una de las imágenes originales, en esta investigación se propuso en 60 grados el intervalo de rotación, al hacer este paso se esta contemplando que el reconocimiento sea inmune a la rotación de las imágenes. (Figura 3) Figura 3 Rotación de las imágenes. Escalar cada una de las imágenes rotadas es el siguiente paso, los parámetros pueden tomar cualquier valor, al realizar pruebas se detectó que si el escalamiento de reducción tiende a niveles menores a 0.25, el porcentaje de reconocimiento tiende a ser menor debido a que el contorno tendrá un menor numero de píxeles. Los parámetros de escalamiento propuestos para la aplicación de este sistema de visión artificial son 1.25 y 0.75 (Figura 4). Al desarrollar la etapa de escalamiento se cambian las dimensiones de las matrices, la solución es un diseñar algoritmo que genere una imagen binaria llena de ceros (fondo negro) del tamaño de las matrices de mayor escalamiento y posteriormente hacer la operación aritmética lógica OR de la matriz de fondo con todas las imágenes. Un paso opcional será escalar todas las imágenes con parámetros de ganancia menores a la unidad, esto se hace con el fin de reducir la información y que el procesamiento sea más rápido, solo que esta ganancia no tendrá que ser muy pequeña, ya que se perderá demasiada información propiciando que el porcentaje de reconocimiento no sea lo bastante bueno. En todo este proceso se almaceno en línea las imágenes generadas, para su posterior análisis en la extracción de características. V EXTRACCIÓN DE CARACTERÍSTICAS El nivel al que se lleva a cabo la extracción de características depende del problema a resolver, para ello se buscan características que definan al objeto. Una de las informaciones más útiles que se encuentran en una imagen la constituyen los bordes (contorno), ya que al delimitar los objetos definen los límites entre ellos y el fondo (Figura 5). Las técnicas usadas en la detección de bordes tienen por objeto la localización de los puntos en los que se produce una variación de la intensidad, por donde se pasa de un nivel de intensidad del fondo del objeto [1], estas técnicas deberán obtener solamente píxeles situados en el límite entre regiones [2], en esta investigación de uso un algoritmo que realiza conectividad 8. a) b) Figura 4 Escalamiento de las imágenes con a) Factor de 1.25, b) Factor de 0.75 Figura 5 Imagen que representa el contorno. 3

4 El paso inicial será guardar en vectores las coordenadas de todos los píxeles del contorno de cada imagen, esta información sirve para saber que vector es más pequeño. Este dato limita el número de renglones de la matriz que se ha llamado Matriz de Características, la cual alberga la información que sirve para entrenar la red neuronal. Es necesario saber cual es la distancia que hay entre el controide de la imagen con cada uno de los píxeles del contorno. Por lo que se diseño un algoritmo que guarda en un vector la coordenada del centroide de la imagen y usando el algoritmo que guarda las coordenadas de cada uno de los píxeles del contorno en un vector, se calculan las distancias y se guardan en un vector llamado Vector de distancias radiales. El cálculo de las magnitudes del centroide a cada píxel del contorno se deduce encontrando la magnitud de los catetos (Adyacente y Opuesto) que conforman un triangulo imaginario entre los 2 puntos en cuestión (Coordenadas del centroide y las coordenadas del píxel). Ahora solo resta calcular la Hipotenusa, esta será la distancia del centroide hacia el píxel. Este algoritmo se usa para cada imagen, es decir cada imagen genera un vector de distancias radiales, y el tamaño de este será directamente proporcional al número de píxeles del contorno, y por tanto todos los vectores de las imágenes serán de diferentes tamaños. La normalización de las magnitudes de las distancias radiales, permite saber la representación del contorno con respecto el tiempo, para normalizar los vectores se divide cada vector entre su máxima distancia radial, permitiendo que las magnitudes del vector fluctúen entre 0 y 1, lo que permite inmunización a escalamientos (Multiplicación por una constante). La inserción de las propiedades de la FFT inmuniza al sistema contra efectos de rotación (cambio en el tiempo). Para eliminar el efecto rotación, la función f(t) comienza en f(t-to), como solo los componentes de la fase afectan la rotación, aquí es donde se ve el efecto al aplicar la FFT, y por tanto no le afecta la rotación del ángulo. Finalmente el centroide es usado de referencia para calcular las distancias radiales y eliminar las variaciones en la extracción de las características de la traslación. La Figura 6, muestra en la grafica superior la representación de la magnitud de las distancias radiales con cada píxel del contorno (Dominio del tiempo), la grafica inferior muestra la representación de la magnitud de su amplitud al aplicar la FFT de las distancias radiales con cada píxel del contorno (Dominio de la frecuencia). Figura 6 Grafica de los píxeles del contorno en el dominio del tiempo y la frecuencia. Al aplicarle las propiedades de la FFT a los vectores que contiene las distancias radiales de cada imagen, se generan nuevos vectores, el tamaño de los vectores corresponde al número de píxeles que contiene su contorno, por lo que un algoritmo ajusta el tamaño de todos los vectores al vector mas pequeño sin perder información, haciendo redondeos y aproximaciones. Teniendo todos los vectores normalizados en tamaño, se genera una matriz uniendo todos los vectores columna, al último renglón se le asigna la clase (En este caso el 1 corresponde al circulo, el 2 al cuadrado y el 3 al triangulo) a cada vector columna, generando así la Matriz de Características. VI RECONOCIMIENTO Y CLASIFICACIÓN El reconocimiento de objetos es la última etapa dentro de un sistema de visión 4

5 artificial. A partir de las características encontradas y de los posibles objetos que el conocimiento a priori del problema se espera que puedan aparecer, el sistema debe de determinar que objeto esta presente en la imagen. Esta etapa es la de mayor grado de abstracción de todas las que forman al sistema de visión. Debido a su construcción y a sus fundamentos, las redes neuronales artificiales presentan un gran número de características semejantes a las del cerebro [3]. En esta investigación se uso la red neuronal Back Propagation que es especialmente útil en aplicaciones de reconocimiento y clasificación de patrones. Para crear esta red se necesita tener anexado al Matlab 6.5 un Tollbox de redes neuronales. La función newff permite crear dicha red, en la cual se asignan datos típicos como tamaño de renglones de la matriz a emplear (78X78 fue tamaño de la matriz de entrenamiento), y el numero de capas ocultas (5) y subcapas (4) a emplear. Para entrenar la red se configuran parámetros que permiten entrenarla como el error al que debe llegar para considerar que se a completado el aprendizaje, el numero de épocas, la frecuencia de despliegue del progreso del entrenamiento. De la matriz de características se opto por tomar un 90% el cual se convierte en la Matriz de Entrenamiento. En la figura 7 se muestra la grafica de entrenamiento de la red neuronal hasta llegar al error ( ). Figura 7 Grafica de entrenamiento de la red neuronal artificial Back Propogation. Para probar el porcentaje de reconocimiento se usa la Matriz de Prueba, que corresponde al 10% restante de la matriz de características, para comprobar el porcentaje de reconocimiento se revuelve aleatoriamente la matriz cada ves que se pruebe la red. Usando la función sim permite simular con un dato nuevo un paso anterior del algoritmo, con lo que se prueba a la red neuronal. Lo que resta es crear una Matriz de Confusión, que consiste en una matriz cuadrada que corresponda al numero de objetos (3X3) llena de ceros. Un algoritmo realiza la exploración de los datos arrojados en la etapa de prueba que se guardaron en un vector. Dando por resultado una matriz, que asigna el numero de objetos en su respectiva columna de la clase. En la siguiente matriz se muestra la matriz de confusión, la matriz de prueba tiene 3 vectores de la clase 1, 3 vectores de la clase 2 y 2 vectores de la clase 3. matcon = % de reconocimiento % de reconocimiento % de reconocimiento Esta matriz de confusión dice: de la clase 1 (Circulo, columna 1) se clasificaron 3 objetos correctamente, de la clase 2 (Cuadrado, columna 2) se clasificaron 2 objetos correctamente y un cuadrado lo clasificó como la clase 1 (círculo), de la clase 3 (Triángulo, columna 3) se clasificaron 2 objetos correctamente. Se realizaron 10 pruebas y se obtuvieron 10 matrices de confusión, se obtuvo el porcentaje de reconocimiento por figuras, que permitió calcular el porcentaje de reconocimiento del sistema de visión artificial usando la red neuronal Back Propagation. La aplicación de este sistema de visión artificial permite enviar información (tipo de figura y centroide) por medio de comunicación serial al robot Zoidberg para que tome y clasifique la figura geométrica en cuestión. 5

6 VII CONCLUSIONES Entre más información contenga la matriz característica, la red neuronal artificial tendrá un mayor provecho a la hora de entrenarse y aprender, por tanto redundara en un mayor porcentaje de reconocimiento. Una manera de lograr esto es emplear una mayor cantidad de imágenes rotadas y escaladas. Al escalar las imágenes con un porcentaje menor a la unidad (Atenuar) se recomienda que el parámetro no sea muy pequeño, ya que esto limita el tamaño de la matriz característica (Renglones), es decir, al atenuar mucho las imágenes, el número de píxeles del contorno tiende a ser pequeño, y recordemos que este limita el tamaño en renglones de la matriz característica, provocando menor información de las características extraídas. El éxito del reconocimiento depende la efectividad de la extracción de características. El sistema de visión artificial reconoce al 100% los círculos y triángulos, el porcentaje de reconocimiento de los cuadrados es del 85% y el 15% restante lo confunde con círculos. Teniendo un 95% de reconocimiento el sistema de visión artificial. El sistema es flexible ya que permite ingresar otros tipos de figuras, además que podemos cambiar el sistema de visión artificial con solo alterar algunos algoritmos de programación de software para que el robot realice otra aplicación. Un sistema de iluminación difusa (Indoor) es una herramienta muy efectiva en esta aplicación, ya que permite tomar imágenes muy nítidas y sin sombras que alteren la información de los objetos. VIII REFERENCIAS [1] De la Escalera Hueso, A, Visión por computador Fundamentos y Métodos, Prentice Hall, Madrid, [2] González y Woods, RC y RE, Tratamiento digital de imágenes, Adisson Wesley / Diaz de Santos, E.U.A, [3] Hilera y Martínez, JR y VJ, Redes Neuronales artificiales Fundamentos, modelos y aplicaciones, Adisson Wesley Iberoamericana, E.U.A, CURRICULUM VITAE Luis Antonio Carrillo Martínez. Pasante de Ingeniero. Universidad Autónoma de Tlaxcala. Facultad de Ciencias Básicas, Ingeniería y Tecnología. Décimo Semestre de la Licenciatura en Ingeniería en Sistemas Electrónicos. Áreas de especialidad: Sistemas Digitales Mecatrónica Visión y procesamiento de imágenes Robótica Redes Neuronales Miembro IEEE por 4 años desde el 2004 No de Miembro Miembro de la sociedad Robotics and Automation del IEEE desde 2004 Miembro de la sociedad Aerospace and Electronic Systems del IEEE en 2005 Vicepresidente de la Rama IEEE-UAT en