Vehículo-Robot para Aplicaciones de Control y Visión Artificial

Transcripción

1 Vehículo-Robot para Aplicaciones de Control y Visión Artificial Luis Carranza IMSE - CNM - CSIC Edificio CICA-CNM Avda./ Reina Mercedes s/n, Sevilla, SPAIN Elisenda Roca IMSE - CNM - CSIC Edificio CICA-CNM Avda./ Reina Mercedes s/n, Sevilla, SPAIN Ángel Rodríguez-Vázquez IMSE - CNM - CSIC Edificio CICA-CNM Avda./ Reina Mercedes s/n, Sevilla, SPAIN Resumen Este trabajo presenta el diseño del vehículo-robot LRC-1, ideado para aplicaciones de control y visión en tiempo real. El LRC-1 está compuesto por sistemas electrónicos y mecánicos. Los sistemas electrónicos se han basado en un microcontrolador, circuitería de control, adquisición de datos y cómputo sintetizada en lógica reconfigurable, un subsistema de comunicaciones bidireccional de radiofrecuencia, una cámara de vídeo y un transmisor de microondas. Las aplicaciones del robot son generales y actualmente se está usando como plataforma para el desarrollo de un SoC sensor-procesador para automoción. Con esa finalidad, en fase de descripción HDL se encuentran una unidad de detección temprana de colisiones inspirada en el sistema de visión del insecto langosta (Locusta migratoria) y un clasificador topológico-estadístico de objetos que en breve estarán sintetizados en lógica reconfigurable formando parte del LRC-1, junto con un sensor de imágenes CMOS de gran rango dinámico diseñado en el IMSE-CNM. Por otra parte, el sistema mecánico está compuesto por un motor eléctrico, un sistema de tracción diferencial y servomecanismos. El robot puede operar básicamente en tres modos: control manual, control automático gobernado por un ordenador y modo autónomo. 1. Introducción El desarrollo de algoritmos de visión artificial y circuitos integrados de adquisición y procesado de imágenes en tiempo real para aplicaciones en el sector de la automoción pasa por distintas etapas de testado que se cubren de manera económica y eficiente haciendo uso de modelos de vehículos y exteriores a escala. Este planteamiento permite poder testar en automóviles reales algoritmos y circuitos integrados de visión artificial que han madurado en el laboratorio, en condiciones controladas que se han ido complicando poco a poco, a medida que los algoritmos y los circuitos integrados van superando distintas situaciones y problemas tipo. Para cubrir estas etapas, se ha diseñado el vehículo LRC-1. Este robot puede ser gobernado desde un ordenador de manera automática o manual, recibe comandos y envía información sobre su estado por un canal de radiofrecuencia y transmite imágenes captadas por una cámara CCD con un emisor de microondas. La lógica reconfigurable que incluye se usa para el control del vehículo y como plataforma para el desarrollo de un ASIC sensor-procesador de visión artificial bioinspirado para la detección temprana de colisiones. 2. Descripción general del LRC-1 El LRC-1 es un vehículo automóvil a escala con propulsión eléctrica y con un sistema electrónico añadido que le permite ser controlado desde un PC. El sistema electrónico está concebido para soportar ampliaciones y está compuesto por un microcontrolador, una FPGA de la serie Spartan2E, un módem FSK, un transceptor de radio, una cámara de vídeo con sensor CCD y un emisor de microondas. Todos estos subsistemas se alojan en una placa de circuito impreso de 4 capas diseñada específicamente para el LRC-1. El sistema microcontrolador está basado en un núcleo compatible 80C51 y se ocupa del control del transceptor de radio (selección de frecuencia, control de la potencia de emisión), del módem FSK

2 (velocidad de transmisión-recepción de datos), la gestión de las comunicaciones por el canal de radio y con la unidad de control sintetizada en lógica reconfigurable. Esta última se encarga del control de los servomecanismos del vehículo, la lectura de los canales de realimentación (sensor de velocidad y sensor del ángulo de giro de las ruedas delanteras) y de la actividad de unos leds de monitorización. Una unidad de detección temprana de colisiones inspirada en el sistema de visión de la langosta y un clasificador topológico-estadístico de objetos han sido modelados y verificados para su síntesis en la lógica reconfigurable del vehículo y actualmente están en fase de descripción HDL. El transceptor de radio opera en la banda de 70cm (UHF) y está gobernado por una unidad que controla su potencia de emisión y la frecuencia de su oscilador. Esta unidad controla además la operación del módem FSK de altas prestaciones. El LCR-1 tiene cinco modos de operación: Modo 1: Recibe directamente comandos de control manual generados con ayuda de un joystick conectado a un ordenador. Modo 2: Recibe comandos de control generados en tiempo real por un programa que se ejecuta en un ordenador. Este toma decisiones de acuerdo con el resultado del procesado de las imágenes transmitidas por el LRC-1 y realiza cambios en su trayectoria y velocidad. Modo 3: Almacena, en la memoria del microcontrolador, una secuencia de comandos de control. Modo 4: Ejecuta la secuencia de comandos de control, previamente almacenada en la memoria del microcontrolador. Modo 5: Modo autónomo. El LRC-1 se desplaza y evita obstáculos por si solo. Actualmente están totalmente operativos los modos 1 y 3. Los modos 2 y 4 están muy avanzados, mientras que el modo 5 estará listo como resultado de la investigación y la experiencia que se acumule operando en el modo 2. La figura 1 ilustra un diagrama de bloques general de los sistemas electrónicos del LRC Sistema de comunicaciones Para poder cubrir las necesidades de intercambio de información que demanda el LRC-1 se ha diseñado un sistema de comunicaciones de radio paquetes flexible y ampliable que permite que hasta 128 LRC-1 y otros tantos ordenadores intercambien información compartiendo el mismo canal. Este sistema permite coordinar el control de los LRC-1 y monitorizar el estado de sus dispositivos. 4. Sistema de visión La circuitería dedicada al procesamiento de imágenes en tiempo real para la detección temprana de colisiones se compone de un procesador de propósito general y dos unidades de cómputo específicas que trabajan en paralelo. Estas unidades permiten estimar el riesgo de colisión del vehículo con los objetos que se encuentran en su entorno y realizar una clasificación topológica de éstos para evitar falsas alarmas de colisión (por ejemplo, no considerar alarma de colisión una línea de señalización de la calzada a la que se aproxima el vehículo). 5. Modelo sintetizable bioinspirado LGMD El modelo en el que se basa la unidad de cómputo bioinspirada es una versión adaptada para la integración VLSI del original propuesto en [1] y ha sido depurado en sucesivas etapas de refinamiento progresivo [2] [4]. Aquí sólo se enumeran las ideas principales, que justifican la elección de la arquitectura de la unidad de detección temprana de colisiones. Se trata de un modelo de una red de 4 capas sucesivas de neuronas retinotópicas presentes en las langostas, donde las 3 primeras capas convergen en el lóbulo detector gigante de movimiento (LGMD), una neurona de amplio campo que responde en función de la distancia y velocidad de los objetos que están en el campo visual de los fotorreceptores. Cada capa de neuronas extrae información de la anterior de forma destructiva (esto es, no es posible recomponer la información de la que se partió) realizando las siguientes operaciones (ver figura 2): Capa 1 (L1). Las unidades P representan una capa bidimensional de 100x150 transductores foto-

3 Figura 1. Diagrama de bloques general de los sistemas electrónicos del LRC-1 eléctricos que básicamente convierten la intensidad luminosa recibida en una señal eléctrica L ij ( 1 i 100, 1 j 150) que representa la imagen adquirida. Capa 2 (L2). Las neuronas ON-OFF obtienen un mapa de movimiento restando dos imágenes sucesivas: C ij = L ij L ij ( t t) Capa 3 (L3). La información que obtienen las neuronas ON-OFF es escalada por las neuronas I ij de inhibición: I ij = InhCoeff( n) Cij( t t) donde el coeficiente InhCoeff( n) depende del número de pulsos generados por la LGMD (capa 4) en 5 imágenes consecutivas. Además, las neuronas S realizan una rectificación de media onda y en ellas se produce una competencia entre las señales

4 Figura 2. Diagrama de bloques del modelo LGMD junto con los descriptores estadísticos generadas por las neuronas ON-OFF y las de inhibición I ij S ij = Max( C ij I ij ()0 t, ) Capa 4 (L4). En la LGMD se obtiene la excitación global et (), mediante una suma normalizada de todas las excitaciones S: et () i, j S ij = El potencial de esta neurona es solución de la ecuación temporal diferencial en el dominio z: LGMD( z) = α 2 z 2 LGMD( z) 1 + z LGMD( z) + α0 ez ( ) α 1 y genera un pulso cuando su potencial supera un umbral adaptativo dado por: V() z = β 3 z 14 vz ( ) + β 2 z 5 + z vz ( ) + β0 β 1 10 vz ( ) donde v() z es solución de la ecuación: v() z α 2 z 2 1 = vz ( ) + α 1 z vz ( ) + α0 ez ( ) Si en 5 imágenes consecutivas, la LGMD genera al menos 4 pulsos, se dispara la alarma de colisión. 6. Clasificador topológico-estadístico que parte de la información filtrada por las neuronas S de la capa 3, puesto que en éstas la información bidimensional combina el mapa de movimiento (capa 2) y la inhibición (capa 3, neuronas I ). Si se considera la suma de la contribución de cada una de las filas y columnas de neuronas S, se tiene: 150 v i = S ij para cada fila j = h j = S ij para cada columna i = 1 de manera que con la media y varianza de las v i y las h j, se tienen los siguientes descriptores: δ v = vt () σ v δ h = ht () σ h desviación vertical desviación horizontal Y con esta información se puede hacer la siguiente clasificación elemental 1. δ v > 0 & δ h < 0 2. δ v < 0 & δ h > 0 3. δ v > 0 & δ h > 0 & & (( Max{ h j }) ht ()) > a & & (( Max{ v i }) vt ()) > b El caso 1 corresponde a objetos con formas predominantemente verticales (personas, señales de tráfico) y el 2 a objetos con formas en las que domina la componente horizontal (líneas de tráfico sobre la calzada). En el caso 3 las variables a y b se ajustan básicamente en función del rango dinámico de los píxeles de las neuronas S y de las dimensiones de los objetos que se van a identificar (vehículos, obstáculos). Los resultados experimentales muestran que con esta clasificación, si se produce una alarma de colisión, se realiza una identificación correcta de objetos en el 73% de los casos. Para realizar clasificaciones topológico-estadísticas de objetos, se usa el modelo propuesto en [2],

5 7. Arquitectura del sistema de visión La arquitectura del sistema de visión, basado en los modelos de las secciones 5 y 6, se presenta en la figura 3. Los requerimientos de cálculo de este sistema son del orden de 10 MOPS (comparaciones, sumas, restas y multiplicaciones por constantes) con un acceso intensivo a la memoria de imágenes y a registros locales e intermedios. En esta arquitectura el procesador de propósito general tiene muy baja carga de cómputo. Para operar sobre las imágenes, éstas son descompuestas en líneas que se almacenan en registros intermedios a los que acceden unidades de cómputo elementales programables, que realizan las operaciones vectoriales correspondientes a las neuronas ON-OFF, las neuronas de inhibición I, las de excitación S y las sumas parciales de las contribuciones de las neuronas S. Las unidades LGMD y extractor de formas realizan básicamente operaciones escalares. Mientras que la unidad LGMD produce directamente alarmas de colisión, es el procesador de propósito general el que clasifica los objetos en función de la información estadística que proporciona el extractor de formas. La unidad de control sintetizada en la FPGA está compuesta por un conversor serie-paralelo, un decodificador de instrucciones, un gestor de interrupciones junto con un bus interno de comunicaciones que conecta el decodificador de instrucciones con los controladores de dispositivos del vehículo (ver figura 1). Todos los módulos de la unidad de control trabajan en pipeline. Las comunicaciones microcontrolador-unidad de control se realizan a través de un puerto serie síncrono no periódico, para evitar que el microcontrolador pierda datos al tratar las comunicaciones por el canal de UHF. Una vez que la unidad serie-paralelo recibe un dato sin errores, éste se copia en un registro de recepción en el que se almacenan datos hasta componer instrucciones completas. El decodificador descompone las instrucciónes y determina a qué dispositivo van destinadas. Al mismo tiempo vacía el buffer de recepción e indica al conversor serieparalelo que está libre para realizar peticiones de entrada-salida al microcontrolador. Las peticiones de escritura en el bus de los gestores de los sensores y de la unidad de entrada-salida son gestionadas por un controlador de interrupciones que asigna prioridades entre módulos y arbitra todas las peticiones de escritura. Los errores en los argumentos de las instrucciones son filtrados en los dispositivos a los que van destinadas. 9. Aplicaciones Acualmente se usa el LRC-1 en la investigación de sistemas de visión artificial bioinspirados para la detección temprana de colisiones en automoción. El método de trabajo es el siguiente. Primero se realiza un control manual del LRC-1, que se desplaza sobre un escenario en el que se han incluido objetos con los que se hace colisionar. Simultáneamente, un ordenador opera sobre las imágenes captadas y transmitidas por el LRC-1 con un algoritmo 8. Unidad de control Figura 3. Arquitectura del procesador de imágenes

6 basado en el modelo LGMD. El resultado de las pruebas permite mejorar el modelo que evalúa el riesgo de colisión. A continuación se realiza un control por ordenador, en el que se combina la evaluación del riesgo de colisión con distintas maniobras destinadas a evitarla o minimizar sus efectos, en el caso en el que ésta fuera inevitable. Por último se hace uso del sensor de imágenes CMOS de gran rango dinámico y las unidades LGMD y clasificador topológico-estadístico sintetizadas en lógica reconfigurable. Se pretende que el fruto de este trabajo sea un SoC para la adquisición de imágenes y detección temprana de colisiones en tiempo real [3]. La figura 4 presenta una fotografía del LRC Conclusiones Se ha presentado el vehículo-robot LRC-1 para tareas de generales de control y visión artificial. El LRC-1 está compuesto por sistemas electrónicos ampliables y mecánicos. Los sistemas electrónicos se han basado en un microcontrolador de 8 bits, circuitería de control y adquisición sintetizada en una FPGA, un subsistema de comunicaciones bidireccional semidúplex de radiofrecuencia, una cámara de vídeo y un transmisor de microondas. La lógica reconfigurable que incluye el robot se está usando como plataforma para el desarrollo de un ASIC sensor-procesador para aplicaciones en automoción que incluye un procesador de propósito general, un detector de colisiones basado en la visión natural del insecto Locusta migratoria y un clasificador topológico-estadístico de objetos. Con estos módulos operativos, las imágenes son adquiridas con un sensor de imágenes CMOS de gran rango dinámico. Por otra parte, el sistema mecánico está compuesto por un motor eléctrico, un sistema de tracción diferencial a las cuatro ruedas y servomecanismos. El robot puede operar en tres modos: manual, automático y autónomo. Agradecimientos Este trabajo ha sido financiado parcialmente por los proyectos IST (LOCUST) y TIC C02-01 (VISTA). Referencias Figura 4. Fotografía del LRC-1 [1]F.C. Rind and P.J. Simmons, "Seeing what is coming: building collision-sensitive neurones". Trends Neuroscience 22(5), pp Mayo [2]J.Cuadri, G.Liñán, R.Stafford, M.S.Keil, E.Roca, A bioinspired collision detection algorithm for VLSI implementation, 2005 SPIE conference on Bioengineered and Bioinspired System Sevilla, España, Mayo 2005, se publicará en los Proceedings de SPIE Vol [3]R. Laviana, L. Carranza, S.Vargas, G. Liñan, E.Roca, A bioinspired Vision chip architecture for collision detection in automotive aplications, 2005 SPIE conference on Bioengineered and Bioinspired System Sevilla, España, Mayo 2005, se publicará en los Proceedings de SPIE Vol [4]Yue S., Rind F.C., Keil M.S., Cuadri J. & Stafford R. "A bio-inspired visual collision detection mechanism for cars: Optimisation of a model of a locust neuron to a novel environment", enviado a Neurocomputing, Octubre de 2004.