DETECCIÓN DE OBSTÁCULOS BASADA EN DISPARIDAD-V PARA UN VEHÍCULO ECOLÓGICO EN CARRETERAS NO ESTRUCTURADAS

Transcripción

1 DETECCIÓN DE OBSTÁCULOS BASADA EN DISPARIDAD-V PARA UN VEHÍCULO ECOLÓGICO EN CARRETERAS NO ESTRUCTURADAS Jonatán Felipe, Leopoldo Acosta, Marta Sigut, Jonay Toledo y Néstor Morales Departamento de Ingeniería de Sistemas y Automática y Arquitectura y Tecnología de Computadores Universidad de La Laguna Avda. Francisco Sánchez, s/n , La Laguna (Tenerife),{jonatan, leo, marta, jonay, nestor}@isaatc.ull.es Resumen En este artículo se presenta el desarrollo y los resultados obtenidos con el sistema de detección de obstáculos diseñado para el prototipo Verdino, orientado a la circulación en entornos no estructurados. El entorno en el que se desenvolverá el vehículo es el Instituto Tecnológico y de Energías Renovables (ITER), ubicado en el sur de la isla de Tenerife, enmarcado dentro del proyecto 25 viviendas bioclimáticas. Debido a la situación del ITER y las condiciones climáticas de la zona, además de los problemas habituales de los entornos no estructurados las condiciones de luminosidad en este caso son extremas. El sistema de detección implementado utiliza la técnica basada en la metodología de la Disparidad-V permite la detección de posibles obstáculos y la distancia a la que se encuentran de manera eficiente y robusta, características importantes en un sistema de tiempo real y transporte de personas. Palabras Clave: Autoguiado, carretera no estructurada, disparidad-v 1 INTRODUCCIÓN El Cabildo Insular de Tenerife creó el Instituto Tecnológico y de Energías Renovables en Diciembre de 1990, como un proyecto pionero en la isla de Tenerife. Su objetivo es potenciar trabajos de investigación y desarrollo tecnológico relacionados con el uso de las energías renovables, así como otros proyectos para la mejora del desarrollo socioeconómico regional del archipiélago canario. El proyecto de urbanización de 25 viviendas bioclimáticas en el ITER lleva aparejado una serie de acciones paralelas para dotar de servicios a los residentes y visitantes de esta urbanización. Uno de estos servicios consiste en proporcionar un sistema de transporte interno que permita un acceso desde el centro de visitantes hacia las viviendas, teniendo en cuenta que pueden darse distancias mayores a un kilómetro entre este centro y las viviendas más distantes al mismo. Fieles al compromiso con el medio ambiente y el uso de energías renovables, se pretende que el sistema de transporte permita garantizar un nivel de emisión cero de CO 2 a partir de la utilización de vehículos eléctricos. Partiendo de la premisa del uso exclusivo de este tipo de vehículos para el transporte interno en la urbanización, se plantea la posibilidad de permitir que estos vehículos puedan transportar a pasajeros aun cuando éstos no sepan o no puedan hacer uso de los mismos. Una solución podría consistir en que el ITER tuviera una plantilla de conductores, siempre a disposición de los visitantes y residentes, para realizar el transporte en caso necesario. Otra solución, más acorde con las características del Instituto, consistiría en dotar a estos vehículos de un sistema de conducción automática que permitiese que los mismos pudiesen realizar los trayectos necesarios sin intervención humana, es decir, planteándose el uso de vehículos autoguiados para el transporte de personas dentro de la urbanización. El objetivo del proyecto es lograr el desarrollo de un sistema de guiado para vehículos eléctricos que permita que los usuarios puedan llevar a cabo diferentes trayectos bajo demanda dentro de un entorno predeterminado. El modo de funcionamiento de este sistema se podría asimilar al de un taxi, al que los usuarios pueden acceder bien desde una parada o mediante una llamada, y al que una vez en el interior se le indica un destino. 2 CARACTERÍSTICAS DEL ENTORNO El entorno en el que se desenvolverá el sistema es complicado. Se trata de lo que ha sido denominado por algunos autores como carreteras no estructuradas [3]. Las principales características de este tipo de carreteras son:

2 Ausencia de líneas que delimitan los bordes de la carretera. Bordes de carretera degradados. Posibles defectos, como grietas, en la superficie de la carretera. Problemas causados por sombras. No disponibilidad de un mapa del camino. En el caso particular de la aplicación a desarrollar en el ITER el vehículo circulará por el recorrido de la Figura 1 que enlaza las 25 viviendas y el centro de visitantes. Se pueden detallar en mayor medida las características que hacen que se trate de una carretera no estructurada. Las carreteras por las que circulará el vehículo carecen de señalización alguna: no existen ni marcas viales ni señalización vertical. Debido a que la carretera se encuentra bordeada por un terreno árido, y al viento que constantemente sopla en la zona, es frecuente que la tierra oculte los bordes de la vía. Actualmente la superficie del asfalto presenta un buen acabado, sin embargo, los bordes no son completamente rectos y presentan defectos y deterioro. La existencia de muros en los bordes de la carretera en algunas zonas y de edificios, por ejemplo el centro de visitantes, hacen que, dependiendo de la zona y de la hora del día, puedan aparecer sombras que dificulten la detección de la carretera. eventos que se le presenten. Además, el hecho de que el vehículo sea eléctrico provoca menores vibraciones que uno de combustión, pero aún así éstas pueden producirse dependiendo del estado del firme de la calzada, del sistema de amortiguación, y de la fijación del sistema de visión al vehículo. Las vías por las que se circula no son utilizadas exclusivamente por los vehículos autoguiados. Debe tenerse en cuenta la existencia de tráfico en ambos sentidos, además de peatones y algunos animales. Las condiciones de iluminación en las que se desenvuelve el sistema son extremas. Existe gran luminosidad durante la mayor parte de los días del año por lo que se necesita regular de alguna manera la cantidad de luz que incide sobre el sensor para evitar obtener imágenes saturadas. Esta regulación deberá depender del estado metereológico, de la hora del día en que se esté utilizando el sistema, y de la posición del sol respecto a la cámara. 3 PROTOTIPO VERDINO El prototipo desarrollado en el presente proyecto recibe el nombre de Verdino, nombre común de un lagarto endémico canario. Verdino, como se puede observar en la Figura 2, ha sido construido sobre la base de un vehículo eléctrico de la compañía EZGO utilizado fundamentalmente en campos de golf. Se trata de un vehículo de serie sin ninguna automatización, por lo que en primera instancia ha habido que llevar a cabo una adaptación electromecánica para permitir su control de forma automatizada. Se ha elegido este vehículo por su diseño compacto y sencillo, su pequeño tamaño y porque se trata de un vehículo eléctrico lo cual va en sintonía con el respeto al medio ambiente en que se basa parte de este proyecto. La automatización del prototipo implica adaptar los sistemas de dirección, frenado y tracción. Figura 1: Circuito ubicado en el ITER Además existen otras especificidades del problema que deben ser tenidas en cuenta a la hora de evaluarlo, ya que influirán en gran medida en la complejidad del algoritmo a implementar para el funcionamiento del sistema de visión. El sistema de visión será instalado sobre un vehículo eléctrico que se desplazará a una velocidad relativamente baja respecto a la de los vehículos convencionales. Esto permite al sistema disponer de mayor tiempo de reacción ante los Figura 2: Prototipo Verdino

3 Cada uno de estos sistemas de control ha sido estudiado en profundidad, para así obtener la solución más adecuada, que permita cumplir las especificaciones técnicas pretendidas para obtener un vehículo autónomo. Uno de los objetivos buscados en la adaptación mecánica consiste en no inutilizar el funcionamiento original del vehículo, es decir, que las modificaciones mecánicas que se realicen para acoplar el automatismo diseñado no inutilicen el vehículo para su conducción manual. Las modificaciones realizadas sobre el vehículo son las siguientes: Sistema de dirección: Posiciona de una forma precisa el eje de la dirección, para que el vehículo sea capaz de seguir cualquier trayectoria. El control del mismo se realiza utilizando un motor acoplado mecánicamente al eje del volante. Sistema de frenado: En este sistema, la acción producida por el pedal de freno es sustituida por un sistema mecánico acoplado a un motor. Sistema de tracción: Se ha modificado el sistema de control del motor que incorpora el vehículo para poder manejarlo desde un sistema electrónico. Los procesos que componen todo el sistema de control deberán realizarse de forma simultánea. Un potente microcontrolador será el encargado de gestionar toda la información necesaria para conseguir el buen funcionamiento de todo el sistema. 4 DETECCIÓN DE OBSTÁCULOS El proceso de detección de obstáculos mediante visión persigue dos objetivos interrelacionados. En primer lugar debe poder obtener la localización efectiva de los posibles obstáculos en la imagen. En segundo, es necesario determinar la distancia hasta los mismos para que un sistema de toma de decisiones seleccione la mejor medida a adoptar. Para poder determinar la distancia hasta un obstáculo es necesario disponer de información de profundidad. Puesto que a partir de una única imagen no es posible extraer este dato, es necesario utilizar un sistema compuesto por, al menos, dos cámaras. En el caso del sistema de visión del prototipo Verdino se trata de una cabeza binocular. Existe una gran variedad de técnicas para llevar a cabo por separado las dos tareas necesarias para la detección de obstáculos, que a grandes rasgos consisten en realizar algún procesamiento independiente sobre cada una de las imágenes para detectar los candidatos a obstáculo, haciendo un segundo procesamiento que establezca las relaciones entre los detectados en la imagen derecha y los de la izquierda, haciendo uso posteriormente de la estereoscopía para determinar la distancia hasta los mismos. En el sistema de detección de obstáculos implementado se usa la técnica de Disparidad-V, que permite fundir las dos primeras etapas, procesando de manera conjunta la información de las dos imágenes produciendo un resultado intermedio sobre el que se pueden aplicar directamente las relaciones geométricas del sistema de visión para establecer la distancia hasta los obstáculos. 4.1 SISTEMA DE VISIÓN Una forma de estimar la profundidad de cada uno de los puntos de la escena es mediante el cálculo de la disparidad entre las imágenes de la misma. Para definir la disparidad es necesario establecer la configuración del sistema de visión. En este caso, como se observa en la Figura 3 se trata de un sistema con tres grados de libertad, de manera que ambas cámaras pueden moverse de manera solidaria en sentido vertical, y de manera independiente en el horizontal. O d X X d b Imagen derecha θ 1 + π/2 Y d θ 2 Z d O i Imagen izquierda Figura 3: Representación esquemática del sistema binocular Donde: θ i representan los diferentes grados de libertad de la estructura del sistema de visión. h es la altura de las cámaras al suelo b es la distancia entre las cámaras -Y X i Y i θ 3 Z i h Z

4 En el sistema de coordenadas de la cámara, la posición de un punto en el plano imagen viene dado por sus coordenadas (u, v). Las coordenadas imagen de la proyección del centro óptico se denotan como (u 0, v 0 ) y se asumen en el centro de la imagen. Los parámetros intrínsecos de la cámara son f (distancia focal de la lente), t u y t v (tamaño de los píxeles en u y v). También se definen los factores α u =f/t u y α v =f/t v, pudiéndose hacer la aproximación α u α v = α. tendencia de la imagen [2][5]. Además, como se ha dicho anteriormente, todos los puntos de un objeto deben presentar un valor de disparidad muy parecido, por lo que aparecerán en la imagen de disparidad como una línea vertical. En la Figura 4 se pueden observar estas características en un par estéreo generado de forma sintética. La disparidad-v es un caso particular en el que se hace uso de la restricción epipolar para limitar el espacio de búsqueda a una sola línea de la imagen. Es decir, para un píxel de la imagen izquierda I(u i,v i ) habrá que localizar su correspondiente en la imagen derecha D(u d,v d ), donde v i = v d = v. Para la aplicación de esta técnica, el uso de imágenes de color no aporta información, por lo que las imágenes se convierten a escala de grises una vez se capturan [2]. La forma de determinar la correspondencia entre los elementos de la imagen derecha e izquierda consiste en obtener el máximo valor de correlación entre los niveles de gris de los mismos. En base a esto, es posible definir un espacio de disparidad tridimensional (u d, v, ) en el cual, para cada píxel (u d, v), se representa el valor de disparidad ( =u i -u d ) que proporciona una correlación máxima [5] y que, por tanto, representa el desplazamiento entre ambas imágenes que produce una mejor correspondencia. A esta imagen resultante se le denomina mapa de disparidad. De manera intuitiva, se puede observar que en este espacio de disparidad, aquellos elementos de la imagen que se encuentren a distancias similares, por efecto de la perspectiva de las imágenes, deben presentar valores de disparidad similares Interpretación del mapa de disparidad Teniendo en cuenta todo lo anterior, un método sencillo de interpretar la información proporcionada por el mapa de disparidad, consiste en obtener la denominada imagen de disparidad [5]. En esta imagen se representa en el eje de abscisas el valor de la disparidad, en el de ordenadas la fila de la imagen correspondiente u d, y en el tercer eje el número de veces que se repite un valor de disparidad en una fila. Es decir, se trata de una imagen en la que cada fila contiene el histograma, en valores de disparidad, de cada fila del mapa de disparidad. Puesto que en una imagen cualquiera, por efecto de la perspectiva, en la zona más cercana a la cámara la disparidad es máxima, y en la más alejada es cero, aparecerá un segmento inclinado que representa la Figura 4: Imágenes sintéticas e Imagen de disparidad calculada Consideraciones de implementación Como paso previo a la aplicación de lo descrito con anterioridad se realiza un preprocesamiento que conduce a reducir la cantidad de información a procesar y a seleccionar aquélla más relevante. En concreto se utiliza una variación del filtrado de Sobel para la detección de los bordes de ambas imágenes, tomando sólo aquellos que sean verticales, puesto que son los que delimitan los obstáculos en la dirección v de interés. Además de esto, el umbralizado necesario para el filtrado se hace de un modo particular, construyendo una imagen ternaria [1], como la que se puede observar en la Figura 5, con valores (-1, 0, 1) de modo que se etiquetan de manera diferente las transiciones de claro a oscuro y viceversa. Figura 5: Ternarización de una de las imágenes del par estéreo

5 Para eliminar la gran cantidad de bordes superfluos que no representan obstáculos, sino imperfecciones en la imagen, se puede realizar previamente un filtrado de las imágenes originales. De esta manera se mejora notablemente el resultado final. El método escogido para el cálculo de la correlación entre ambas imágenes es el SAD (Suma de los valores absolutos de las diferencias) que se implementa de modo que se trata de optimizar el número de cálculos para evitar operaciones redundantes [4]. Para mejorar los resultados, en lugar de buscar el máximo de correlación píxel a píxel, se utiliza una ventana de vecindad, por lo que se trata de maximizar la correlación entre el píxel actual y un entorno del tamaño de la ventana en la fila, y su entorno correspondiente. 4.2 DETERMINACIÓN DE LOS OBSTÁCULOS En la Figura 6 se presenta un par de imágenes estéreo tomadas con las cámaras en paralelo, así como el mapa de disparidad resultante y la imagen de disparidad obtenida. Se puede observar cómo existe una línea vertical que se corresponde con el vehículo del fondo y una segunda línea vertical que coincide con el peatón. Asimismo se observa claramente la línea oblicua que representa la tendencia del plano del terreno. representa el terreno. Sin embargo, para el caso de las líneas verticales se usa una técnica diferente con un menor coste computacional. En primer lugar se aplica la transformada de Hough a la imagen de disparidad para determinar un conjunto de líneas de pendiente negativa y pronunciada. De este conjunto de líneas se escoge la mejor candidata a línea para representar la tendencia del terreno. A continuación, se obtienen las líneas verticales que representan los posibles obstáculos. Para ello, se binariza la imagen de disparidad, dejando a cero todos aquellos puntos que ya lo estaban y a uno todos los que eran distintos de cero. Una vez hecho esto, se realiza la búsqueda de máximos locales en el histograma que acumula el número de unos en cada columna de la imagen de disparidad binaria. De entre estos máximos solo se tomarán como obstáculos aquéllos que cumplan una serie de condiciones, de manera que se minimicen los falsos obstáculos. Estas condiciones deben garantizar que las líneas muy cortas se descarten, así como aquellas con una disparidad muy pequeña, ya que para valores pequeños de disparidad (zonas muy alejadas) se produce un gran número de casamientos que no se corresponden con obstáculos. nº de píxeles Figura 7: Detección de obstáculos a partir del histograma de la imagen de disparidad binarizada Figura 6: Par de imágenes estereoscópicas, mapa de disparidad obtenido e imagen de disparidad Estas líneas son de especial interés, tanto cara a la detección y determinación de la posición de los obstáculos, como para la definición de la posición del horizonte. La detección de líneas puede abordarse directamente mediante el uso de la Transformada de Hough, y es la forma en que se determina la línea que En la Figura 7 se ilustra el resultado de la detección de obstáculos. La línea verde representa el histograma calculado para la imagen de disparidad de la Figura 6, en azul se indica el resultado de filtrar el histograma para eliminar aquellos máximos locales irrelevantes. Las líneas rojas indican los máximos locales descartados, y las líneas cian los que se han seleccionado. Posteriormente se descartan todos aquellos máximos correspondientes a un valor de disparidad inferior a 10, por representar falsos obstáculos lejanos.

6 Además, se han descartado todos aquellos puntos del histograma binario que quedan por debajo de la línea del terreno, reduciendo así las posibilidades de detección de falsas líneas suficientemente largas como para aparentar ser obstáculos. 5 MEDIDA DE DISTANCIA Una vez se han identificado los posibles obstáculos es posible calcular la distancia a la que se encuentran haciendo uso de las relaciones geométricas que se dan en el sistema de visión. En la Figura 3 se pueden observar dichas relaciones. (1) En la Figura 8 se representa el porcentaje de error que se introduce al no tener en cuenta el término. En el plano horizontal se representa el valor de los ángulos θ 2 y θ 3, considerándolos iguales, mientras que en el eje vertical se indica el porcentaje de error. El plano horizontal representa el corte para un error del 10%, tomado como un valor aceptable de error. Es importante el hecho de que este error siempre es por defecto, lo que implica que en el peor de los casos el efecto será detectar un obstáculo más cerca de lo que realmente está, por lo que se anticipará la reacción del vehículo disminuyendo el riesgo de una posible colisión. θ 2 (2) De acuerdo con los trabajos de Labayrade [6], la distancia se puede calcular mediante la expresión (1) en la que entra en juego el ángulo θ 1 que hace referencia al ángulo entre el eje óptico de las cámaras y el suelo. Sin embargo, en el caso particular del sistema de visión de Verdino, se emplea la articulación θ 1 de la cabeza binocular para compensar esta variación. Por tanto esa contribución puede considerarse constante y la expresión (2) es válida para la medida de distancia. Además se ha realizado la simplificación de no tener en cuenta los grados de libertad θ 2 y θ 3, ya que su inclusión hace necesario la obtención de información adicional a la disparidad ( ) para la medida de distancias. En concreto sería necesario disponer al menos de la coordenada en la cual se proyecta el objeto en la imagen derecha. Puesto que los cálculos necesarios para la obtención de este dato resultan demasiado costosos se ha optado por la expresión (2), realizándose un análisis del error introducido. % Figura 9: Vista cenital de la superficie de error La Figura 9 representa la misma información que la Figura 8 pero con una vista cenital. De esta forma es posible observar aquellos valores para los cuales el error se mantiene por debajo del 10%. Se observa que para valores de θ 2 y θ 3 por debajo de 10º el error siempre se mantiene bajo el umbral fijado. 6 CONCLUSIONES En este trabajo se ha abordado el problema de la detección y medida de obstáculos siguiendo una metodología basada en la técnica de disparidad-v. Se han presentado los fundamentos de la técnica empleada así como las claves de la implementación realizada. θ 2 Mediante el uso de la disparidad-v es posible obtener la imagen de disparidad (a partir de un par de imágenes) que es fácilmente interpretable para los fines perseguidos. De esta manera, la detección de obstáculos se limita a la identificación de líneas verticales en la imagen de disparidad. También se han presentado estrategias para la mejora del rendimiento del algoritmo en pos de una implementación en tiempo real. Figura 8: Superficie de error introducido al descartar Finalmente se ha expuesto el método empleado para la medida de distancias a los obstáculos, información

7 que será comunicada a un sistema supervisor de toma de decisiones para la navegación del prototipo. Además se ha llevado a cabo un estudio y posterior discusión de varias alternativas para el cálculo de la distancia, justificando la opción elegida. Agradecimientos Queremos expresar nuestro agradecimiento a los responsables del ITER por la colaboración que nos han prestado para la realización de este trabajo. Asimismo, nuestro agradecimiento al Ministerio de Ciencia y Tecnología que, con el proyecto DPI , ha financiado el desarrollo del prototipo Verdino. Referencias [1] Broggi, A., Caraffi, C., Fedriga, R.I. y Grisleri, P., (2005) Obstacle Detection with Stereo Vision for Off-Road Vehicle Navigation, Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 05). [2] Broggi, A., Caraffi, C., Porta, P.P. y Zani, P., (2006) The Single Frame Stereo Vision System for Reliable Obstacle Detection used during the 2005 DARPA Grand Challenge on TerraMax TM, Proceedings of the IEEE Intelligent Transportation Systems Conference, Toronto, Canada. [3] Crissman, J.D. y Torpe, C.D., (1991) UNSCARF, A Color Vision System for the Detection of Unustructured Roads, Proceedings of the IEEE International Conference on Robotics and Automation, pp [4] Graffigna, J.P., Romero, L.E. y Romo, R, (2005) Evaluación de métodos para la obtención del mapa de disparidad en sistemas de visión estéreo. XV Congreso argentino de bioingeniería, Argentina [5] Labayrade, R. y Aubert, D., (2003) In-Vehicle Obstacles Detection and Characterization by Stereovision, IEEE In-Vehicle Cognitive Computer Vision Systems, Graz, Austria. [6] Labayrade, R., Royere, C., Gruyer, D. y Aubert, D., (2005) Cooperative Fusion for Multi- Obstacles Detection with Use of Stereovision and Laser Scanner, Autonomous Robots 19,