Corrección visual de un robot móvil con homografías

Transcripción

1 Corrección visual de un robot móvil con omografías R. Martínez Dpto. de Informática e Ingeniería de Sistemas, Universidad de Zaragoza Maria de Luna 3, E-518, Zaragoza 44676@celes.unizar.es C. Sagüés Dpto. de Informática e Ingeniería de Sistemas, Universidad de Zaragoza Maria de Luna 3, E-518, Zaragoza csagues@unizar.es J. J. Guerrero Dpto. de Informática e Ingeniería de Sistemas, Universidad de Zaragoza Maria de Luna 3, E-518, Zaragoza jguerrer@unizar.es Resumen Presentamos un método para la localización de un robot móvil de interiores basada en imágenes del entorno capturadas previamente. El procedimiento emplea un sistema monocular de visión donde las imágenes son emparejadas en base a los contornos rectos verticales extraídos de la escena. Una vez emparejadas las imágenes, se calcula la omografía correspondiente entre ambas de la que se extrae el movimiento realizado, y que permite corregir las lecturas odométricas. El método a resultado ser especialmente útil en la estimación de movimientos de rotación que se corresponden con los errores más críticos de los sistemas odométricos. Se a estudiado la fiabilidad y robustez del sistema en simulación, con imágenes reales en una mesa de calibración e integrando el método de corrección en el sistema de navegación de una silla de ruedas autónoma. Palabras Clave: robótica, visión, navegación en interiores, omografías, emparejamiento robusto. 1 INTRODUCCIÓN La navegación de robots incluye el uso de comandos para mover el robot a una localización deseada. Dentro de estos comandos se requieren la posición y orientación a ser alcanzadas por el robot y presuponen una buena medición del movimiento realizado. Sin embargo, los errores odométricos y los deslizamientos pueden acer que la localización deseada no sea alcanzada. Así pues, es necesario el empleo de otros sistemas de percepción de los que la visión es quizás el más ampliamente estudiado. Basándose en sistemas de visión, algunos veículos autónomos son capaces de ejecutar tareas empleando marcas y otros sistemas de localización global (navegación basada en mapas. Otros sistemas [4], realizan tareas específicas de construcción de mapas del entorno empleando sistemas calibrados con precisión (navegación basada en la construcción de mapas. Nuestro sistema podría ser incluido dentro de un tercer grupo denominado navegación sin mapas [5] ya que el robot puede ejecutar tareas de forma autónoma sin necesidad de mapas o marcas preparadas previamente. En nuestro trabajo, las localizaciones objetivo son especificadas con imágenes memorizadas en la fase de aprendizaje. En la fase de repetición se compara la imagen actual con la imagen aprendida. De este modo se obtiene una trasformación proyectiva para mover el robot a la localización deseada. Las características geométricas extraídas y emparejadas son líneas rectas, las cuales presentan algunas ventajas [6] con respecto a los puntos, especialmente en entornos construidos por el ombre. Este tipo de navegación, empleando una representación de la ruta con una secuencia de imágenes, a sido considerada en trabajos previos realizando una correlación basada en el emparejamiento de la imagen actual y la de referencia de una secuencia memorizada [1]. Las imágenes originales son comprimidas para evitar elevado consumo de memoria. Sin embargo, actualmente la extracción y emparejamiento de información geométrica de imágenes no supone un coste temporal elevado, y aproximaciones basadas en parámetros geométricos son menos sensibles al ruido y a cambios en la iluminación que otras. En nuestro trabajo, el consumo de memoria es muco menor ya que sólo se almacenan las líneas extraídas. Otros autores [12], también usan líneas verticales para

2 corregir el movimiento de un robot pero empleando un sistema calibrado de visión trinocular, aunque los puntos son la característica más utilizada [2],[11]. Además de un estudio de precisiones y robustez del planteamiento propuesto, se an realizado pruebas en una silla de ruedas motorizada con un sistema de navegación autónoma para comprobar el funcionamiento en tiempo real del sistema en un entorno de interior. 2 CALCULO DE HOMOGRAFÍAS 2D Como se a explicado, en este trabajo se supone que la información del movimiento se obtiene de la comparación de la imagen actual con una imagen previamente grabada, ambas tomadas con la misma cámara. Una omografía relaciona dos imágenes en perspectiva en donde puntos o líneas de un plano de la escena en una imagen están relacionados con puntos o líneas de la otra imagen. Esta relación es válida si la escena es plana o si el desplazamiento de la cámara es pequeño [9]. Nuestra aproximación se basa en el empleo de líneas rectas debido a su abundancia en entornos construidos por el ombre y a que poseen una definición matemática simple. Estas pueden ser extraídas de forma más precisa que los puntos y pueden ser usadas incluso aunque exista oclusión parcial. Para extraer las líneas se usa el método planteado por Burns [3]. Como se observa en la figura 1, una vez que son extraídas las líneas en ambas imágenes, estas se emparejan automáticamente asta extraer la omografía correspondiente como a sido presentado anteriormente [8]. Inicialmente, las rectas extraídas son emparejadas empleando parámetros geométricos y de brillo. A partir de aí, se calcula la omografía por métodos robustos, permitiendo detectar y eliminar emparejamientos erróneos y mejorando el número de emparejamientos finales. En mucos casos, y especialmente cuando el robot se mueve en entornos realizados por el ombre, el movimiento se realiza sobre un plano y las líneas verticales aportan información suficiente para resolver el problema. Para las líneas verticales, sólo la coordenada x es relevante y los cálculos se simplifican. Como la omografía presenta aora sólo tres parámetros y cada línea vertical aporta una ecuación, tres líneas verticales son suficientes. En este caso el parámetro referido a la orientación de las líneas es descartado porque no tiene sentido. En la práctica las líneas son agrupadas según su orientación en 2 grupos incompatibles entre si dependiendo si su orientación es de 9 o 27 grados respectivamente. El emparejamiento propuesto es similar al presentado para las líneas en cualquier dirección [8]. Aquí, podemos usar la formulación basada en puntos porque una línea puede ser representada proyectivamente como un punto con coordenadas (x, 1. Por lo tanto, por cada línea vertical con coordenadas x m1 y x m2 en cada imagen respectivamente tenemos λxm = λ xm 1 = m H que aporta una ecuación para resolver H 21 x 1, ( m 1 m1 m2 m2 =. ( ( x 1 x x x Con las coordenadas de al menos tres líneas verticales podemos construir una matriz M 3x4. La omografía solución corresponde con el vector propio asociado al último valor propio de la matriz M T M y puede ser resuelto mediante una descomposición en valores singulares de la matriz M. Como se a comentado, es necesario el uso de técnicas de estimación robusta para detectar la presencia de espúreos. Nosotros empleamos el método de la mínima mediana de los cuadrados para determinar la transformación proyectiva y eliminar automáticamente emparejamientos erróneos. Figura 1: Imágenes con las líneas rectas emparejadas.

3 z r x ϕ H 21 dcϕc θ + tzsϕs θ txsϕc θ = Cϕ dcϕs θ tzsϕc θ txsϕs θ fcϕ f ( dsθ tzsθ + txcθ dcθ tzcθ txsθ (5 H1r z c1 Figura 2: Localizaciones de las cámaras en la primera y segunda imágenes (c1 y c2 y la escena (r. 3 CORRECCIÓN APROXIMADA A PARTIR DE UNA HOMOGRAFÍA 3.1 HOMOGRAFÍAS 2D Y MOVIMIENTO PLANO Supongamos imágenes 1D de escenas planas en 1D (figura 2. La localización del sistema de referencia de la cámara en la primera imagen respecto del sistema de referencia asociado a un plano de la escena puede ser representada como una transformación omogénea d x z c2 H12 H2r Cϕ Sϕ T 1r = Sϕ Cϕ d, (3 1 siendo d la distancia y Sφ y Cφ el seno y el coseno del ángulo relativo entre ambas referencias (figura 1. Análogamente, la transformación entre las dos localizaciones de la cámara puede escribirse como Cθ Sθ t x T = 12 Sθ Cθ t z. (4 1 La omografía puede ser expresada en función del movimiento entre las imágenes, la estructura de la escena y la geometría de la cámara como [7]: θ x En este caso, se a considerado una retina normalizada con el sistema de referencia centrado, siendo f la distancia focal. Si sobre esta expresión general asumimos que el desplazamiento de la cámara es pequeño frente al efecto del giro, desaparece la influencia de la escena y podríamos estimar el giro a partir de los elementos de la matriz H 21 fuera de la diagonal y divididos por el ultimo elemento, que son: µ = ; t = De este modo la rotación puede ser aproximada de dos formas, con µ y t, siendo ambas proporcionales a tan(θ a través de un parámetro que depende de la distancia focal y del formato de la imagen, y que suele determinarse mediante una calibración previa. µ = f tan( θ t = tan( θ f (6 Con esta aproximación, el ángulo de rotación θ puede ser calculado directamente de H 21 sin necesidad de ningún parámetro de calibración a través de los valores propios de H 21. Estos son e jθ, e -jθ, siendo θ el ángulo de rotación de la cámara. En este caso no se puede determinar la dirección de la rotación directamente, sin embargo no se requieren parámetros de calibración, en contraste con el caso precedente donde se requería un parámetro de calibración. En cualquier caso, si se dispone de la calibración completa de la cámara es posible obtener, en una situación general, a partir de la matriz H 21 tanto el giro de la cámara, como la dirección de traslación y la localización del plano de la escena asta un factor de escala [7]. 3.2 MOVIMIENTO A PARTIR DE UNA HOMOGRAFÍA Se a construido un simulador de escenas y movimientos y se an comparado los parámetros de la omografía obtenidos en relación con el movimiento y con las ipótesis planteadas. Como se a comentado, la rotación se a estimado con µ, t y los valores propios [7].

4 El ruido del procesamiento de la imagen y otros errores no considerados se an simulado como ruido gausiano añadido a las coordenadas de las líneas. Se puede apreciar la influencia del ruido aleatorio de media cero y un pixel de desviación estándar sobre los parámetros de la omografía (figura 3. El parámetro µ apenas es afectado por el ruido por lo que la estimación con él es muy buena y solo necesita la calibración de la pendiente (figura 3.a. Se puede observar como t es afectado gravemente por el ruido y como consecuencia, la estimación de la rotación en base a este parámetro da malos resultados (figura 3.b. El comportamiento de la estimación de la rotación mediante los valores propios también se ve afectada por el ruido pero tiene la ventaja de no depender de los parámetros internos de la cámara (figura 3.c. H (1,2 m u= Simulación giro con ruido aleatorio en la imagen mu mu ruido p (º v e ta t H (2,1 t= Simulación giro con ruido aleatorio en la imagen t t ruido Simulación giro con ruido aleatorio en la imagen teta teta ruido Figura 3: Efectos del ruido gausiano aleatorio (media cero y un píxel de desviación estándar sobre los parámetros usados para calcular la rotación. g iroº e ror errores de estimación de teta (giro 6º error mu error t error vp desplazamiento relativo tx/d g iroº e ror errores de estimación de teta (giro 6º error mu error t error vp desplazamiento relativo tz/d Figura 4: Efectos de la traslación relativa sobre la estimación del error de rotación. (a Translación relativa en el eje x, (b translación relativa en el eje z. También se an realizado experimentos para mostrar como algunos movimientos combinados podrían afectar al error de rotación dependiendo de los parámetros usados para obtener la rotación (figura 4. Podemos ver que el parámetro µ no se ve afectado por la translación a lo largo del eje z. Dado que la mayoría de los robots presentan restricciones no olonómicas, cuando la cámara esta orientada en el sentido de avance del robot, esta traslación es la de mayor magnitud (figura 4.b. Por lo tanto, se confirma que la estimación de la rotación a través de este parámetro es más robusta y que la ipótesis de giro sin traslación permite calcular el giro a pesar de existir desplazamiento en z. Por otro lado, también se a podido apreciar como la estimación de la rotación mediante los valores propios está afectada por la traslación aunque en mayor medida si se produce en el eje x. Resumiendo las conclusiones más relevantes en la estimación de la rotación: 1. El ruido aleatorio afecta principalmente a t, en menor medida a los valores propios y prácticamente no afecta a µ. 2. A pesar de que se supone rotación independiente, en situaciones reales, el robot llegará a las localizaciones de referencia con alguna desviación de traslación. Como puede verse en la figura 3.a, la traslación a lo largo del eje x afecta principalmente a µ. Esto confirma que aunque la desviación a lo largo del eje x no es muy grande, esta acoplada con la rotación, siendo este acoplamiento capturado por µ. Sin embargo, en misiones con robot esta situación se vuelve favorable ya que corrigiendo con este parámetro se produce un sobregiro que compensa la desviación lateral en traslación, siempre y cuando las imágenes se tomen en el sentido de avance del robot. Esta corrección será mayor cuando la profundidad de la escena sea pequeña. 3. Los errores de traslación en la dirección de avance (eje z no afectan a µ, y por tanto éste es un buen parámetro para estimar la rotación. De aquí en adelante sólo se van a considerar el parámetro µ para estimar la rotación porque no se ve casi afectado por el ruido ni por la traslación en el eje z y permite corregir traslaciones laterales cuando el robot avanza. 3.3 MOVIMIENTO CON IMÁGENES REALES Se an realizado algunos experimentos con imágenes reales (figura 5 calculando la rotación en base a los parámetros de la omografía. La rotación se a medido empleando un cabezal de precisión UTR8 de Newport con una resolución de 1/6º. Se an estudiado 3 casos distintos: 1. Escena aproximadamente plana orientada paralelamente al plano de la imagen. 2. Escena aproximadamente plana con un ángulo (φ=25º con respecto al plano de la imagen. 3. Escena formada por varios planos.

5 La figura 6 muestra las aproximaciones obtenidas entre la estimación del ángulo de rotación y el parámetro µ. Como el ángulo girado es inferior a 1º se a realizado la aproximación tan (θ θ, con lo que se puede ajustar linealmente θ frente a µ. La tabla 1 muestra el residuo de dico ajuste lo que nos da una idea de la precisión alcanzable. Con µ la precisión es comparable a la resolución del cabezal de medida utilizado. Se puede observar como los datos obtenidos de la simulación son coerentes con los datos con imágenes reales. Figura 7: Silla de ruedas autónoma empleada en los experimentos. Figura 5: Fotos de referencia en distintos experimentos: a escena plana frontal, b escena plana oblicua, c escena no plana. Lista de subobjetivos subobjetivo Método de navegación Guiado F Generador de movimiento (v,ω ROBOT Giro escena plana (f=12mm Datos mu Ajuste mu recta Giro escena plana (f=6mm Datos mu Ajuste mu recta obstáculos (x, y, ψ Odometría.5 H (1,2 -.5 m u=.5 H (1,2 m u= -.5 Entorno Visión (θ Giro escena no plana (f=6mm Datos mu Ajuste mu recta Figura 8: Esquema del sistema global de navegación de la silla de ruedas..1.5 (1,2 m u=h Figura 6: Ajuste por mínimos cuadrados de µ al ángulo rotado: a escena plana frontal, b escena plana oblicua, c escena no plana. Residuo (º µ t Escena plana frontal Escena plana oblicua Escena no plana Tabla 1: Residuos (en grados obtenidos en el ajuste por mínimos cuadrados a una recta de µ y t frente al ángulo girado en los distintos experimentos. 4 INTEGRACIÓN EN SISTEMA DE NAVEGACIÓN El método planteado se a implementado dentro del sistema de navegación [1] de una silla de ruedas autónoma (figura 7 desarrollada en el laboratorio y dotada de una cámara situada en el frontal de la plataforma móvil. La figura 8 muestra el esquema del sistema global de navegación. Figura 9: Imagen con los segmentos rectos superpuestos después de corregir la distorsión radial. Para conseguir una mayor fiabilidad y robustez del sistema de visión se a empleado un gran angular. A cambio, a sido necesaria la realización de una corrección de la distorsión radial característica de este tipo de sistemas ópticos. Para ello fue necesario realizar una calibración previa de la distorsión [13]. Sin embargo, la corrección radial solamente se realiza a las coordenadas de los segmentos extraídos en la imagen original. En la figura 9 puede observarse la desviación entre los contornos de la imagen y los segmentos rectos corregidos. El proceso de navegación se divide en dos partes: primera fase o fase de aprendizaje y segunda fase o fase de repetición. La primera fase, consiste en una navegación por guiado donde son tomadas las imágenes de referencia del entorno en las localizaciones objetivo. En una segunda parte, el robot móvil intenta repetir la secuencia de posiciones

6 adquiridas durante la etapa de guiado. En esta fase es donde se realizan las correcciones oportunas en base al emparejamiento de las características de las imágenes. Para determinar que el punto de corrección es próximo al punto de aprendido en la fase de guiado se realizan dos test geométricos representados en la figura 1. El robot a de situarse en un entorno de radio ε respecto a la posición aprendida, y con una orientación similar dentro de un rango ±δ. En las pruebas realizadas se a comprobado que el sistema funciona correctamente con ε =.7 m. y δ = 2º. δ δ ε 5 EXPERIMENTACIÓN Se an realizado experimentos empleando la silla de ruedas autónoma mencionada (figura 7. La cámara está situada en la parte frontal de la plataforma con el plano de la imagen aproximadamente vertical. El experimento que se presenta consiste en la reproducción de 5 vueltas en torno a una abitación. La figura 11 representa una vista en planta de la trayectoria programada (numerada con letras mayúsculas y de la trayectoria seguida por el robot empleando solo los sistemas odométricos de medición (donde el número representa la vuelta y la letra indica la localización deseada. Como se puede observar tras 5 vueltas el error final es superior a 4 metros en posición y 2.9 rad. en orientación. También se observa que las derivas se producen fundamentalmente por errores de orientación. Posición en Aprendizaje Posición en Repetición Figura 1: Condiciones para el emparejamiento de imágenes entre las fases de aprendizaje y repetición. Considerando la dinámica de la plataforma móvil, el sistema de navegación a resultado ser estable con periodos de muestreo superiores a 1 s. [1]. Por otro lado, el tiempo de procesamiento del sistema de visión y de la corrección es del orden de 2 ms. (en un Pentium III a 85 Mz. y 512 Mb. de RAM. Esto permite realizar las correcciones con el robot en movimiento. Alto imagen (pixels 576 Anco imagen (pixels 768 Segmentos imagen 1 51 Segmentos imagen 2 5 Emparejamientos realizados 26 Emparejamientos espúreos 9 Emparejamientos robustos 17 Tiempo captura imagen 4 Tiempo extracción segmentos 111 Tiempo emparejamiento segmentos 32 Tiempo calculo omografía 18 Tiempo total 21 Tabla 2: Datos promedio del procesamiento con visión y tiempo de computo (en ms. de las distintas fases. Figura 11: Posiciones alcanzadas por el robot en caso de no realizar las correcciones con visión. Figura 12: Imágenes de la llegada de la silla al punto de origen en sucesivas vueltas (3, 4 y 5 respectivamente. Por otro lado, la figura 12 muestra las posiciones de la silla en el momento de paso por el origen en varias vueltas consecutivas empleando la corrección visual descrita en este trabajo. Como se puede observar en este caso el error cometido es apenas apreciable a pesar de aber realizado solamente corrección sobre la orientación del robot. Para la corrección de la trayectoria únicamente se an empleado cuatro imágenes de referencia, una por esquina, y que aparecen representadas en la figura 13. Los resultados del tiempo de procesamiento y emparejamiento de segmentos aparecen en la tabla 2.

7 Además, dado el elevado número de segmentos aparecidos en entornos realizados por el ombre, se a demostrado que el sistema no se ve afectado por ligeras modificaciones en la escena o las condiciones de iluminación (figura 14. Además, se a demostrado que las omografías 2D calculadas automáticamente a partir de rectas verticales son suficientes para la navegación de robots de interiores. Se an realizado varios experimentos en simulación, con imágenes controladas y con una silla de ruedas autónoma, demostrando la robustez del sistema. Como experimento final se a demostrado que la corrección por omografías permite, una vez aprendida la trayectoria, repetirla indefinidamente sin problemas de deriva. Agradecimientos Este trabajo a sido parcialmente financiado por los proyectos DPI , DPI , dentro del grupo de Robótica, Percepción y Tiempo Real. Referencias [1] Asensio J.R., (21 Navegación de robots móviles en entornos interiores basada en el reconocimiento de características relevantes, Tesis Doctoral, Universidad de Zaragoza. [2] Basri R., Rivlin E., Simsoni I., (1998 Visual oming, Surfing te epipoles. IEEE Conference on computer Vision, pp Figura 13: Imágenes de referencia para la trayectoria en cuadrado. Cada foto representa una de las esquinas y orientada acia siguiente objetivo. a b Figura 14: a Imagen de referencia. b imagen tomada utilizada durante la corrección. 6 CONCLUSIONES Se a planteado un sistema para la corrección del movimiento de una plataforma móvil basado en omografías de imágenes capturadas con una cámara situada en ella. El sistema requiere de una fase previa de aprendizaje (captura de imágenes que puede ser simultánea a una fase de guiado de la trayectoria a seguir por la plataforma. [3] Burns J.B., Hanson A.R., Riseman E.M., (1986 Extracting straigt lines. IEEE Trans. on Pattern Analysis and Macine Intelligence, 8(4: [4] Castellanos J.A., Neira J., Tardós J.D., (21 Multisensor fusion for simultaneous localization and map building. IEEE Trans. Robotics and Automation, 17(6: [5] DeSouza G.N., Kak A.C., (22 Vision for mobile robot navigation: A survey. IEEE Trans. on Pattern Analysis and Macine Intelligence, 24(2: [6] Guerrero J.J., Sagüés C., (21 Uncalibrated vision based on lines for robot navigation. Mecatronics, 11(6: [7] Guerrero J.J., Sagüés C., (22 Robot oming from omograpies. Informe técnico. D.I.I.S. Universidad de Zaragoza. [8] Guerrero J.J., Sagüés C., (23 Robust line matcing and estimate of omograpies simultaneously. Iberian Conference on Pattern Recognition and Image Analysis, LNCS 2652 pp

8 [9] Hartley R., Zisserman A., (2 Multiple View Geometry in Computer Vision. Cambridge University Press, Cambridge. [1] Matsumoto Y., Inaba M., Inoue H., (1996 Visual navigation using view-sequenced route representation. IEEE Conference on Robotics and Automation, pp [11] Martínez Montiel J.M., Ortin D., (21 Indoor robot motion based on monocular images. Robotica, 19: [12] Oya A., Miyazaki Y., Yuta S., (21 Autonomous navigation of mobile robot base don teacing and playback using trinocular vision, 27t IEEE Industrial Electronics Conference, pp [13] Tsai R.Y., (1987 A Versatile Camera Calibration Tecnique for Hig-Accuracy 3D Macine Vision Metrology Using Off-te-Self TV Cameras and Lenses, IEEE Journal of Robotics and Automation, RA-3(4: