Diseño de un sistema de navegación en interiores adaptado al guiado de personas.

Transcripción

1 UNIVERSIDAD DE ZARAGOZA Diseño de un sistema de navegación en interiores adaptado al guiado de personas. Aitor Aladrén Tudela

2 Índice general 1

3 2 Sección 1 Introducción 1.1. Marco de trabajo La obtención de la distribución estructural de la escena a partir de una imagen es una tarea sencilla para cualquier persona, sin embargo, no es fácil para un sistema de inteligencia artificial. Conocer los límites del entorno es la base de cualquier sistema de navegación autónomo. Se busca encontrar un sistema que pueda ser transportado por una persona y que sirva como complemento para personas con cierta discapacidad visual o personas que necesiten ayuda a la hora de desplazarse por un entorno desconocido. La cámara elegida para realizar el diseño es una cámara tipo Kinect. Consiste en una cámara convencional junto con un sensor de profundidad. El resultado que se consigue es una imagen 2D de la que se conoce la profundidad de todos sus puntos. Con esta información se puede llevar a cabo la reconstrucción de un entorno 3D. Es importante conocer los límites del equipo que se va a utilizar. El sensor de profundidad proporciona información de todo el entorno que esté situado entre 0,8 y 3,5 metros del foco de la cámara. Figura 1.1: Comparación entre imagen tomada con una cámara convencional y la imagen disponible a través del sensor de profundidad. El trabajo propuesto para la clasificación estructural utiliza de partida una imagen unidireccional de la que se obtiene una nube de puntos (PointCloud). Esta nube de puntos se filtra con el objetivo de reducir el volumen de información a procesar y posteriormente se inicia un proceso iterativo en el que se detectan y extraen los planos característicos de la imagen inicial.

4 3 Imagen Original Obtención de la nube de puntos Filtrado de la nube de puntos Detección y extracción de planos. (Hipótesis final) Figura 1.2: Esquema de las etapas principales del algoritmo desarrollado.

5 4 Sección 2 Obtención y análisis de la nube de puntos La obtención de una nube de puntos a partir de una imagen adquirida por una cámara Kinect resulta relativamente sencillo puesto que la cámara proporciona toda la información necesaria. Utilizando un visualizador de nubes de puntos (PCLVisualizer) se soluciona el problema. Figura 2.1: En la imagen de la izquierda se muestra una captura realizada con la cámara Kinect. A la derecha se observa la nube de puntos que se obtiene con el sensor de profundidad Filtrado de la nube de puntos. El siguiente paso sería realizar el análisis de la nube de puntos obtenida. Pero antes de llevarlo a cabo, hay que tener en cuenta el modo de trabajo del sistema. Al tratarse de un sistema de navegación, el sistema debería trabajar a tiempo real o con una toma y procesamiento de imágenes lo suficientemente rápida como para asemejarse a un procesamiento en tiempo real. Una nube de puntos obtenida de una escena puede contener excesiva información y probablemente se puede prescindir de gran cantidad de esta logrando el mismo objetivo. Un punto cualquiera que esté contenido en una nube de puntos tendrá información muy similar, por no decir idéntica, a la de los puntos que tenga a su alrededor. Al interesar un procesamiento de datos muy rápido, se va a llevar a cabo un filtrado (downsampling) de la nube de puntos con el objetivo de reducir el número de puntos y por tanto de la información a procesar. Concretamente se va a utilizar un filtro VoxelGrid (VoxelGrid filter). Este filtro crea unos cubos de dimensiones elegidas por el usuario. Estos cubos se colocan sobre las superficies existentes en la nube de puntos. Todos los puntos que estén contenidos en uno de los cubos pasan a formar un único punto que se coloca en el centroide del propio cubo.

6 5 En este proyecto se han tomado unos cubos de 6cm de lado. La reducción de puntos que se consigue es importante ya que en el caso de una escena de un pasillo se pasa de tener puntos a un número inferior a Figura 2.2: Comparación entre nube de puntos original (Izquierda) y nube de puntos filtrada (Derecha) Detección y extracción de planos. Por el momento se ha llevado a cabo un tratamiento de los datos para obtener una cantidad óptima para un posterior procesamiento. En este apartado se va a explicar dicho procesamiento Detección de planos. Se sabe que un plano queda determinado por 3 puntos. En el caso de una nube de puntos de una escena se tienen miles de puntos y por tanto se pueden determinar una elevada cantidad de planos que no existan en la escena real. La aplicación que se ha utilizado para la detección de planos es RANSAC (RANdom SAmple Consensus) y el modelo en este caso es el de un plano (SACMODEL_PLANE). RANSAC plantea la extracción del mayor número de planos existentes en la escena real. Para ello, a cada uno de los grupos de puntos se le aplican los siguientes pasos: 1. Se seleccionan 3 puntos de forma aleatoria a partir de los cuales se genera un plano. 2. A continuación, se mide la distancia entre el plano generado y el resto de los puntos pertenecientes al grupo. Los puntos cuya distancia sea menor a un umbral (para este caso será de 2cm) votan por este plano. Este proceso se repite un número de veces determinado y al terminar se selecciona el plano con mayor número de votos.

7 Extracción de planos. Al aplicar el método RANSAC se obtiene por tanto un plano de la escena. Concretamente se obtiene el plano de mayores dimensiones que, como se observará en posteriores apartados, coincide en la gran mayoría de situaciones con el suelo. Si se quieren detectar los planos principales de una escena, con aplicar el método RANSAC una única vez no es suficiente. Por ello se propone el siguiente método: 1. Aplicar RANSAC a la nube de puntos (previamente filtrada con VoxelGrid). 2. Extraer la nube de puntos del plano de mayor dimensión y guardarla a parte en memoria (se genera cloud_plane ). 3. Eliminar la nube de puntos del plano extraído de la nube de puntos de (1.) (se genera cloud_filtered ). La nube de puntos generada en (3.) se realimenta como entrada a (1.) para así obtener el siguiente plano de mayores dimensiones. Figura 2.3: En la imagen de la izquierda se muestra la nube de puntos filtrada que se va a procesar. En las imágenes del centro y derecha se muestra respectivamente el plano detectado y la nube de puntos tras la extracción de dicho plano. Esta última nube de puntos será la que se volverá a procesar. Este método se repetirá hasta que el número de puntos que formen el último plano extraído sea menor a un cierto umbral. Para este caso se ha tomado como umbral 500 puntos. De esta forma se evita que se puedan extraer planos erróneos formados por un número insignificante de puntos generados posiblemente por problemas de ruido Identificación de planos. El siguiente objetivo, después de extraer los planos característicos de una escena, es la identificación de los mismos. Se supone que el escenario en el que se va a desplazar el usuario se asemeja al caso de la ciudad de Manhattan, que asume que el entorno en el que nos movemos está compuesto por estructuras 3D donde existen 3 direcciones principales ortogonales entre sí.

8 7 Con esta hipótesis se pueden identificar los planos con las normales de los mismos ya que cada plano tendrá su vector normal y este además será ortogonal al resto de vectores normales de los otros planos. Se sabe además que un plano queda definido por su ecuación característica: Siendo los tres primeros parámetros (A,B,C) las coordenadas del vector ortogonal al plano y el parámetro D la distancia del plano al origen de coordenadas (En este caso corresponde con la cámara). Conociendo estos 4 parámetros, se tiene toda la información que se puede extraer de un plano. El propio modelo utilizado para extraer los planos de la escena proporciona también los parámetros de cada uno de los planos detectados. Realizando sucesivos ensayos, se observa que los planos pertenecientes al suelo o paralelos al mismo serán aquellos cuya normal sea de la forma (0,1,0) T. De esta misma forma, los planos correspondientes a paredes laterales serán aquellos cuya normal sea (1,0,0) T. Además aquellos planos cuyo parámetro D sea negativo, corresponderá a planos laterales situados a la derecha de la cámara y por tanto, aquellos con el último parámetro positivo serán planos a la izquierda de la cámara. Finalmente, las paredes frontales serán aquellas cuya normal sea (0,0,1) T.

9 8 Sección 3 Visualización y tipos de interfaz. Con el modelo propuesto se consigue tener un número de nubes de puntos que al juntarlas se obtiene una escena segmentada donde se distinguen con facilidad todos los planos característicos de la misma Visualización de múltiples nubes de puntos. Para poder visualizar el resultado final del método se utiliza el visualizador PCLVisualizer nombrado ya en el apartado 2. Este visualizador no solo permite ver las escenas que percibe una cámara sino que también se pueden mostrar diferentes nubes de puntos almacenadas en memoria al mismo tiempo. Como resultado se tiene la reconstrucción de la nube de puntos de la escena inicial con una clara segmentación de la misma. Figura 3.1: En la imagen de la izquierda se muestra un ejemplo de escena capturada por la cámara. La imagen de la derecha corresponde con el resultado obtenido tras la aplicación del algoritmo Tipos de interfaz Según estudios científicos, las personas con deficiencias en la vista consiguen desarrollar de forma notoria algunos de sus otros sentidos pudiendo así suplir algunas de las funciones que tiene el sentido de la vista. Concretamente los sentidos mejor desarrollados son el del oído y el del tacto. La interfaz del sistema podría aprovechar por tanto estos dos sentidos del usuario para darle instrucciones o informarle del entorno.

10 9 El dispositivo más sencillo a utilizar sería un sistema de audio a través del cual se guiaría al usuario a través de instrucciones que le informaran de los posibles obstáculos o de acciones a realizar. Este dispositivo ya se ha usado en proyectos relacionados con el guiado de personas invidentes como es el caso del Sistema de guiado inteligente para personas con discapacidad en el entorno de un centro comercial mediante una red de sensores inalámbrica y dispositivos móviles desarrollado por la Universidad Pontificia Comillas. Este sistema consiste en el guiado de personas con deficiencia visual a través de un escenario que en el caso del proyecto es un centro comercial. El usuario se va desplazando por el interior del edificio mientras el sistema va captando información a través de puntos de información inalámbricos. Esta información es transmitida al usuario a través de un altavoz de forma que conoce en todo momento los establecimientos que hay a su alrededor. El sistema de audio también se ha utilizado en el diseño de un bastón guía desarrollado por la Universidad Central de Michigan. Este dispositivo aprovecha la tecnología de los ultrasonidos para detectar obstáculos que puedan estar situados por delante del usuario. Cuando se detecta un obstáculo, el sistema comunica al usuario las instrucciones pertinentes para esquivar el objeto a través de un altavoz. El dispositivo de audio es un elemento clave a la hora de transmitir mensajes al usuario. Sin embargo solo hay interacción con él cuando surge algún obstáculo. Podría resultar interesante que la persona tuviera información constantemente del entorno que tiene alrededor. De esta forma el usuario podría imaginarse el entorno en el que está, sabiendo las barreras que puede encontrarse antes de que el dispositivo de audio avise de algún peligro. Este sistema ha sido utilizado en NAVI (Navigational Aids for the Visually Impaired) desarrollado por la Universidad de Konstanz. El sistema consiste en una cámara Kinect, un sistema de vibración, un dispositivo de audio y un portátil que se encarga de procesar toda la información. La cámara Kinect recoge la información de un entorno que ha sido previamente etiquetado con símbolos. Cuando se reconoce alguno de los símbolos, el sistema de audio informa al usuario del objeto que tiene delante (muro, puerta, columna etc). Al mismo tiempo, el sistema de vibración va transmitiendo a la persona vibraciones en distintas posiciones del cuerpo según la información que se obtiene del entorno captado por la Kinect. Si por ejemplo la persona se desplaza a lo largo de un pasillo, el sistema transmite vibraciones en ambos costados de la persona informando así que tiene paredes a ambos lados. Si se diera el caso de encontrar un obstáculo delante, las vibraciones se transmitirían a la zona frontal del cuerpo. De esta forma el usuario tiene información del entorno pudiendo tomar sus propias decisiones en su trayectoria.

11 Instrucciones de audio. Por el momento, se ha conseguido que el algoritmo segmente una escena y muestre su resultado por pantalla. No hay que olvidar que los usuarios principales de este sistema serán personas con discapacidad visual por lo que hay que prescindir del ámbito visual como medio de recepción de información por parte del usuario. Se ha decidido que si el individuo está situado a una distancia inferior a 2 metros de un obstáculo o pared, debe ser informado del peligro. Figura 3.2: Ejemplo de situación de peligro. Puesto que el sistema tiene un tiempo de procesamiento de escenas inferior al segundo, si se dieran instrucciones al usuario después de cada resultado podría ser más un problema que una ayuda para el individuo. Por este motivo se ha decidido que el sistema enviará mensajes de audio, siempre y cuando sean necesarios, cada 5 procesamientos de escena.

12 11

13 12 Sección 4 Experimentos En este apartado se van a analizar los experimentos realizados en diferentes escenas. El entorno elegido para realizar los ensayos es la planta 1 del edificio Ada Byron situado en el Campus Río Ebro de la Universidad de Zaragoza. El objetivo principal de este proyecto era la identificación de los planos estructurales de una escena pero hay que tener en cuenta que en la propia escena pueden existir obstáculos que limiten la zona transitable en determinados momentos. Si el sistema no fuera capaz de identificar los posibles obstáculos presentes, perdería gran parte de su utilidad Evaluación del sistema ante posibles obstáculos. Se han realizado ensayos en diferentes escenarios con posibles obstáculos. El objetivo principal de este ensayo es saber si el sistema es capaz de detectar impedimentos además de la distancia a partir de la cual son detectados. En los experimentos 1 y 2, se han realizado capturas de una escena en la que el individuo se va acercando hacia un banco desde diferentes orientaciones. Figura 4.1: Experimento 1

14 13 Figura 4.2: Experimento 2. En el experimento 3, el individuo se dirige desde una distancia lejana hacia una barrera de obstáculos formada por varias máquinas expendedoras. Figura 4.3: Experimento 3.

15 14 Por último, en el experimento 4, se coloca un obstáculo cuyo plano principal sea paralelo al suelo como es el caso de una mesa. Figura 4.4: Experimento 4. En los todos los experimentos se observa que si el obstáculo está situado a una distancia mayor que un umbral, pasa desapercibido por el sistema. Una vez que el objeto está por debajo de dicho umbral, en este caso el umbral es aproximadamente 1,5 o 2 metros, el sistema detecta e identifica los planos característicos del obstáculo. Conociendo los parámetros característicos de estos planos, se puede saber la situación del obstáculo respecto de la cámara. Para el caso de obstáculos con su plano característico paralelo al plano del suelo, el parámetro D de la ecuación del plano no aporta gran información puesto que muestra la altura del objeto respecto de la cámara. Si se quiere saber la distancia en profundidad de la cámara al punto más próximo del plano a esta, hay que revisar las componentes z de todos los puntos del plano y guardar en memoria el menor valor que se obtenga. Este valor corresponderá a la distancia real al obstáculo.

16 Evaluación de los vectores normales calculados por el sistema. Los ensayos que se van a realizar en este apartado consisten en el análisis de los datos obtenidos de una secuencia de imágenes capturadas a lo largo de una trayectoria. Los giros son los puntos críticos que se quieren analizar con detalle puesto que se desconoce el punto de trabajo del sistema en ese momento. La secuencia se ha realizado a lo largo de la planta 1 del edificio Ada Byron. Inicio trayectoria Final trayectoria Figura 4.5: Ejemplo de trayectoria realizada durante la secuencia de imágenes. La línea verde representa el camino de ida mientras que la de color naranja representa el camino de vuelta.

17 16 Durante la secuencia de imágenes, se ha almacenado la información correspondiente a los vectores normales a cada plano década pared y suelo (en el caso de que existieran) y el número de puntos que componen cada plano, para luego poder hacer un estudio de los resultados y poder identificar cada zona de la trayectoria con sus normales correspondientes. Figura 4.6: Ejemplo de representación gráfica de las coordenadas de los vectores normales al suelo durante la secuencia. Figura 4.7: Ejemplo de representación gráfica del número de puntos que conforman el plano del suelo durante la secuencia. A continuación se van a analizar las componentes normales de cada plano en cada zona de cambio de dirección de la trayectoria: Zona escalera: En el inicio de la secuencia se realiza un giro a la izquierda donde se accede a la zona de escaleras. Según la configuración estructural de la zona, habrá paredes que para la cámara desaparecerán y más adelante volverán a aparecer como es el caso de los planos etiquetados como pared derecha y pared frontal. Es una zona con muchos cambios de planos de pequeña dimensión por lo que se espera que haya cambios bruscos en los gráficos de las normales de cada plano y del número de puntos que los conforman. Figura 4.8: Imágenes tomadas en la zona de la escalera

18 17 (a) (b) (c) (d) Figura 4.9: (a) y (b) Representación de las coordenadas de las normales del plano Pared derecha y cantidad de puntos que lo conforman respectivamente. (c) y (d) Representación de las coordenadas de las normales al Plano frontal y cantidad de puntos que lo conforman. Se observan los picos de las normales y de las nubes de puntos especialmente hasta que se pasa la zona del ascensor y se gira a la derecha, donde se distinguen una pared a la derecha y otra de frente. Posteriormente se vuelven a detectar zonas con picos correspondientes al giro de 180º efectuado para salir de la zona de la escalera. Zona final pasillo (giro derecha): Después de atravesar la zona del pasillo, una zona muy estable donde no se aprecian cambios en las normales ni en la cantidad de puntos, se realiza un giro a la derecha para dar paso a la zona del hall. Se espera que la pared de la derecha que se ha ido detectando durante todo el trayecto del pasillo llegue a un momento que desaparezca y, después del giro, vuelva a aparecer. Figura 4.10: Imágenes tomadas en la zona de giro del final del pasillo. Figura 4.11: A la izquierda, representación de las coordenadas de las normales de la pared derecha. A la derecha, representación de la cantidad de puntos que la conforman. Se distingue con facilidad la zona de giro ya que la pared desaparece por completo. Una vez realizado el giro, vuelve a aparecer la pared derecha hasta que se llega a la zona del hall donde la pared lateral esta muy alejada y no se detecta.

19 18 Zona del hall: La zona del hall es muy amplia y, por este motivo, se decide realizar la secuencia por un lateral donde se pueda distinguir además del suelo, alguna pared lateral o frontal. Al final del hall se realiza un giro a la izquierda en la zona de las máquinas expendedoras. Figura 4.12: Imagen tomada en la zona del hall. Figura 4.13: Izquierda, representación de las coordenadas de las normales de la pared izquierda. Derecha, representación de las coordenadas de las normales de la pared frontal. En el gráfico de la pared frontal se observan unos escalones estables. Estos son debidos a los entrantes que hay en la pared izquierda cada cierta distancia. Al final de ambos gráficos se observa que las coordenadas se vuelven nulas. Esto es debido al giro efectuado hacia la izquierda. Una vez realizado el giro, vuelven a aparecer las componentes.

20 19 Zona de final de camino de ida (Vuelta): Una vez en la zona de las máquinas expendedoras, se realiza un giro de 180º en el acceso al Salón de actos. Se espera un comportamiento similar al de la zona de la escalera puesto que hay muchos cambios de planos. Después de realizar el giro de cambio de sentido, se reanuda la marcha y al acceder de nuevo a la zona del hall, se realiza un giro a la derecha. Figura 4.14: Imagen tomada en la zona de giro. Figura 4.15: Izquierda, representación de las coordenadas de las normales de la pared derecha. Derecha, representación de las componentes de las normales de la pared frontal. Al principio se observa una zona inestable donde aparecen y desaparecen planos. Esta zona es donde se realiza el giro de 180º. Lo que inicialmente se ve como pared a la derecha de repente se ve como pared frontal y así sucesivamente. Una vez realizado el cambio de sentido, se vuelve a ver una pared a la derecha que corresponde con la misma pared que se veía a la izquierda en el final de la zona del hall. Posteriormente se vuelve a ver otro vacío donde se realiza el giro a derechas y se accede a la zona del hall.

21 20 Zona pasillo baños: A mitad de camino de la zona del hall, se realiza un desvío a la izquierda hacia el pasillo de los baños. Es una zona estrecha donde se debe realizar un giro pronunciado a la derecha y avanzar recto a lo largo de un pasillo estrecho donde se vuelve a acceder a la zona del hall. Figura 4.16: Imágenes tomadas en la zona del pasillo de baños. (a) (b) (c) Figura 4.17: (a), (b) y (c) Gráfico de las componentes de las normales de las paredes derecha, izquierda y frontal respectivamente. Se observa como al hacer el desvío a la izquierda la pared derecha desaparece. Cuando la cámara se acerca a la zona de giro a la derecha, aparecen paredes a la izquierda y de frente ya que se está aproximando a una esquina. Llega un punto donde sólo existe pared frontal ya que la pared de la izquierda se ha dejado atrás. En cuanto se realiza el giro a derechas, vuelven a aparecer la pared derecha e izquierda mientras que la frontal desaparece. El vacío al final de las imágenes (a) y (b) se debe a que ya se ha accedido a la zona del hall donde las paredes están muy lejanas.