UNIVERSIDAD DE ALCALÁ ESCUELA POLITÉCNICA SUPERIOR DEPARTAMENTO DE ELECTRÓNICA

Transcripción

1 UNIVERSIDAD DE ALCALÁ ESCUELA POLITÉCNICA SUPERIOR DEPARTAMENTO DE ELECTRÓNICA SEGMENTACIÓN Y POSICIONAMIENTO 3D DE ROBOTS MÓVILES EN ESPACIOS INTELIGENTES MEDIANTE REDES DE CÁMARAS FIJAS TESIS DOCTORAL AUTORA: Cristina Losada Gutiérrez DIRECTORES: Dr. Manuel Mazo Quintas Dra. Sira Elena Palazuelos Cagigas 200

2

3 Resumen La presente tesis dotoral surge on el objetivo de realizar ontribuiones para la segmentaión, identifiaión y posiionamiento 3D de múltiples robots móviles. Para ello se utiliza un onjunto de ámaras alibradas y sinronizadas entre sí, que se enuentran ubiadas en posiiones fijas del espaio en que se mueven los robots (espaio inteligente). No se ontará on ningún onoimiento a priori de la estrutura de los robots móviles ni maras artifiiales a bordo de los mismos. Tanto para la segmentaión de movimiento omo para la estimaión de la posiión 3D de los robots móviles se propone una soluión basada en la minimizaión de una funión objetivo, que inorpora informaión de todas las ámaras disponibles en el espaio inteligente. Esta funión objetivo depende de tres grupos de variables: los ontornos que definen la segmentaión sobre el plano imagen, los parámetros de movimiento 3D (omponentes de la veloidad lineal y angular en el sistema de referenia global) y profundidad de ada punto de la esena al plano imagen. Debido a que la funión objetivo depende de tres grupos de variables, para su minimizaión se emplea un algoritmo greedy, iterativo, en tres etapas. En ada una de estas etapas dos de los grupos de variables se suponen onoidos, y se resuelve la euaión para obtener el restante. De forma previa a la minimizaión se realiza la iniializaión tanto las urvas que definen los ontornos de la segmentaión omo de la profundidad de ada punto perteneiente a los robots. Además se requiere la estimaión del número de robots presentes en la esena. Partiendo de que las ámaras se enuentran en posiiones fijas del espaio inteligente, la iniializaión de las urvas se lleva a abo omparando ada imagen de entrada on un modelo de fondo obtenido previamente. Tanto para el modelado de fondo, omo para la omparaión de las imágenes de entrada on el mismo se emplea el Análisis de Componentes Prinipales Generalizado (GPCA). Respeto a la Cristina Losada Gutiérrez i

4 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas profundidad, se emplea Visual Hull 3D (VH3D) para relaionar la informaión de todas las ámaras disponibles, obteniendo un ontorno aproximado de los robots móviles en 3D. Esta reonstruión de los robots proporiona una buena aproximaión de la profundidad iniial de todos los puntos perteneientes a los robots. Por otro lado, el uso de una versión extendida de la ténia de lasifiaión k-medias permite obtener una estimaión del número de robots presentes en la esena. Tras la segmentaión de movimiento y la estimaión de la posiión 3D de todos los objetos móviles presentes en la esena, se proede a la identifiaión de los robots móviles. Esta identifiaión es posible debido a que los robots móviles son agentes ontrolados por el espaio inteligente, de forma que se uenta on informaión aera de las medidas de los sensores odométrios a bordo de los mismos. Para el seguimiento se propone el uso de un filtro de partíulas extendido on proeso de lasifiaión (XPFCP). La eleión de este estimador se debe a que, dado su aráter multimodal, permite el seguimiento de un número variable de elementos (robots móviles) empleando para ello un únio estimador, sin neesidad de inrementar el vetor de estado. Los resultados obtenidos a la salida del XPFCP son una buena estimaión de la posiión de los robots móviles en un instante posterior, por lo que esta informaión se realimenta a la etapa de iniializaión de variables, permitiendo reduir el tiempo de proesamiento onsumido por la misma. Las diferentes soluiones propuestas a lo largo de la tesis han sido validadas de forma experimental utilizando para ello diferentes seuenias de imágenes (on presenia de diferentes robots, personas, diversos objetos, ambios de iluminaión, et.) adquiridas en el espaio inteligente del Departamento de Eletrónia de la Universidad de Alalá (ISPACE-UAH). ii Cristina Losada Gutiérrez

5 Abstrat The main objetive of this PhD thesis is to make ontributions to motion segmentation and 3D loalization of multiple mobile robots in an intelligent spae using a multi-amera sensor system. In order to ahieve this goal, a set of alibrated and synhronized ameras plaed in fixed positions within the environment (intelligent spae) are used. Moreover, the proposal in this thesis does not rely on previous knowledge about the robot struture or invasive landmarks on board the robots. The proposed solution for motion segmentation and 3D loalization is based on the minimization of an objetive funtion that ombines information from all the ameras. This objetive funtion depends on three groups of variables: the segmentation boundaries, the motion parameters (linear and angular veloities related to the world oordinate system) and the depth of eah point in the sene. Sine the objetive funtion depends on three groups of variables, its minimization is arried out using a greedy iterative algorithm that onsists on three steps that, after initialization of segmentation boundaries and depth, are repeated until onvergene. In eah of these steps, two of the three groups of variables are fixed, and the equation is solved for the remaining one. Before the minimization, it is neessary to initialize the urves that define the ontours of the segmentation and the depth of eah point that belongs to the mobile robots in the images aquired by eah amera. Moreover, an estimation of the number of mobile robots inluded in the sene is required. Sine ameras are loated in fixed positions within the intelligent spae, urve initialization is arried out by omparing eah input image to a bakground model omputed previously. Both, the bakground modelling and the omparison of eah input image to the bakground model are arried out using GPCA. Regarding depth, Visual Hull 3D (VH3D) is used to relate the information from all the available ameras, obtaining a 3D reonstrution of the mobile robots in the world referene system. This 3D reonstrution provides an effetive approximation for the initial depth of eah point in eah amera. Finally, an extended Cristina Losada Gutiérrez iii

6 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas version of the k-means algorithm is used to estimate the number of mobile robots in the sene. After the motion segmentation and 3D position estimation of all mobile objets in the sene, the identifiation of the robots is obtained. It is possible beause the mobile robots are ontrolled by the intelligent spae, and the information of the odometry sensors onboard eah robot is available. After that, in order to trak the mobile robots, an extended Partile Filter with Classifiation Proess (XPFCP) is used. The hoie of XPFCP against the basi partile filter (PF) or the extended partile filter (XPF) is due to its multimodal nature. The XPFCP allows traking a variable number of robots with a single estimator, without inreasing the state vetor. The results obtained from the XPFCP provide a good estimation for the position of eah robot in the next image that is inorporated into the initialization step, reduing the proessing time it requires. In order to validate the solutions proposed in this thesis, several experimental tests have been arried out. In these experimental tests, several image sequenes aquired in the intelligent spae of the University of Alala (ISPACE-UAH) are used. These sequenes have different features (different numbers of robots, people walking, objets inserted, illumination hanges, et.) in order to validate the solution under different onditions. iv Cristina Losada Gutiérrez

7 A mi madre, mi hermano y Ósar

8

9 Agradeimientos La realizaión de esta tesis ha impliado muho tiempo y trabajo, así omo a numerosas personas. Aunque no es posible nombrarlos a todos aquí deseo, al menos, menionar a los que han sido más determinantes para el desarrollo de la tesis. En primer lugar, quiero dar las graias a mis diretores de tesis, Manuel Mazo y Sira Palazuelos por su ayuda, dediaión y paienia. Sin ellos no hubiera sido posible llegar hasta aquí. Por otro lado, tengo que agradeer a muhos ompañeros su olaboraión a diferentes niveles. A Daniel Pizarro y Marta Marrón por sus ideas y onsejos, por su ayuda para la implementaión de distintos algoritmos. Y por supuesto, a Franiso Redondo, por su ayuda en la programaión de los algoritmos, y la realizaión de pruebas experimentales. También me gustaría dar las graias a la gente de la Universidad de Mälardalen en Sueia, espeialmente a Mikael Ekström, Nikola Petrovi y Tommy Henriksson. Aunque no puedo nombrar a ada uno de ellos, no me olvido de mis ompañeros del fondo 3 y 22, ellos han heho que la tesis sea muho más llevadera. Entrando en lo personal, quiero dar las graias a mi madre y mi hermano, por su paienia y apoyo. También tengo que agradeer enormemente a Ósar por sus ánimos y su ayuda, y por estar ahí siempre que lo he neesitado. Y a mis amigos, que siguen siéndolo a pesar de las ausenias. Por último, me gustaría haer extensivo este agradeimiento a todos los ompañeros del Departamento de Eletrónia de la UAH, alumnos, profesores y PAS por su ayuda a todos los niveles. A todos ellos, graias por haer posible este trabajo. Cristina Losada Gutiérrez vii

10

11 Índie de Contenidos Capítulo Introduión..... Objetivos generales de la tesis Esquema general del sistema propuesto Estrutura de la tesis... 8 Capítulo 2 Revisión de onoimientos Introduión Segmentaión de movimiento Ténias de segmentaión de movimiento basadas en diferenia de imágenes Ténias de segmentaión de movimiento basadas en flujo óptio Otras ténias de segmentaión de movimiento Basadas en apas (layers) Basadas en fatorizaión Posiionamiento de robots móviles a partir de las imágenes adquiridas por ámaras externas Posiionamiento utilizando maras artifiiales Posiionamiento utilizando maras naturales Conlusiones Capítulo 3 Espaio Inteligente (ISPACE-UAH) Estrutura del espaio inteligente Arquitetura hardware del ISPACE-UAH Arquitetura software de ISPACE-UAH Sistemas de referenia de oordenadas en el ISPACE-UAH Geometría de formaión de la imagen: modelo de ámara pin-hole Parámetros intrínseos Parámetros extrínseos Capítulo 4 Segmentaión de movimiento y posiionamiento 3D mediante la minimizaión de una funión objetivo... 5 Cristina Losada Gutiérrez ix

12 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas 4.. Segmentaión de movimiento y posiionamiento 3D a partir de las imágenes adquiridas por una ámara Restriión de brillo 3D para objetos rígidos Funión objetivo para una ámara Minimizaión de la funión objetivo Etapas del proeso de minimizaión Criterio de onvergenia Fusión de los resultados obtenidos para múltiples ámaras Segmentaión de movimiento y posiionamiento 3D mediante la minimizaión de una funión objetivo definida para múltiples ámaras Restriión de brillo 3D para n ámaras Funión objetivo para n ámaras Minimizaión de la funión objetivo Etapas del proeso de minimizaión Criterio de onvergenia Conlusiones y aportaiones Capítulo 5 Iniializaión de las urvas que definen los ontornos de los robots móviles Obtenión del modelo de fondo de la esena Eleión del número de imágenes y de autovetores utilizados en la obtenión del modelo de fondo usando GPCA Comparaión entre las ténias PCA y GPCA para la obtenión del modelo de fondo Seleión de píxeles andidatos a perteneer a robots móviles Cálulo del error de reuperaión Umbral del error de reuperaión Umbral proporional al valor máximo del error de reuperaión Umbral adaptativo Eliminaión de sombras Obtenión del ángulo de proyeión Deteión y eliminaión de sombras Ajuste de los umbrales para la deteión y eliminaión de sombras Iniializaión de las urvas sobre las imágenes invariantes a la iluminaión Conlusiones y aportaiones Capítulo 6 Iniializaión de la profundidad y estimaión del número de robots Iniializaión de la profundidad Visual Hull 3D: definiiones y notaión x Cristina Losada Gutiérrez

13 Índie de Contenidos Construión del Visual Hull Iniializaión de la profundidad usando Visual Hull 3D Eliminaión de sombras en la reonstruión 3D Estimaión del número de robots móviles Algoritmo de lustering Nomenlatura Algoritmo k-medias Estimaión del número de robots móviles sobre el plano imagen Espaio de araterístias Medida de la distania Ajuste del valor de la distania límite Estimaión del número de robots móviles en la rejilla de oupaión de Visual Hull 3D Conlusiones y aportaiones Capítulo 7 Funión de preservaión de bordes y ajuste de los valores de las onstantes de ponderaión de la funión objetivo Eleión de la funión de preservaión de bordes Valores de las onstantes de ponderaión λ y μ para la funión objetivo definida para una ámara Ajuste de la onstante μ Efeto del valor de la onstante μ sobre las urvas que definen los ontornos de las regiones en que se segmenta la imagen Efeto del valor de la onstante μ sobre la profundidad Efeto del valor de la onstante μ sobre las omponentes de la veloidad 3D en el sistema de referenia de la ámara Ajuste de la onstante λ Efeto del valor de la onstante λ sobre la profundidad Efeto del valor de la onstante λ sobre las urvas que definen las regiones en las que se segmenta la imagen Efeto del valor de la onstante λ sobre la veloidad 3D Validaión de los valores de λ y μ elegidos Valores de las onstantes λ y μ para la funión objetivo definida para múltiples ámaras Ajuste de la onstante μ Efeto del valor de la onstante μ sobre las urvas que definen las regiones en que se segmenta la imagen Efeto del valor de la onstante μ sobre la profundidad Efeto del valor de la onstante μ sobre la veloidad 3D y el número de iteraiones hasta la onvergenia Ajuste de la onstante λ Cristina Losada Gutiérrez xi

14 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas Efeto del valor de la onstante λ sobre la profundidad Efeto del valor de la onstante λ sobre las urvas que definen las regiones en que se segmenta la imagen Efeto del valor de la onstante λ sobre la veloidad 3D y el número de iteraiones hasta la onvergenia Validaión de los valores de λ y μ elegidos Conlusiones y aportaiones Capítulo 8 Identifiaión y seguimiento de múltiples robots móviles Identifiaión de los robots móviles Filtro de partíulas extendido on proeso de lasifiaión (XPFCP) Filtro de partíulas extendido (XPF) Clasifiador XPFCP para el seguimiento de múltiples robots móviles Modelo del sistema Seguimiento mediante XPFCP Implementaión del XPFCP Clasifiador Realimentaión de la salida del XPFCP al módulo de iniializaión de variables Conlusiones y aportaiones Capítulo 9 Resultados y validaión de la soluión propuesta Desripión de las seuenias de imágenes utilizadas en la evaluaión Iniializaión de variables Iniializaión de las urvas Iniializaión de la profundidad Segmentaión de movimiento y estimaión de la posiión 3D de los robots móviles Seguimiento de múltiples robots móviles Efeto del número de partíulas Validaión del sistema ompleto Conlusiones Capítulo 0 Resumen, onlusiones y aportaiones Resumen Iniializaión de variables Segmentaión de movimiento y posiionamiento 3D Identifiaión y seguimiento de los robots móviles Conlusiones xii Cristina Losada Gutiérrez

15 Índie de Contenidos 0.3. Aportaiones más relevantes Líneas de trabajo futuro Publiaiones derivadas de la tesis Referenias Cristina Losada Gutiérrez xiii

16

17 Índie de Figuras Figura.. Estrutura general del Espaio Inteligente en el que se representan los diferentes elementos del mismo...5 Figura.2. Esquema general de la soluión propuesta en esta tesis. Los bloques representados en olor azul representan las diferentes tareas desarrolladas para la fase de segmentaión y obtenión del posiionamiento....7 Figura 2.. Imagen perteneiente a un video en que se demuestran las apaidades de la Smart Room desarrollada por el grupo VisMod del MIT para la interaión entre una persona y una masota virtual. (Imagen extraída de la página web del proyeto: Figura 2.2. Esquema general del proyeto Oxygen desarrollado en el laboratorio de Cienias de la Computaión e Inteligenia Artifiial del MIT...5 Figura 2.3. Imágenes de la Smart meeting room desarrollada por el grupo SAIL de la USC. (a) Imagen general de (b) Detalle del array de mirófonos y la ámara omnidireional...5 Figura 2.4. Esquema de la sala de reuniones implementada en el instituto IDIAP. Imagen extraída de [Hung et al. 2008]....6 Figura 2.5. Esquema de la red de sensores propuesta par Hoover y Olsen [Hoover & Olsen 999a], y mapa de oupaión sobre el plano del suelo....7 Figura 2.6. Topología de la arquitetura formada por LAPUs y RCUs propuesta en el sistema MEPHISTO...7 Figura 2.7. (a) Imágenes del robot en movimiento (b) Resultado de la umbralizaión de la diferenia del par de imágenes, alulada píxel a píxel () Resultado de la umbralizaión de la diferenia entre ada imagen de entrada y una imagen de referenia en la que úniamente aparee el fondo de la esena...2 Figura 2.8. El flujo óptio no siempre se orresponde on el ampo de movimiento. A la izquierda se muestra una esfera sin textura, bajo iluminaión onstante que rota sobre sí misma, sin que exista movimiento en la imagen. A la dereha se muestra una esfera fija, sometida a ambios en la iluminaión, que provoan que exista un ampo de movimiento (flujo óptio) en el plano imagen Figura 2.9. Representaión gráfia del problema de apertura en el álulo del flujo óptio Figura 2.0. Ejemplo de las maras artifiiales utilizadas para la navegaión de robots móviles (a) Mara formada por retángulos simétrios y dos números de 7 segmentos [Yang & Xinhe 2006] (b) mara triangular empleada el trabajo de [Sooyong & Jae-Bok 2007] () Código MR (Mobile Robot) definido en [Feng et al 2009]....3 Figura 2.. Mara artifiial empleada en [Zhang et al. 2004] para la loalizaión de un robot bajo el agua...3 Cristina Losada Gutiérrez xv

18 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas Figura 2.2. Maras artifiiales empleadas sobre un robot móvil para su loalizaión e identifiaión (a) mara utilizada en [Fan et al. 2008]. (b) mara utilizada en [Liang et al. 2008]...32 Figura 2.3. Array de diodos de infrarrojo empleados para el posiionamiento y guiado de un robot móvil en [Fernandez et al. 2007]...32 Figura 2.4. Esquema de funionamiento del sistema de guiado de un dirigible mediante maras artifiiales desrito en [Coelho & Campos 999] Figura 3.. Espaio inteligente del Departamento de Eletrónia de la UAH (ISPACE-UAH)...39 Figura 3.2. Estrutura general del ISPACE-UAH onsiderado en esta tesis en la que se muestran los diferentes elementos existentes en el mismo...40 Figura 3.3. Diagrama general de la arquitetura hardware y software del ISPACE-UAH...42 Figura 3.4. Sistemas de referenia en el ISPACE-UAH. Los ejes de oordenadas del sistema de referenia del mundo (Γ w ) se representan en olor rojo, mientras que los ejes del sistema de referenia de ada ámara (Γ i, i =,2,, n ) se representan en olor azul, y los ejes del sistema de referenia del robot en olor verde Figura 3.5. Sistema de referenia 3D de la ámara i (Γ i i=,2,,n ) en la que el origen de oordenadas se ubia en el entro óptio y el eje Z i oinide on el eje óptio de la ámara...44 Figura 3.6. (a) Modelo de formaión de la imagen en una ámara pin-hole representada omo una aja errada on un agujero en uno de sus lados. (b) Proyeión equivalente: la proyeión invertida de un objeto en el plano imagen a una distania f del entro óptio de la ámara es equivalente a la proyeión de diho objeto en un plano situado a una distania f del entro de la ámara...45 Figura 3.7. Modelo geométrio de ámara pin-hole. En olor azul se representan los ejes del sistema de referenia de la ámara (Γ ) mientras que en olor negro se muestran los ejes de oordenadas sobre el plano imagen (x, y) y en línea roja disontinua la línea de proyeión del punto 3D P (X,Y,Z ) sobre el plano imagen en el píxel p(x, y) Figura 3.8. Relaión entre sistemas de referenia. En olor negro se representan los ejes del sistema de referenia global (del mundo) Γ w mientras que en azul se muestran los ejes del sistema de referenia de una ámara (Γ ) Figura 4.. Diagrama de bloques general del proeso de minimizaión de la funión objetivo definida en la euaión (4.4)...60 Figura 4.2. Diagrama de bloques general del proeso de segmentaión de movimiento y obtenión de la posiión 3D de robots móviles a partir de las imágenes aptadas por un onjunto de ámaras ubiadas en posiiones fijas en el espaio...67 Figura 4.3. Diagrama de bloques general del algoritmo de segmentaión de movimiento rígido y obtenión de la posiión 3D a partir de las imágenes aptadas por n ámaras ubiadas en posiiones fijas del espaio. Tanto la segmentaión de movimiento omo la obtenión de la posiión 3D se realizan de forma onjunta para las n imágenes, mientras que el proeso de iniializaión de las urvas se ejeuta por ada una de las ámaras disponibles Figura 5.. Diagrama de bloques general en el que se presentan las diferentes etapas neesarias para la iniializaión de las urvas que definen los ontornos de los robots móviles presentes en la esena...88 Figura 5.2. Obtenión del modelo de fondo de la esena usando GPCA a partir de un onjunto de imágenes de fondo en las que no apareen robots móviles. Esta etapa sólo se ejeuta una vez y puede realizarse off-line...90 Figura 5.3. Error de reuperaión de las imágenes de fondo en funión del número de imágenes utilizadas para el álulo del modelo de fondo y utilizando diferente número de autovetores...93 xvi Cristina Losada Gutiérrez

19 Índie de Figuras Figura 5.4. Tiempo onsumido en la obtenión del modelo de fondo en funión del número de imágenes utilizadas para el álulo, para, 2 y 5 autovetores Figura 5.5. (a) y (b) Imágenes del fondo de la esena. () y (d) Resultado de la proyeión y posterior reuperaión de las imágenes (a) y (b) mediante las matries de transformaión GPCA obtenidas a partir de 0 imágenes del fondo on únio autovetor. (e) y (f) Error de reuperaión obtenido omo la diferenia entre la imagen original y la reuperada elevada al uadrado Figura 5.6. Tiempo de ómputo para el álulo de las matries de transformaión PCA y GPCA (a) en funión del número de autovetores y (b) en funión del número de imágenes utilizadas Figura 5.7. Error de reuperaión de PCA y GPCA (a) En funión del número de autovetores, para 0 imágenes de fondo. (b) En funión del número de imágenes on autovetor Figura 5.8. (a) Imagen original en la que aparee un robot móvil (b) Imagen obtenida tras proyetar la imagen de entrada al espaio transformado (euaión (5.7)) de dimensión x y posteriormente reuperarla en el espaio original (euaión (5.8)) Figura 5.9. Diagrama de bloques para la seleión de los píxeles andidatos a perteneer a robots móviles mediante la umbralizaión del error de reuperaión alulado utilizando la ténia GPCA...00 Figura 5.0. Cálulo del error de reuperaión utilizando ventanas. En el aso de esta figura la ventana se ha onsiderado de 3x3 píxeles...0 Figura 5.. Imágenes perteneientes a las seuenias on las que se han realizado las diferentes pruebas que permiten la evaluaión del efeto del tamaño de la ventana utilizado en el álulo del error de reuperaión...02 Figura 5.2. Error de reuperaión en funión del tamaño de la ventana utilizada para la imagen de la Figura 5..a. (a) Sin utilizar ventanas (euaión (5.9)). (b) Con una ventana de 3x3 píxeles. () Con una ventana de 7x7 píxeles. (d) Con una ventana de 3x3 píxeles...03 Figura 5.3. Error de reuperaión en funión del tamaño de la ventana utilizada, para la imagen de la Figura 5..b. (a) Sin utilizar ventanas (euaión (5.9)). (b) Con una ventana de 3x3 píxeles. () Con una ventana de 7x7 píxeles. (d) Con utilizar una ventana de 3x3 píxeles Figura 5.4. Valor del error de reuperaión en los píxeles de la olumna 50 de la imagen mostrada en la Figura 5..a, para diferentes valores del tamaño de ventana...04 Figura 5.5. Valor del error de reuperaión en los píxeles de la olumna 350 de la imagen mostrada en la Figura 5. (b) para diferentes tamaños de ventana...05 Figura 5.6. Tiempo de ómputo onsumido en el álulo del error de reuperaión (en segundos) en funión del tamaño de la ventana utilizada. En azul se muestra el tiempo onsumido por 50 imágenes de la seuenia (Figura 5..a). Con línea disontinua roja se presenta el tiempo de ómputo de las imágenes de la seuenia 2 (Figura 5..b) Figura 5.7. Curvas iniiales para diferentes valores del umbral sobre el error de reuperaión (a) Curva obtenida on un umbral demasiado alto. (b) Curva obtenida on un umbral demasiado bajo. () Curva obtenida on el umbral adeuado Figura 5.8. Diagrama de bloques general que refleja el proeso de obtenión del valor iniial del umbral en funión del valor máximo del error de reuperaión obtenido para las imágenes impliadas en el álulo del modelo de fondo Figura 5.9. (a) y (b) Imágenes de entrada. () Valor del error de reuperaión en los píxeles de la olumna j=50 marada en negro en (a) y umbral proporional (5.3). (d) Valor del error de reuperaión en los píxeles de la olumna j=350 marada en negro en (b) y umbral proporional (5.3). (e) y (f) Curvas iniiales obtenidas tras apliar el umbral proporional definido en (5.3) Cristina Losada Gutiérrez xvii

20 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas Figura (a) y (b) Imágenes de entrada. () Valor del error de reuperaión en los píxeles de la olumna j=50 marada en negro en (a). (d) Valor del error de reuperaión en los píxeles de la olumna j=350 marada en negro en (b)...0 Figura 5.2. (a) Imagen de prueba de la seuenia. (b) Resultado obtenido tras umbralizar el error de reuperaión de (a) on el valor del umbral óptimo. () Imagen de prueba de la seuenia 2. (d) Resultado obtenido tras umbralizar () on el valor del umbral óptimo....2 Figura (a) y () Valor del error de reuperaión para los píxeles de una olumna de las imágenes mostradas en la Figura 5.20 (a) y (b) y umbrales para los diferentes valores de la onstante K onsiderados. () y (d) Detalle de la imagen y las urvas iniiales obtenidas para los diferentes valores de la onstante K...3 Figura Curvas iniiales obtenidas para diferentes imágenes al apliar sobre el error de reuperaión un umbral proporional (on K=0) al valor máximo del error de reuperaión de las imágenes de fondo (5.4)...5 Figura Valor del umbral proporional, on K=0, en funión del número de imágenes para, 2 y 5 autovetores. (a) Imágenes de la seuenia (Figura 5.20 (a)). (b) Imágenes de la seuenia 2 (Figura 5.20 (b))...8 Figura Valor del umbral proporional (5.4) on K=0 en funión del número de imágenes y autovetores onsiderados en la obtenión del modelo de fondo de la esena usando GPCA (a) para las imágenes de la seuenia, (b) para las imágenes de la seuenia Figura Tiempo de ómputo onsumido en el álulo y umbralizaión del error de reuperaión para la obtenión de las urvas iniiales en funión del número de imágenes y de autovetores onsiderados en el modelado del fondo de la esena. (a) Seuenia de imágenes (Figura 5.20 (a)). (b) Seuenia de imágenes 2 (Figura 5.20 (b))...9 Figura Valor del umbral en funión del tamaño de la ventana utilizada para el álulo del error de reuperaión...20 Figura Valor máximo del error de reuperaión de las imágenes de fondo en ada píxel para diferentes valores del tamaño de la ventana elegida (a) q = píxeles (b) q = 7 píxeles...2 Figura Valor máximo del error de reuperaión de las imágenes de fondo en funión del tamaño de la ventana para una olumna de la imagen...2 Figura Curvas iniiales obtenidas tras apliar sobre el error de reuperaión el umbral proporional a K on K=0 alulado para un tamaño de ventana de q =, 3 y píxeles...22 Figura 5.3. Número de píxeles en los que el error de reuperaión supera el umbral (Euaión (5.4)) en funión del valor de la onstante K y el tamaño de ventana utilizado en el álulo del error. (a) Imagen de la seuenia. (b) Imagen de la seuenia Figura Valores válidos de la onstante K en el álulo del umbral sobre el error de reuperaión en funión del tamaño de la ventana utilizada para las imágenes de entrada mostradas en la Figura 5.9(a) y (b) Figura Valor iniial del umbral en funión del tamaño de la ventana utilizada para el álulo del modelo de fondo atualizando el valor de la onstante K en funión del tamaño de la ventana..24 Figura Porentaje de píxeles segmentados de forma orreta en funión del tamaño de la ventana utilizada en el álulo del error de reuperaión tras apliar un umbral definido según la euaión (5.4) on K onstante (en línea azul ontinua) y on K definida en funión del tamaño de ventana según las euaiones (5.5) y (5.6), respetivamente. (a) Imagen de la seuenia (Figura 5.9 (a)). (b) Imagen de la seuenia 2(Figura 5.9 (b))...25 Figura Tiempo de ómputo medio onsumido en la obtenión de la urva iniial en 50 imágenes en funión del tamaño de la ventana utilizada en el álulo del error de reuperaión xviii Cristina Losada Gutiérrez

21 Índie de Figuras Figura Intensidad media de las N i imágenes utilizadas en el álulo del modelo de fondo (en línea roja en la gráfia superior). Intensidad media y número de puntos ontenidos por la urva iniial, apliando el valor iniial del umbral proporional (5.4) on K=0 sobre el error de reuperaión de 700 imágenes perteneientes a la seuenia de la imagen mostrada en la Figura 5.(a)...27 Figura Intensidad media de las N i imágenes utilizadas para el álulo del modelo de fondo (en línea roja disontinua en la gráfia superior). Intensidad media y número de puntos ontenidos por la urva iniial, apliando el valor iniial del umbral proporional (5.4) on K=0 sobre el error de reuperaión de 700 imágenes perteneientes a la seuenia de la imagen mostrada en la Figura 5.(b)...27 Figura Número de puntos ontenidos en la urva iniial en funión de la intensidad media de la imagen de entrada. Estas gráfias se han obtenido representando para ada imagen el punto orrespondiente a su intensidad media, y al número de píxeles en los que el error de reuperaión supera el umbral fijado definido en la euaión (5.4). En (a) se muestran los resultados para 700 imágenes de la seuenia (Figura 5. (a)) mientras que en (b) se han representado los resultados para 700 imágenes de la seuenia 2 (Figura 5. (b))...28 Figura Ejemplo de las imágenes utilizadas para evaluar el efeto de los ambios de iluminaión: (a) y (d) imágenes originales. (b) y (e) imágenes obtenidas tras restarle un valor de 40 a la intensidad de todos los píxeles de las imágenes originales. () y (f) imágenes obtenidas tras sumar un valor de 40 a la intensidad de todos los píxeles de las imágenes originales...29 Figura Efeto de la variaión de la intensidad de las imágenes sobre las urvas iniiales. (a) Número de píxeles que ontiene la urva iniial en funión del valor que se suma a la intensidad en ada píxel de la imagen de entrada para un umbral proporional on K = 0. (b) Curva iniial obtenida tras restar un valor igual a 70 a la intensidad de los píxeles de la imagen de entrada. () Curva iniial obtenida para la imagen de entrada original. (d) Curva iniial obtenida tras sumar un valor de 70 a la intensidad de los píxeles de la imagen de entrada...30 Figura 5.4. Efeto de la onstante α sobre las urvas iniiales: número de píxeles ontenidos en la urva iniial en funión del valor sumado a la intensidad de todos los píxeles de la imagen de entrada para diferentes valores de la onstante α on β = Figura Efeto de la onstante β sobre las urvas iniiales: número de píxeles ontenidos en la urva iniial en funión del valor sumado a la intensidad de todos los píxeles de la imagen de entrada para diferentes valores de la onstante β on α = Figura (a) Rango de valores en los que es posible inrementar o derementar la intensidad en ada píxel de la imagen de entrada obteniendo las urvas iniiales de forma orreta en funión de los valores de las onstantes α y β. (b) Detalle del rango de valores para α entre y y β entre y Figura Detalle de las urvas iniiales obtenidas tras apliar sobre el error de reuperaión el umbral dinámio obtenido para diferentes valores de las onstantes α y β...35 Figura Curvas iniiales obtenidas apliando el umbral proporional (5.4) on K=0 y el umbral adaptativo (5.8) al error de reuperaión obtenido en imágenes on diferentes valores de intensidad media para una variaión homogénea de la intensidad. En rojo se muestra el resultado obtenido al utilizar un umbral fijo (euaión (5.4)) mientras que en azul se muestran las urvas iniiales obtenidas on el umbral dinámio (euaión (5.8)) Figura Curvas iniiales obtenidas apliando el umbral proporional (5.4) on K=0 (en rojo) y el umbral adaptativo (5.8) (en azul) al error de reuperaión obtenido en imágenes a las que se le ha modifiado la intensidad de forma no homogénea...38 Figura Curvas iniiales obtenidas (a) utilizando una irunferenia según se propone en [Sekkati & Mitihe 2006b], y (b) utilizando la ténia propuesta en esta tesis basada en la umbralizaión del error de reuperaión alulado usando la ténia GPCA Cristina Losada Gutiérrez xix

22 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas Figura Imágenes de prueba perteneientes a las seuenias 3 y 4. (a) Imagen 250 de la seuenia 3. (b) Imagen 300 de la seuenia 3. () Imagen 350 de la seuenia 3. (d) Imagen 250 de la seuenia 4. (e) Imagen 300 de la seuenia 4. (f) Imagen 350 de la seuenia Figura Curvas iniiales obtenidas para las imágenes de prueba de las seuenias 3 y 4 mostradas en la Figura (a) Imagen 250 de la seuenia 3. (b) Imagen 300 de la seuenia 3. () Imagen 350 de la seuenia 3. (d) Imagen 250 de la seuenia 4. (e) Imagen 300 de la seuenia 4. (f) Imagen 350 de la seuenia Figura Porentaje de píxeles segmentados de forma orreta en funión del valor sumado a la intensidad de ada píxel de la imagen de entrada. Resultados obtenidos para las imágenes de la seuenia 3 (en rojo en la figura) y la seuenia 4 (en negro en la figura) Figura 5.5. Espaio romátio logarítmio 2D. En azul se muestra el plano en el que se define el espaio de olor logarítmio 2D χ = (χ,χ 2 ) definido según la euaión (5.26) a partir del espaio logarítmio de olor ρ = (ρ R, ρ G, ρ B ) T Figura Representaión de la obtenión del ángulo de proyeión mediante la minimizaión de la entropía del histograma de la imagen proyetada. (a) Ejemplo en el que la proyeión se ha realizado utilizando el ángulo orreto. (b) Histograma de la proyeión orreta. () Ejemplo en el que se ha realizado la proyeión utilizando un ángulo inorreto. (d) Histograma de la proyeión inorreta...46 Figura Valor de la entropía del histograma de la imagen proyetada (euaión (5.27)) en funión del ángulo utilizado para la proyeión. El ángulo de proyeión elegido es aquel para el que la entropía es mínima...47 Figura (a) Imagen de entrada en la que se ha representado la región de interés (ROI) mediante un retángulo en rojo. (b) Detalle de la región de interés en la imagen (ROI). () Imagen invariante a la iluminaión obtenida a partir de la ROI de la imagen original...48 Figura Eliminaión de sombras. Curvas de ontornos iniiales de robots móviles antes (en rojo) y después (en negro) del proeso de eliminaión de sombras. (a) Curvas iniiales obtenidas en el aso de apliar un umbral U inv adeuado. (b) Curvas iniiales obtenidas en el aso de apliar un umbral U inv demasiado pequeño. () Curvas iniiales obtenidas en el aso de apliar un umbral U inv demasiado grande...50 Figura Imágenes de prueba perteneientes a la seuenia. Se muestran las imágenes que oupan las posiiones 200, 300 y 400 de esta seuenia....5 Figura Imágenes de prueba perteneientes a la seuenia 2. Se muestran las imágenes que oupan las posiiones 200, 300 y 400 de esta seuenia....5 Figura Valor medio del porentaje de píxeles segmentados de forma orreta (a) para el onjunto de imágenes de la seuenia (Figura 5.56) y (b) para el onjunto de imágenes de la seuenia 2 (Figura 5.57) Figura Detalle de las urvas iniiales antes (en rojo) y después (en azul) del proeso de eliminaión de sombras propuesto para diferentes imágenes de las seuenias de prueba, 2 y Figura (a) Bordes detetados al umbralizar la norma del gradiente de la imagen original. (b) Bordes detetados al umbralizar la norma del gradiente de la imagen invariante. () Resultado de la umbralizaión utilizando la funión definida en la euaión (5.30)...55 Figura 5.6. Diagrama de bloques del proeso de eliminaión de los píxeles que perteneen a sombras en las urvas iniiales. La eliminaión de sombras se realiza en un espaio de olor invariante a la iluminaión Figura Propuesta de iniializaión de urvas de ontornos de robots, utilizando imágenes invariantes a la iluminaión...56 xx Cristina Losada Gutiérrez

23 Índie de Figuras Figura Ejemplo de imágenes invariantes a la iluminaión. Todas las imágenes perteneen a la seuenia (Figura 5.9 (a)). (a) Imagen de fondo. (b) Imagen de entrada invariante a la iluminaión. () Imagen de entrada en esala de grises Figura 6.. Visión general del proeso de iniializaión, utilizando Visual Hull 3D de la profundidad a partir de las urvas iniiales que definen los ontornos de los posibles robots móviles Figura 6.2. Ejemplo de onstruión del Visual Hull a partir de siluetas en 2D. (a) mediante la interseión direta de los onos visuales (el resultado de la interseión se muestra en olor verde alrededor del objeto O). (b) Mediante aproximaión basada en vóxeles (la región mostrada en amarillo representa el Visual Hull aproximado, mientras que la línea verde se orresponde on la interseión real de los onos visuales)...65 Figura 6.3. Efeto de mejora de las urvas iniiales onseguida tras la iniializaión de la profundidad mediante Visual Hull 3D. (a) Rejilla de oupaión obtenida a partir de las imágenes aptadas por tres de las ámaras disponibles en el ISPACE-UAH. (b) Curva iniial obtenida para la imagen aptada por la ámara 3. () Curva iniial mejorada tras la iniializaión de la profundidad mediante Visual Hull 3D. Las urvas que apareían fuera del robot han sido eliminadas...67 Figura 6.4. Ejemplo de imagen perteneiente a la seuenia de test vista por las uatro ámaras disponibles en el ISPACE-UAH. (a) Imagen de la ámara. (b) Imagen de la ámara 2. () Imagen de la ámara 3. (d) Imagen de la ámara Figura 6.5. Detalle de las urvas de ontorno de un robot obtenidas para una imagen de la seuenia de test (Figura 6.4) tras la eliminaión de las zonas de sombra. (a) Utilizando Visual Hull 3D y eliminando los puntos on Z w =0 en Γ w. (b) Tras la proyeión de la imagen a un espaio invariante a la iluminaión...69 Figura 6.6. Detalle de las urvas obtenidas para diferentes imágenes perteneientes a la seuenia de test (Figura 6.4). En olor rojo se representa la urva iniial obtenida mediante GPCA. La urva verde es la obtenida tras la proyeión de la imagen de entrada a un espaio invariante a la iluminaión, mientras que la azul es el resultado de eliminar las muestras en las que Z w =0 en Γ w...70 Figura 6.7. Comparaión del tiempo de ómputo onsumido en la eliminaión de los puntos de sombra presentes en las urvas iniiales mediante la proyeión a un espaio invariante a la iluminaión, y la eliminaión del plano Z w =0 en Γ w para un onjunto de imágenes perteneientes a la seuenia de test (Figura 6.4)....7 Figura 6.8. Diagrama de bloques general del algoritmo k-medias básio Figura 6.9. Diagrama de bloques general del algoritmo k-medias extendido para permitir la reaión de lases nuevas. Los bloques añadidos al algoritmo k-medias básio apareen en olor amarillo. 76 Figura 6.0. Resultados de la ejeuión del algoritmo k-medias sobre un onjunto de datos Y en un espaio 2D, utilizando omo araterístias las oordenadas x,y de los puntos segmentados y la distania eulídea omo riterio de asignaión de elementos a lases. (a) Resultado obtenido apliando el algoritmo k-medias básio on k=2. (b) Resultado obtenido apliando el algoritmo k- medias básio on k=3. () Resultado obtenido apliando el algoritmo k-medias extendido. Las irunferenias representan el valor de dmax en el espaio de lasifiaión 2D...77 Figura 6.. Resultados de la ejeuión del k-medias extendido sobre un onjunto de medidas en un espaio bidimensional para diferentes valores del parámetro dmax. (a) dmax = dmax0 las tres lases se detetan orretamente. (b) dmax = dmax 0. 5 una de las lases aparee dupliada. () dmax =.5 dmax dos de las lases apareen unidas Figura 6.2. Imágenes perteneientes a la seuenia 4 (Figura 5.48d) sobre las que se muestran los puntos andidatos a perteneer a robots móviles, obtenidos tras la iniializaión de las urvas mediante GPCA y eliminaión de sombras Cristina Losada Gutiérrez xxi

24 Segmentaión y Posiionamiento 3D de RMs En Espaios Inteligentes mediante Redes de Cámaras Fijas Figura 6.3. Resultados obtenidos tras apliar k-medias sobre los datos de entrada mostrados en la Figura 6.2 utilizando omo medida la distania eulídea, on un valor de distania límite dmax = Figura 6.4. Resultado de la proyeión sobre el eje x de las medidas mostradas en las imágenes de la Figura 6.2(a) y (b)....8 Figura 6.5. Resultado del lustering tras apliar k-medias utilizando omo medida de distania la euaión (6.5) (imágenes mostradas a la izquierda) y la euaión (6.4) (imágenes mostradas a la dereha) para (a) Imagen de la seuenia...84 Figura 6.6. Imágenes perteneientes a la seuenia de prueba Figura 6.7. Resultado del lustering de las imágenes mostradas en la Figura Figura 6.8. Ejemplo de lustering para la deteión del número de objetos móviles. (a) Imagen de la esena real aptada por una ámara. (b) Conjunto de medidas 3D extraídas de la imagen (a). () Proyeión sobre el espaio artesiano 2D definido por el plano XY Figura 6.9. Resultado del lustering. Las imágenes mostradas en la parte izquierda muestran el resultado de apliar el algoritmo k-medias sobre el onjunto de muestras proyetadas sobre el plano XY en Γ w, mientras que las imágenes de la olumna dereha representan las muestras en 3D en Γ w Figura 7.. Imágenes perteneientes a la seuenia, utilizada para el ajuste de las onstantes λ y μ y para la eleión de la funión de preservaión de bordes Figura 7.2. Imágenes perteneientes a la seuenias 2 y 3, utilizadas para validar los valores elegidos para las onstantes de ponderaión λ y μ...94 Figura 7.3. (a) Representaión gráfia de las funiones de preservaión de bordes presentadas en la Tabla 7. para valores de Z omprendidos entre 0 y 2. (b) Representaión gráfia de las derivadas de las funiones de preservaión de bordes divididas entre Z...96 Figura 7.4. Tiempo de ómputo onsumido por la minimizaión de la funión objetivo alulado para 00 imágenes, para las diferentes funiones de preservaión de bordes onsideradas Figura7.5. (a) Número de píxeles ontenidos en la urva que define el ontorno del robot móvil en funión del valor de la onstante μ para 0 imágenes de prueba de la seuenia a la que perteneen las imágenes de la Figura 7.. (b) Detalle de las urvas obtenidas para una imagen de la seuenia Figura 7.6. (a) Detalle de la imagen de entrada sobre la que se han resaltado en olor rojo los píxeles para los que se representa el valor de la profundidad. (b) Valor de la profundidad en los píxeles marados en rojo en (a) en funión del valor de la onstante μ Figura 7.7.Valor máximo de la diferenia entre la profundidad obtenida para μ = 0-3 y para los siguientes valores de μ: 5 0-3, 0-2, 5 0-2, 0 -, 5 0 -, Figura 7.8. Errores ometidos en el álulo de las veloidades lineal y angular alulados omo la diferenia entre las veloidades estimadas por el algoritmo, y las medidas por los sensores odométrios del robot en Γ w. (a) Error ometido en el álulo de la veloidad lineal. (b) Error ometido en el álulo de la veloidad angular Figura 7.9. (a)detalle de la imagen de entrada sobre la que se han resaltado en olor rojo los píxeles para los que se representa el valor de la profundidad. (b) Valor de la profundidad en los píxeles marados en rojo en (a) en funión del valor de la onstante μ Figura 7.0. Detalle de las urvas obtenidas para una imagen de la seuenia utilizando diferentes valores de la onstante λ...20 Figura 7.. Número de píxeles ontenidos por la urva que define el ontorno del robot móvil en funión del valor de la onstante μ, para 5 de las 00 imágenes de la seuenia de prueba. (a) Número de píxeles por la urva obtenida para la imagen de la ámara. (b) Número de píxeles en la urva xxii Cristina Losada Gutiérrez

25 Índie de Figuras obtenida para la imagen de la ámara 2. () Número de píxeles en la urva obtenida para la imagen de la ámara 3. (d) Número de píxeles en la urva obtenida para la imagen de la ámara Figura 7.2. Detalle de las urvas iniiales de una de las imágenes de la seuenia (a) Vista desde la ámara (b) Vista desde la ámara Figura 7.3. (a) Número de píxeles en que se diferenia la urva iniial de la urva obtenida tras la minimizaión de energía para ada una de las uatro ámaras disponibles. (b) Evoluión media de las urvas por ada iteraión (alulada dividiendo el número de píxeles en que difieren la urva iniial y la final entre el número medio de iteraiones) Figura 7.4. Detalle de las urvas obtenidas para una imagen de la seuenia utilizando diferentes valores de la onstante λ. (a) Detalle de las urvas en la imagen aptada por la ámara. (b) Detalle de las urvas en la imagen aptada por la ámara Figura 8.. Diagrama de bloques general del XPFCP propuesto en [Marron 2008]. Las etapas orrespondientes al filtro de partíulas extendido se muestran en olor azul, mientras que las etapas de lasifiaión de medidas y de partíulas se han representado en olor naranja Figura 8.2. Diagrama de bloques general de la soluión propuesta para la segmentaión de movimiento y la estimaión de la posiión 3D de un número variable de robots móviles Figura 8.3. (a) Imágenes de entrada perteneientes a la seuenia de pruebas vistas por tres ámaras fijas en el ISPACE-UAH. (b) Conjunto de puntos obtenidos tras la minimizaión de la funión objetivo y la identifiaión de los robots móviles ontenidos en la esena mostrada en las imágenes anteriores Figura 8.4. Representaión gráfia del peso normalizado asoiado a ada una de las partíulas en el paso de orreión del XPF. Las oordenadas X e Y oiniden on las oordenadas de la partíula en Γ w Figura 8.5. Representaión sobre el plano X w Y w del resultado de la lasifiaión del onjunto de partíulas mostrado en la Figura Figura 8.6. Cubos obtenidos a partir de los grupos de partíulas a la salida del XPFCP. El interior de estos ubos define la zona donde existe una mayor probabilidad de enontrar robots móviles en la siguiente imagen de la seuenia Figura 8.7. Resultado de la proyeión de los ubos definidos alrededor de ada grupo de partíulas sobre el plano imagen de ada una de las tres ámaras Figura 8.8. Diagrama de bloques general del proeso de obtenión del VH3D, utilizando una másara, a partir de las urvas iniiales que inorpora la informaión obtenida del XPFCP en la imagen anterior Figura 9.. Dos ejemplos (a) y (b) de esenas perteneientes a la seuenia adquiridas por uatro ámaras en el ISPACE-UAH, de las uales solamente se representa la informaión aptada por tres ámaras Figura 9.2. Esena perteneiente a la seuenia 2 adquirida por tres ámaras en el ISPACE-UAH Figura 9.3. Imágenes perteneientes a la seuenia 3 adquiridas por uatro ámaras en el ISPACE-UAH. Vista desde tres de las uatro ámaras de dos esenas en las que aparee un robot móvil. Las dos esenas han sido adquiridas en diferentes ondiiones de iluminaión Figura 9.4. Imágenes perteneientes a la seuenia 4 adquiridas por uatro ámaras en el ISPACE-UAH. Vista desde tres de las uatro ámaras de dos esenas diferentes. (a) Imagen en la que aparee un robot móvil y una persona. (b) Imagen en la que úniamente aparee un robot móvil Figura 9.5. Imágenes perteneientes a la seuenia 5 adquiridas por uatro ámaras en el ISPACE-UAH. Vista desde tres de las uatro ámaras de dos esenas diferentes. (a) Imagen en la que úniamente Cristina Losada Gutiérrez xxiii