INVESTIGACIÓN E IMPLEMENTACIÓN DE UN SISTEMA DE SEGUIMIENTO DE OBJETOS BASADO EN MÉTODOS DE SEGMENTACIÓN A TRAVÉS DE LEVEL SETS

Transcripción

1 INVESTIGACIÓN E IMPLEMENTACIÓN DE UN SISTEMA DE SEGUIMIENTO DE OBJETOS BASADO EN MÉTODOS DE SEGMENTACIÓN A TRAVÉS DE LEVEL SETS Autor: Ayllón Clemente, Irene. Director: Weiler, Daniel. Entidad Colaboradora: Honda Research Institute Europe y TU Darmstadt. RESUMEN DEL PROYECTO El seguimiento de objetos a través de una secuencia de imágenes es una desafiante tarea en muchas aplicaciones del campo de la visión artificial. Algunas de estas aplicaciones abarcan desde la creación de sistemas automáticos de vigilancia y sistemas de asistencia al conductor hasta robots humanoides como es el caso del robot ASIMO de Honda. Ilustración 1: La imagen de la izquierda muestra la imagen original que se quiere segmentar, mientras que la imagen de la derecha muestra el resultado de dicha segmentación a través de los métodos de Level Set. Una etapa crucial en el seguimiento de objetos es la segmentación, la cual se ocupa de detectar el objeto en cada fotograma de la secuencia. Los métodos de Level Set son una potente herramienta para la segmentación de imagénes. Estos métodos se encuentran basados en una deformación continua e iterativa de una superficie, la función de Level Set, la cual proporciona el contorno del objeto a segmentar. A pesar de la facilidad de adaptación de estos métodos al contorno del objeto, se requiere de un gran coste computacional para conseguir una exitosa convergencia en la siguiente imagen. Además

2 de que si el objeto sufre cambios radicales entre fotogramas, existe una gran probabilidad de que la segmentación del objeto en la siguiente imagen no suceda. Ilustración 2: La imagen muestra como a través de un movimiento brusco del objeto, la segmentación del Level Set no converge hasta el contorno del objeto. La línea blanca representa el contorno del objeto en el fotograma anterior. Dicho contorno sirve como inicialización para el siguiente instante de tiempo. La línea negra es la segmentación de los Level Sets para el fotograma actual. En este caso, la segmentación es deficiente porque no se adapta al contorno del objeto, además de que se segmentan partes que no pertenecen al pato azul. En este proyecto se investigan e implementan diferentes algoritmos de predicción para el seguimiento de objetos, los cuales simultáneamente son capaces de detectar el objeto en cada fotograma. Estos algoritmos predictivos reducen el coste computacional del proceso de convergencia de la segmentación de la función de Level Set. Adicionalmente predicen el movimiento del objeto en la siguiente imagen, con la ventaja de impedir la pérdida de él anteriormente mencionada. Estos algoritmos son evaluados exhaustivamente en este proyecto teniendo en cuenta su capacidad de aceleración del proceso de convergencia de los Level Sets, además de su calidad de predicción del movimiento del objeto entre imágenes consecutivas. De dicha evaluación, se concluye que donde algunos algoritmos fallan o se estancan, otros son capaces de obtener óptimos resultados y predicciones correctas de la posición y el movimiento del objeto. Por tanto, una colaboración entre los distintos algoritmos

3 permite una predicción más robusta para un mayor número de situaciones, además de reducir el coste computacional de la segmentación del Level Set. Tabla 1: Los algoritmos de predicción empleados en este proyecto se pueden clasificar en dos grupos: los algoritmos de medición de una transformación afín y los adaptados a modelos de transformación no rígida. Estos últimos se encuentran representados por el flujo óptico y un método probabilístico de detección de movimiento. En el primer grupo, destacan el acoplamiento de siluetas o formas, la búsqueda de patrones y el flujo óptico con una parametrización afín. Algoritmos de medición de transformación afín Acoplamiento de siluetas Búsqueda de patrones Flujo óptico Algoritmos adaptados a modelos de transformación no rígida Flujo óptico Método probabilístico de detección de movimiento El sistema de segmentación presentado en este proyecto, se ha integrado en un sistema bayesiano de seguimiento de objetos previamente existente. Este módulo de detección segmenta el objeto de interés en cada fotograma, permitiendo a su vez que la máscara obtenida de él sirva como plantilla. De esta plantilla se extraen las pistas que caracterizan a un objeto como fase de preprocesamiento, antes de comenzar la ejecución del algoritmo de seguimiento. Previamente a la ejecución de este proyecto, dicha fase de preprocesamiento se realizaba a través de un sistema de adaptación retroalimentiva de la plantilla. En conclusión, los resultados experimentales obtenidos en este proyecto demuestran y confirman la buena ejecución, robustez y eficiencia de la colaboración de los distintos algoritmos predictivos para segmentar el objeto en un sistema de seguimiento de objetos por medio de la segmentación de métodos de Level Set. En este proyecto, se han comprobado y examinado los resultados a través de diferentes secuencias con diferentes grados de dificultad. En todas ellas el coste computacional de la segmentación con Level Sets ha sido reducido eficientemente, además de impedir la pérdida del objeto en la siguiente imagen de la secuencia. Adicionalmente, la integración del módulo de segmentación en el sistema bayesiano de seguimiento existente ha suprimido la

4 desviación de la trayectoria ocurrida en el sistema de preprocesamiento empleado previamente a este proyecto. Todos los algoritmos de seguimiento de objetos operan en tiempo real. Ilustración 3: La imagen de la izquierda muestra el resultado del seguimiento del coche amarillo con una adaptación retroalimentiva de la plantilla, mientras que la imagen de la derecha muestra los resultados tras el uso de una plantilla obtenida a través de la segmentación de Level Sets. INVESTIGATION AND IMPLEMENTATION OF A LEVEL SET-BASED TRACKING SYSTEM Object tracking is a challenging task in many computer vision applications such as automated surveillance systems, driver assistance and humanoid robots. Figure 1: Left image shows the original frame to segment. Right image displays the segmentation result by means of Level Set methods. A crucial step in object tracking is object segmentation, which is in charge of the detection of the object to track. Level Set methods are a powerful approach for image segmentation. These methods are based on the iterative deformation of a surface, the level-set function, which provides the contour of the object. Nevertheless, the main

5 drawback of these methods, especially in real-time systems, is their computational cost when a large number of iterations are required. It is also important to state that if the object appearance changes abruptly between frames, the next frame segmentation could not converge and also fail to segment the object of interest. Figure 2: This image shows how a large transformation of the object causes that the Level Set segmentation does not converge to the object contour. The white line represents the object contour in the previous frame. This contour is the initialization of Level Sets for the actual frame. The segmentation observed here is poor, because it does not adapt to the actual object contour, besides some parts not belonging to the blue duck are segmented too. Table 2: Prediction algorithms employed in this thesis can be classified in two groups: affine and non-rigid object movement models. Latter are represented by optical flow and a probabilistic motion model. Shape matching, affine parameterized optical flow and template matching are algorithms from the first group. Affine object movement models Shape matching Template matching Optical Flow Non-rigid object movement models Optical Flow Probabilistic motion model Different prediction tracking algorithms, which detect the object movements along the image sequences, are investigated and implemented in this thesis. They reduce the

6 computational cost of the process by means of a predicted level-set function for the next frame of the sequence. From the evaluation of the prediction algorithms, it is concluded that each algorithm depending on the field of application leads to different levels of reliability and confidence in the prediction. A collaboration between the different algorithms provides a more robust prediction, driving to a much faster convergence of the level set. The segmentation task presented in this work is integrated into an object tracking framework. This detection module segments the target object in each frame of a video sequence, serving as a template of the object for the following processing tracking steps. Experimental results demonstrate and confirm the good performance, robustness, and efficiency of the collaborating prediction algorithms in a level set-based tracking system. Several different sequences in this thesis are tested, in which the computational cost of the level set segmentation is efficiently reduced and the drift produced by the template adaptation mode of the existing tracking system is overcome. All algorithms are executed in a real-time framework. Figure 3: Left image shows the result obtained from yellow car tracking with template adaptation mode. Right image displays the same result but after using Level Set segmentation as a template.