Autorizada la entrega del proyecto al alumno: Elena Garzón González LOS DIRECTORES DEL PROYECTO. Manuel Alvar Miró. Álvaro Arranz Domingo

Transcripción

1 Autorizada la entrega del proyecto al alumno: Elena Garzón González LOS DIRECTORES DEL PROYECTO Manuel Alvar Miró Fdo.:... Fecha:. /.../. Álvaro Arranz Domingo Fdo.:... Fecha:. /.../. Álvaro Sánchez Miralles Fdo.:... Fecha:. /.../. Vº Bº del Coordinador de Proyectos Álvaro Sánchez Miralles Fdo.:... Fecha:. /.../.

2 PROYECTO FIN DE CARRERA ANÁLISIS DE IMÁGENES: SISTEMA DE SEGUIMIENTO DE PERSONAS AUTOR: ELENA GARZÓN GONZÁLEZ MADRID, junio 2010

3 AGRADECIMIENTOS En primer lugar, y como no podía ser de otra forma, quiero agradecer a mis padres y mi hermano el apoyo incondicional en todo lo que hago, en los momentos buenos y en los más difíciles. Por preocuparse todos los días de mi felicidad y haberme brindado la oportunidad de estudiar en ICAI. Gracias a mis directores de proyecto por la confianza depositada en mí para la realización de este proyecto. Gracias a mis amigos y compañeros de la universidad, por escucharme y animarme en todo momento. En definitiva, gracias a todos los que habéis formado parte de mi pasado y formareis parte de mi futuro, a los que me habéis ayudado a superar todos los obstáculos con los que me he encontrado, con los que he compartido risas y lágrimas. Sin todos vosotros, nada de esto habría sido posible. Muchas gracias.

4 A toda mi familia, especialmente a aquellos que ya no están.

5 Resumen Resumen Gracias a los recientes avances tecnológicos, los sistemas de videovigilancia inteligente se han convertido en un área en continua investigación y desarrollo. Su objetivo principal es alertar a un operador cuando se detecten eventos que podrían necesitar la intervención humana, por ejemplo para evitar posibles accidentes o vandalismo. Estas advertencias sólo serán fiables si el sistema es capaz de detectar y comprender el comportamiento de esas personas, y para ello, debe localizarlas y seguirlas correctamente. Un buen sistema de seguimiento debe detectar y seguir de forma robusta los diferentes elementos de una escena. Debe mantener por tanto la información acerca de la trayectoria recorrida disponible a largo plazo para un análisis posterior del comportamiento del objeto en movimiento. Entre los problemas típicos que se pueden encontrar están la oclusión parcial o total, la formación y separación en grupos o los cambios en la iluminación que impidan una correcta detección y el posterior seguimiento de la persona. El propósito de este proyecto es construir un sistema de seguimiento robusto ante distintas situaciones a partir de un sistema de detección ya diseñado. Además de saber la posición de cada individuo en cada instante, deberá ser capaz de predecir su posición en el siguiente fotograma y conocer su trayectoria en todo momento. Se requiere un modelo general y sencillo, con un bajo coste computacional y robusto ante cambios de iluminación, oclusiones e interacción entre distintas personas y objetos. Por tanto, tras un estudio de los métodos existentes, se ha llegado a la conclusión de que el método más adecuado para resolver el problema de seguimiento es un sistema basado en modelos de apariencia. Dentro de las posibilidades existentes se ha optado por elegir un modelo de seguimiento basado en el algoritmo mean-shift. I

6 Resumen Para comprobar tanto la viabilidad como las mejoras aportadas por este algoritmo se ha evaluado su rendimiento con otro algoritmo desarrollado previamente. Este algoritmo relaciona cada objeto detectado con la información cromática que proporcionan sus píxeles para su posterior seguimiento. Los resultados muestran en primer lugar que el algoritmo que se presenta cumple con su función de detección y seguimiento. En la Figura 1 se muestran los resultados obtenidos tras una oclusión: Figura 1. Funcionamiento algoritmo implementado tras oclusión Por otra parte, se ha demostrado que las mejoras aportadas al mean-shift resultan en un seguimiento más robusto. En la Figura 2 se puede observar como el modelo de referencia falla en situaciones difíciles como oclusiones, confundiendo personas. Figura 2. Funcionamiento algoritmo de referencia tras oclusión II

7 Resumen Asimismo, en la Figura 3 se puede comprobar cómo el algoritmo implementado es capaz de seguir e identificar correctamente a distintas personas cuando se produce una formación y posterior separación en grupos. Sin embargo, puede haber una posible confusión entre personas si éstas vistiesen de manera similar. Figura 3. Funcionamiento algoritmo implementado en la formación y separación en grupos Como resultado del proyecto se ha obtenido un sistema fiable y robusto de seguimiento de objetos ante distintas situaciones, soportando oclusiones parciales o totales y la formación o separación en grupos, capaz de identificar a cada uno de los objetos a lo largo de su permanencia en la escena. III

8 Abstract Abstract With recent technological advances, visual surveillance has become a popular area for research and development. The goal of a surveillance system is to warn an operator when it detects events which may require human intervention, for example to avoid possible accidents or vandalism. These warnings can only be reliable if the system can detect and understand human behaviour, and for this, it must locate and track people properly. A good tracker should detect and track the different elements of a scene robustly. Therefore, it makes long-term tracking information available for subsequent behaviour analysis of the moving object. Typical problems that can be found are partial or total occlusion, forming and separating into groups or lighting changes which prevent proper detection and subsequent people tracking. The aim of this project is to build a robust tracking system to different situations from a detection system designed. Besides knowing the position of each person at every moment, it must be able to predict its position in the next frame and find its trajectory at any moment. It requires a general and simple model, with low computational cost and robust to lighting changes, occlusions and interaction between people and objects. Therefore, following a review of existing methods, the conclusion is that the most suitable method for solving the tracking problem is a system based on appearance models. Among the possibilities it was decided to choose a model based on the mean-shift tracking algorithm. In order to check the feasibility and the improvements made by this algorithm, its effectiveness has been evaluated with an algorithm previously developed. This algorithm joins each detected object with the color information provided by its pixels for subsequent tracking. I

9 Abstract Results show that the algorithm has fulfilled its role of detection and tracking. Figure 1 shows the results obtained after occlusion. Figure 1.Operation of implemented algorithm after occlusion On the other hand, it has been demonstrated that improvements to the mean-shift algorithm results in a more robust tracking. Figure 2 shows as the reference model fails in difficult situations such as occlusions, confusing people. Figure 2.Operation of reference algorithm after occlusion II

10 Abstract In Figure 3, it can be seen how the implemented algorithm is capable of tracking and identifying correctly different people when they form groups and separate from one another. However, there may be a possible confusion on clothing. Figure 3.Operation of implemented algorithm forming and separating groups As a result of the project, it has been obtained a reliable and robust tracking system with different situations, coping with partial and total occlusions and formation or separation into groups, capable of identifying each of the objects during their stay in scene. III

11 Documento nº1: MEMORIA

12 Índice Índice Parte I Memoria... 1 Capítulo 1 Introducción Estudios de los trabajos existentes/tecnologías existentes Motivación Objetivos Metodología/Solución desarrollada Recursos/herramientas empleadas... 8 Capítulo 2 Estado del arte Introducción Modelos de representación del objeto Algoritmos de seguimiento Tracking por puntos Tracking de núcleo Tracking basado en siluetas Solución desarrollada Capítulo 3 Estructura del sistema Introducción Segmentación en fondo y primer plano Procesamiento del primer plano Segmentación de objetos del primer plano Seguimiento i

13 Índice Capítulo 4 Seguimiento Introducción Algoritmo mean-shift tradicional Algoritmo mean-shift con múltiples núcleos Implementación Obtención modelo del objeto Comparación entre modelos Consideraciones prácticas Capítulo 5 Oclusión Introducción Implementación Nuevo Sigue Merge Split Ejemplo Problemas Capítulo 6 Resultados Seguimiento Tiempos Capítulo 7 Conclusiones Capítulo 8 Futuros desarrollos ii

14 Índice Parte II Manual de usuario Variables globales Vídeo obtenido en módulo detección Procesamiento primer plano Image Data Type Conversion Blob Analysis LabelFondoGauss Vídeo en escala de grises Tracking Vídeo original en color Display Variable Selector: Select Rows Insert Text Draw Rectangles Video Viewer To Multimedia File iii

15 Índice de figuras Índice de figuras Figura 1. Cámaras de seguridad en espacios de uso público... 4 Figura 2. Posibles situaciones difíciles para el seguimiento de personas... 5 Figura 3. Modelos para la representación del objeto basados en la forma [1] Figura 4. Niveles de representación: región, persona y grupo Figura 5. Seguimiento mediante el solapamiento de sus recuadros envolventes Figura 6. Estados elementales en el proceso de seguimiento Figura 7. Ejemplo objetos abandonados e identificación de personas Figura 8. Estructura general del sistema de videovigilancia[9] Figura 9. Segmentación de la imagen en fondo y primer plano Figura 10. Procesamiento del primer plano Figura 11.Segmentación de objetos del primer plano Figura 12. Módulo de seguimiento Figura 13. Iteraciones del algoritmo mean-shift Figura 14. Diagrama de flujo del algoritmo mean-shift Figura 15. Diagrama de flujo del algoritmo mean-shift Figura 16. Ejemplo funcionamiento función ObtenerPixBbox Figura 17. Histograma de objeto detectado Figura 18. Fotogramas consecutivos vídeo sintético Figura 19. Histograma objeto 2 escena A Figura 20. Histograma objeto 2 escena B Figura 21. Prueba algoritmo de seguimiento sobre vídeo sintético Figura 22. Etiquetado incorrecto tras oclusión Figura 23. Secuencia del vídeo básico de pruebas Figura 24. Funcionamiento algoritmo implementado tras oclusión iv

16 Índice de figuras Figura 25. Intercambio de etiquetas tras oclusión Figura 26. Trayectorias de los objetos 8 y Figura 27. Trayectorias de los objetos 7 y Figura 28. Funcionamiento algoritmo de referencia tras oclusión Figura 29. Funcionamiento algoritmo implementado en la formación y separación de grupos Figura 30. Esquema del módulo de seguimiento Figura 31. Creación del subsistema Procesamiento primer plano Figura 32. Creación del subsistema Display v

17 Índice de tablas Índice de tablas Tabla 1: Principales ventajas e inconvenientes de los sistemas de seguimiento.. 19 Tabla 2. Salida función ObtenerPixBbox Tabla 3. Modelos correspondientes al objeto 2 en fotogramas consecutivos Tabla 4. Estados elementales para realizar el seguimiento Tabla 5. Modelos del objeto 7, objeto 10 y de los blobs detectados en el fotograma B Tabla 6. Modelos del objeto 10 (almacenado antes de la oclusión) y de los blobs detectados en el fotograma B Tabla 7. Tiempo medio de ejecución en función del vídeo vi

18 Parte I MEMORIA

19 Capítulo 1 INTRODUCCIÓN Introducción 1 Estudios de los trabajos existentes/tecnologías existentes En general, el seguimiento de objetos es todo un reto. Los problemas típicos pueden surgir debido a oclusiones parciales o totales de los objetos, a su movimiento brusco, a la formación o separación en grupos o al movimiento de la propia cámara. Existen distintas propuestas en la literatura recogidas en [1], que se podrían clasificar en tres grupos: 1) Tracking por puntos: Se utiliza en el caso de tener un modelo del objeto basado en puntos (para una mayor comprensión de este concepto ver Capítulo 2). Su objetivo es relacionar los puntos de un determinado fotograma con los mismos puntos del fotograma anterior. Los algoritmos para establecer estas correspondencias se dividen en: Métodos deterministas de correspondencia: Para relacionar los puntos de un fotograma en un instante de tiempo t-1 con los mismos puntos en el instante t, se utilizan todas las combinaciones posibles existentes. Después, se escogen las correspondencias adecuadas mediante métodos de asignación óptima (Ver [2]). Métodos estadísticos de correspondencia: Para establecer la correspondencia se tienen en cuenta las medidas del objeto y las incertidumbres. El filtro de Kalman emplea este método (Ver [3])

20 2) Tracking de núcleo: UNIVERSIDAD PONTIFICIA COMILLAS Introducción Se basa en una región primitiva de la que se extraen una serie de parámetros para realizar el seguimiento de cada objeto. Se puede dividir en: Seguimiento basado en patrones: Se utiliza un patrón para buscar el objeto a través de la imagen. No es un método adecuado si la apariencia del objeto varía demasiado durante la escena (Ver [4]). Seguimiento basado en modelos de apariencia: Se basa en la búsqueda de determinadas características del objeto mediante las cuales se prevé la dirección del objeto sin necesidad de recorrer toda la imagen (Ver [5],[21]). Seguimiento mediante modelos de apariencia multivista: Para evitar que el seguimiento no sea susceptible a cambios bruscos en la vista del objeto, se aumenta el aprendizaje del objeto basándose en múltiples vistas generadas offline (Ver [6]). 3) Tracking basado en siluetas: Está orientado al seguimiento de objetos complejos que no pueden modelarse con una forma geométrica primitiva. Coincidencia de formas: Es similar al seguimiento mediante patrones, ya comentado anteriormente, pero utilizando siluetas complejas como patrón de búsqueda (Ver [7]). Seguimiento de contorno: No considera una silueta fija, sino que intenta seguir fotograma a fotograma la evolución del contorno de cada objeto para obtener así un seguimiento más preciso en objetos que tienden a cambiar de forma durante la escena (Ver [8])

21 Introducción 2 Motivación Gracias a los recientes avances tecnológicos, los sistemas de videovigilancia inteligente se han convertido en un área en continua investigación y desarrollo. Este tipo de sistemas tiene cada vez mayor demanda, debido a la creciente necesidad de garantizar la seguridad de bienes y personas. Esta tendencia se manifiesta en la instalación de cámaras en cascos urbanos, vías de comunicación y, en general, en espacios de uso público o empresas privadas, como se refleja en la Figura 1. Figura 1. Cámaras de seguridad en espacios de uso público El procesamiento automático de estas secuencias de vídeo es un medio prometedor para analizar la enorme cantidad de información adquirida en forma de imágenes digitales por estos sistemas. En el estado del arte se puede - 4 -

22 Introducción encontrar un gran número de algoritmos de seguimiento de personas; sin embargo, hasta hace pocos años, no se han centrado en su implantación en sistemas en tiempo real. El objetivo de un sistema de videovigilancia inteligente es alertar a un operador cuando se detecten eventos que podrían necesitar la intervención humana, por ejemplo para evitar posibles accidentes o vandalismo. Estas advertencias sólo serán ser fiables si el sistema es capaz de detectar y comprender el comportamiento humano, y para ello, debe localizar y seguir a dichas personas correctamente. Figura 2. Posibles situaciones difíciles para el seguimiento de personas Un buen sistema de seguimiento debe detectar y seguir de forma robusta los diferentes elementos de una escena. Debe mantener por tanto, la información acerca de la trayectoria recorrida disponible a largo plazo para un análisis - 5 -

23 Introducción posterior del comportamiento del objeto en movimiento. La Figura 2 muestra algunas de las dificultades típicas que pueden aparecer en esta tarea: Oclusión parcial o total de personas. Formación y separación en grupos. Cambios en la iluminación que impidan la detección correcta y posterior seguimiento de la persona. El propósito de este proyecto es la implementación de un sistema de tracking robusto ante distintas situaciones como parte de un sistema de videovigilancia inteligente. Gran parte de los errores cometidos por estos sistemas se debe a problemas en este módulo, ya que al fallar el seguimiento, la salida final del sistema no será correcta. Por tanto, con la utilización de un algoritmo de seguimiento adecuado se podría mejorar su efectividad. 3 Objetivos El principal objetivo de este proyecto es construir un sistema de seguimiento de personas robusto ante oclusiones, formación y separación en grupos, a partir del sistema de detección diseñado en [9]. Además de saber la posición de cada individuo en cada instante, deberá ser capaz de predecir su posición en el siguiente fotograma y conocer su trayectoria en todo momento. Para determinar qué método de seguimiento es el más adecuado, se ha implementado un algoritmo y se compararán los resultados obtenidos con el algoritmo de [9]

24 4 Metodología/Solución desarrollada Introducción El plan de trabajo para el desarrollo de este proyecto se ha estructurado en las siguientes fases: Estudio del estado del arte. Se realizará un estudio de los métodos de seguimiento existentes y se elegirá el algoritmo más adecuado para la implementación. Para ello, se tendrá en cuenta que debe soportar situaciones difíciles, tales como oclusiones parciales o totales y la formación o separación en grupos. Introducción al entorno de trabajo de Simulink. Implementación básica del algoritmo desarrollado por Luis González Sotres [9] para una mejor comprensión del entorno de trabajo. Implementación del algoritmo elegido. Mejoras de implementación del algoritmo. Se han incorporado mejoras al algoritmo implementado ya que en un principio, cualquier elemento procedente de una oclusión o separación de grupo era detectado como nuevo. Comparación entre algoritmo de referencia e implementado. Se realizan pruebas sobre una serie de vídeos preestablecidos que reflejen una situación real. Para poder observar los cambios sucesivos fácilmente y comprobar que las mejoras producidas son significativas se utilizarán siempre los mismos vídeos. Además, se han utilizado vídeos sintéticos simulando distintos estados para comprobar el funcionamiento correcto del algoritmo

25 5 Recursos/herramientas empleadas Introducción Se ha elegido realizar la implementación de los algoritmos mediante las librerías de Video and Image Processing Blockset del entorno Simulink. También se utilizarán los Toolboxes de adquisición y procesamiento de imágenes que ofrece Matlab. El código utilizado es más sencillo que con otros lenguajes de programación y tiene una alta capacidad de cálculo para procesar datos matriciales. Los vídeos proceden de páginas de Internet dedicadas a la investigación en el campo de la videovigilancia, como [10] y [11], ya procesados en [9]. Los vídeos sintéticos se crearon por [9] en Flash con las herramientas de Macromedia Flash MX2004. Para modificar la resolución de los vídeos, se ha utilizado el programa de conversión SUPER

26 1 Introducción UNIVERSIDAD PONTIFICIA COMILLAS Capítulo 2 ESTADO DEL ARTE Estado del arte La visión artificial tiene diversas aplicaciones en el campo de la seguridad y la vigilancia. En respuesta a la creciente necesidad de garantizar la seguridad de personas y bienes, los sistemas de videovigilancia están experimentando una enorme expansión y desarrollo en la actualidad. El análisis de la información adquirida por estos sistemas obliga al desarrollo de técnicas de análisis automático de secuencias de vídeo que permitan la detección de situaciones de interés, con una intervención mínima por parte de operadores humanos. El análisis requerido para este tipo de sistemas se divide en tres etapas: la detección de los objetos interesantes en la escena, su seguimiento en los distintos fotogramas y el análisis de su trayectoria para reconocer su comportamiento. 2 Modelos de representación del objeto Para poder realizar la detección de los objetos en la escena, inicialmente, hay que definir una representación adecuada de éstos. Según [1], se pueden dividir en dos grandes grupos: modelos basados en la forma y modelos basados en la apariencia. En los modelos basados en la forma se utilizan determinadas características referentes a la forma del objeto para hacer el seguimiento. Modelo de puntos: El objeto se representa por un único punto situado en el centroide (Figura 3, (a)) o por un conjunto de puntos (Figura 3, (b)). Es adecuado para objetos que ocupan una región pequeña en la imagen (Ver [12])

27 Estado del arte Modelo de formas geométricas primitivas: El objeto se representa por un rectángulo (Figura 3, (c)), elipse (Figura 3, (d)) o alguna otra forma geométrica primitiva. Es más adecuado para el seguimiento de objetos rígidos, pero en la práctica es muy utilizado para cualquier tipo de objeto no rígido (Ver [5],[21]). Modelo de silueta y contorno: El contorno (Figura 3, (g), (h)) define los límites del objeto, mientras que la silueta (Figura 3, (i)) es la región situada en su interior. Es adecuado para el seguimiento de objetos no rígidos con formas complejas, pero es más costoso que los modelos anteriores (Ver [13]). Modelo de formas articuladas: Las distintas partes que forman el objeto están unidas mediante articulaciones y cada una de ellas se puede modelar utilizando cilindros o elipses (Figura 3, (e)). Modelo de esqueleto: Consiste en la extracción del esqueleto del objeto usando su silueta (Figura 3, (f)) (Ver [14]). Figura 3. Modelos para la representación del objeto basados en la forma [1]

28 Estado del arte En los modelos basados en la apariencia se utiliza la información cromática procedente de cada uno de los píxeles pertenecientes al objeto. Es bastante frecuente que los sistemas utilicen una representación basada en la forma combinada con la apariencia. De esta manera, se obtiene más información del objeto, ya que aunque la utilización del modelo de apariencia ofrezca gran información complementaria, puede resultar insuficiente si no va acompañada de información espacial. Modelo de densidades de probabilidad: Se define el objeto utilizando las estimaciones de las funciones de densidades de probabilidad. Pueden ser paramétricas (gaussiana o mezcla de gaussianas) o no paramétricas (histogramas o ventanas de Parzen) (Ver [5],[21]). Patrones: Este modelo se basa en siluetas o formas geométricas sencillas predefinidas para identificar objetos en la escena. Cada una de ellas contiene información cromática y espacial del objeto. Es un método sencillo, pero sólo es adecuado para seguir objetos cuyo aspecto (postura) no varíe demasiado durante el seguimiento (Ver [4]). Modelo de apariencia activo: Genera a la vez información referente a la forma y aspecto del objeto. Su forma se define por un conjunto de señales que se encuentran en sus límites o región interior. Cada una de estas marcas contiene un vector de apariencia que incluye características como el color, textura o la magnitud del gradiente (Ver [15])

29 Estado del arte Modelo de apariencia multivista: Se guarda la información de diferentes vistas del mismo objeto, para no tener problemas en el seguimiento si se producen cambios de forma o apariencia. Para almacenar estas vistas utiliza una codificación mediante subespacios (Ver [6]). 3 Algoritmos de seguimiento Una vez escogido el método para detectar los objetos en la escena se elige un algoritmo para realizar el seguimiento del objeto. Como ya se ha comentado en el Capítulo 1, se puede dividir en tres categorías: tracking por puntos, de núcleo o basado en siluetas. 3.1 Tracking por puntos Para comprobar la viabilidad de un algoritmo de este grupo para realizar el seguimiento de personas, se ha profundizado en los métodos estadísticos de correspondencia, en concreto, en el algoritmo mediante múltiples hipótesis [16]. Se utiliza para establecer una correspondencia de los componentes conectados entre los diversos fotogramas, incorporando su posición y tamaño. En cada fotograma se tiene un conjunto de filtros de Kalman y un nuevo conjunto de componentes conectados. Los modelos se unen probabilísticamente a las regiones conectadas. Aquellas regiones que no son conectadas se utilizan para crear nuevos filtros de Kalman y se eliminan los modelos cuyo ajuste sea menor que el umbral. Se requiere una comprobación de cada modelo existente con todos los componentes conectados. Con todas esas uniones se actualiza el modelo correspondiente y si tiene el suficiente ajuste, se utilizará en el siguiente fotograma

30 Estado del arte Al ser un método de seguimiento por puntos es recomendable usarlo para seguir objetos pequeños que puedan representarse por un único punto. Por tanto, no sería aconsejable para modelar personas ni en escenas en las que haya un gran número de objetos ocluidos. Además, como almacena todas las posibles correspondencias, el sistema puede tener problemas de memoria. Sin embargo, con este algoritmo se obtiene la solución óptima y es capaz de soportar oclusiones, entradas y salidas del campo visual. 3.2 Tracking de núcleo Como el sistema propuesto tiene que ser capaz de seguir personas, que pueden moverse mucho y cambiar de forma y apariencia a lo largo de la escena, se ha descartado el seguimiento basado en patrones debido a la poca flexibilidad que presenta frente a objetos que varían su forma. Por otro lado, el seguimiento mediante modelos de apariencia multivista es inviable computacionalmente para un sistema en tiempo real, donde es necesaria una gran velocidad de procesamiento. Además, habría que conocer de antemano los objetos que van a aparecer en la escena, con lo que no sería posible utilizarlo en un sistema de vigilancia. Por tanto, la investigación se ha enfocado en algoritmos basados en modelos de apariencia, puesto que pueden mantener todo su potencial independientemente de la dirección o velocidad del objeto y no pierden la información de su recorrido si se detiene. En [5] se explica cómo diseñar un sistema de seguimiento fundamentado en el método mean-shift. Es una técnica no paramétrica basada en la aplicación recursiva de un método para encontrar el punto estable más cercano a la

31 Estado del arte función de densidad que define al propio objeto. En cada iteración el modelo se aproxima más a la solución correcta, a la que convergerá. Es un método robusto pero cuenta con limitaciones. Como trabaja en un área de búsqueda pequeña, solamente será válido en aquellas situaciones en las que los objetos se solapen de un fotograma al siguiente. En caso contrario, se perderá el seguimiento. Esta restricción es aceptable en vídeos a 25 fps, que suele ser lo habitual, ya que en estos casos siempre hay solapamiento a velocidades estándar y a una distancia razonable de la cámara. Existen métodos que extienden su uso, mejorándolo para esas situaciones desfavorables, como por ejemplo el ensemble tracking [17], en el que el seguimiento se trata como un problema de clasificación binaria. Cada clasificador es aprendido de un conjunto de ejemplos etiquetados como positivos o negativos, seleccionando las mejores características que representan el movimiento y la apariencia. Un conjunto de clasificadores débiles (hipótesis simples y seguras) se entrena online para poder distinguir las características del objeto de primer plano y del fondo. Combinando estos clasificadores débiles mediante el algoritmo AdaBoost, se consigue un clasificador más robusto, que después se usa para calcular un mapa de confianza del siguiente fotograma. Con el algoritmo mean-shift se encuentra el pico, que será la nueva posición del objeto. Se ajustan los cambios en la apariencia entrenando un nuevo clasificador débil por fotograma y actualizando el clasificador robusto, lo que proporciona una mayor robustez al sistema

32 Estado del arte Por otro lado, en [18] se describe un sistema de seguimiento de personas basado en la información cromática que proporcionan los píxeles, para crear modelos adaptables eficaces y estables ante cambios de escala, iluminación y rotaciones. Para conseguir un seguimiento robusto se necesitan varios niveles de representación que se dividen en regiones, personas y grupos. En la Figura 4, se pueden distinguir estos niveles. Región Persona Grupo Figura 4. Niveles de representación: región, persona y grupo Durante el seguimiento se mantiene una lista temporal de las regiones seguidas, consiguiéndose en la práctica esta unión temporal con el solapamiento de las regiones con sus recuadros envolventes, como se muestra en la Figura 5. Figura 5. Seguimiento mediante el solapamiento de sus recuadros envolventes

33 Estado del arte Por otro lado, si entre un fotograma y el siguiente, las regiones no tienen ningún tipo de unión se eliminan. Para comprender mejor las relaciones existentes entre las distintas regiones, en la Figura 6 se muestra un gráfico explicativo, con los estados elementales en que se puede encontrar un objeto. a) Nuevo b) Sigue c) Merge d) Split Figura 6. Estados elementales en el proceso de seguimiento Un elemento es etiquetado como nuevo si es la primera vez que aparece en escena (Ver Figura 6 a)). Cuando se ha realizado el seguimiento de una región durante un determinado número de fotogramas, normalmente 4, se considera que es fiable y posteriormente se comprobará si forma parte del siguiente nivel (Ver Figura 6 b))

34 Estado del arte Cuando varias regiones se unen en una sola, la región resultante hereda la posición y estado de la región más antigua. En la Figura 6 c), se quiere reflejar la existencia de dos regiones (naranja y morado) en el primer fotograma, que en el fotograma siguiente se combinan en una (azul). Comprobando además, que entre ambos fotogramas se produce un solapamiento de los recuadros envolventes. Cuando una región se divide, todas las regiones resultantes heredan de sus padres su posición y su estado. En la Figura 6 d) se puede observar que en el primer fotograma, sólo aparecía una región (azul), subdividiéndose en dos en el siguiente fotograma (naranja y morado). También se produce el solapamiento entre recuadros envolventes que nos permite realizar el proceso de seguimiento. Es un enfoque bastante sencillo suponer que dichas regiones corresponden a personas. Sin embargo, una persona a menudo se dividirá en varias regiones a pesar de la utilización de buenas técnicas de sustracción de fondo. Para formar una persona, las regiones deben estar muy próximas, sus proyecciones sobre el eje x deben solaparse y debe tener una superficie del área total más grande que cierto umbral. Un grupo se compone de una o más personas, y por tanto, de una o más regiones. Los grupos se pueden dividir y combinar. Cuando una región se corresponde con más de un grupo, esto significa que estos grupos se han combinado para formar un nuevo grupo. Cuando las regiones en un grupo no tienen suficiente proximidad o no se superponen en el eje x, el grupo se divide

35 Estado del arte En [19] se propone un método de seguimiento de objetos basado en modelar toda la imagen como un conjunto de capas. Incluye una única capa para modelar el fondo y una capa por cada objeto. Cada una de ellas está formada por una distribución de probabilidad de forma a priori, un modelo de movimiento (traslación y rotación) y la intensidad modelada como una gaussiana. La probabilidad de que un píxel pertenezca a una capa se calcula basándose en el movimiento anterior del objeto y su forma. A cualquier píxel lejos de una capa se le asigna una probabilidad uniforme de fondo. Después, utilizando un algoritmo de maximización de la esperanza, la probabilidad de apariencia de un objeto (intensidad, color) se une con la probabilidad de que pertenezca a la capa para obtener la estimación de la capa final. Sin embargo, el movimiento articulado de las personas en movimiento no se puede describir con el modelo de movimiento propuesto, a menos que éstas estén a gran distancia. Además, hay una gran dificultad para estimar simultáneamente todos los parámetros utilizados. Como ventajas se puede destacar que soporta oclusiones totales y que no necesita inicialización ni entrenamiento. 3.3 Tracking basado en siluetas La utilización de modelos basados en siluetas implica un gran coste computacional. Al ser más complejos que cualquier otro modelo basado en la forma y pudiendo obtener buenos resultados con modelos más sencillos, se ha decidido no realizar el estudio de ninguno de estos métodos

36 4 Solución desarrollada UNIVERSIDAD PONTIFICIA COMILLAS Estado del arte Tras realizar un estudio del estado del arte, las principales características de los métodos se resumen en la Tabla 1: Ventajas Inconvenientes Múltiples hipótesis Soporta oclusiones, entradas y salidas del campo visual Se obtiene la solución óptima No es recomendable para modelar personas (utiliza un modelo de puntos) Mayor dificultad en escenas con gran número de oclusiones Color Mean-shift Capas Modelo general y sencillo Seguimiento robusto en formación y división de grupos Adaptable a entornos cambiantes Método robusto Utilización de poca memoria Gran información para su implementación Puede soportar oclusiones completas No necesita inicialización ni entrenamiento Posible confusión en separación de grupos si varias personas visten de manera similar Sólo válido si los objetos se solapan de un fotograma al siguiente No soporta oclusiones completas de larga duración No admite seguimiento si hay rotaciones. Dificultad de estimación simultánea de los parámetros Con su modelo de movimiento no se puede describir el movimiento articulado de las personas Tabla 1: Principales ventajas e inconvenientes de los sistemas de seguimiento

37 Estado del arte El principal objetivo de este proyecto es construir un sistema de seguimiento de personas robusto ante oclusiones, formación y separación en grupos, en situaciones cotidianas. Por ello, quedan descartados todos los modelos basados en puntos o aquellos que tienen poca flexibilidad frente a objetos que cambian de forma durante la escena (basados en patrones). Además, el programa debe devolver en tiempo real la posición de cada uno de los individuos seguidos, predecir su posición en el siguiente fotograma y conocer su trayectoria en todo momento. Con todo esto, se concluye que el método más adecuado para resolver el problema de seguimiento es un sistema basado en modelos de apariencia, ya que se requiere un modelo general y sencillo, con un bajo coste computacional y robusto ante cambios en la iluminación, oclusiones e interacción entre distintas personas y objetos. Dentro de las posibilidades existentes se ha optado por elegir un modelo de seguimiento basado en el algoritmo meanshift, ya que a priori parece que cumplirá con las especificaciones deseadas

38 1 Introducción UNIVERSIDAD PONTIFICIA COMILLAS Estructura del sistema Capítulo 3 ESTRUCTURA DEL SISTEMA El objetivo principal de los sistemas de videovigilancia inteligente consiste en detectar, reconocer y seguir objetos en secuencias de vídeo para describir y comprender su comportamiento. El nuevo desarrollo de técnicas de visión artificial permite reemplazar los sistemas tradicionales monitorizados por operadores humanos, en los que, normalmente, el número de cámaras vigiladas excedía su capacidad. Este área de investigación es uno de los más activos, pudiendo aplicar sus técnicas en identificación de personas, control de accesos, detección de objetos abandonados o situaciones anómalas como se refleja en la Figura 7. Figura 7. Ejemplo objetos abandonados e identificación de personas En este tipo de sistemas, la entrada es el vídeo capturado por las cámaras de vigilancia. En este caso, los vídeos preestablecidos que simulan situaciones reales, en entornos interiores y exteriores. La salida es un vídeo idéntico al original, al que se le ha añadido información acerca de los elementos en movimiento, rodeados por recuadros envolventes y con el número global que los identifica

39 Estructura del sistema Dada la complejidad del problema, para simplificar el trabajo se dividen las distintas tareas en módulos independientes. En la Figura 8 se muestran los distintos módulos en los que se divide el sistema. Figura 8. Estructura general del sistema de videovigilancia[9] A continuación se hará una breve introducción de cada módulo, en los que no se ha profundizado por no ser el objetivo de este proyecto. El módulo de seguimiento será explicado con más detalle en los próximos capítulos. 2 Segmentación en fondo y primer plano Sus resultados servirán de base para el resto de los módulos. Su finalidad es conseguir una imagen booleana que permita distinguir la parte estática de la imagen (fondo) de la parte en movimiento (primer plano). En la Figura 9 se observan en blanco los píxeles detectados como primer plano. Se aprecia que la detección no es perfecta y contiene parte de ruido. Figura 9. Segmentación de la imagen en fondo y primer plano

40 3 Procesamiento del primer plano Estructura del sistema En este módulo se pretende homogeneizar los resultados obtenidos en la etapa anterior. Se rellenan las partes del objeto de primer plano que no han sido identificadas como tales y además, eliminar parte del efecto del ruido, como se comprueba en la Figura 10. Figura 10. Procesamiento del primer plano 4 Segmentación de objetos del primer plano En este módulo se realiza una clasificación de los distintos objetos detectados en las etapas anteriores. Permite colocar una etiqueta distinta a cada objeto para identificarlo a lo largo del tiempo y dibujar un recuadro para indicar la zona en que se ha detectado, que se superpone a la imagen original como se muestra en la Figura 11. Figura 11.Segmentación de objetos del primer plano

41 Estructura del sistema 5 Seguimiento Es la última etapa del proceso y el módulo en el que se ha centrado el proyecto. Se establece una correspondencia entre las detecciones del fotograma anterior y posterior, elaborando un registro con la historia de cada uno de los objetos. Para facilitar el seguimiento visual se ha incluido información acerca del número de objeto seguido como se comprueba en Figura 12. Figura 12. Módulo de seguimiento

42 Seguimiento Capítulo 4 SEGUIMIENTO 1 Introducción El seguimiento eficiente de elementos en movimiento en escenas donde se produzcan oclusiones, formación o separación en grupos y entradas o salidas del campo visual es un reto para la visión artificial. Gracias a la evolución de los ordenadores y la disponibilidad de cámaras de vídeo baratas y de alta calidad ha sido posible la consideración de modelos complejos en tiempo real de situaciones de la vida cotidiana. Sin embargo, el principal problema en la automatización de la detección y el seguimiento de personas radica en la dificultad de modelar una persona y las actividades que puede realizar, debido a la gran variedad de movimientos, poses e interacciones existentes con otras personas u objetos. No obstante, un análisis eficaz del comportamiento humano en estas escenas supondría un avance significativo en la videovigilancia, permitiendo detectar y activar alarmas en situaciones anómalas o potencialmente peligrosas con una mínima intervención por parte de operadores humanos. Gran parte de los errores cometidos por los sistemas de videovigilancia inteligente se debe a problemas en este módulo, ya que al fallar el seguimiento, la salida final del sistema no será correcta. Por tanto, con la utilización de un algoritmo de seguimiento adecuado se podría mejorar su efectividad. En el algoritmo mean-shift [5] se utiliza la información cromática de los píxeles, cuya distribución estadística, un histograma, caracteriza el objeto de interés. Para la generación de este modelo se utiliza un kernel espacial, que asocia mayores pesos a los píxeles cercanos a su centroide, evitando así que aquellos píxeles del fondo etiquetados en el blob formen parte de dicho modelo

43 Seguimiento Esta técnica se basa en la aplicación recursiva de un método para encontrar el punto estable más cercano a la función de densidad. Con las iteraciones se pretende encontrar el candidato más semejante al modelo correspondiente con ese objeto en el fotograma anterior, mediante un coeficiente de similitud, el coeficiente de Bhattacharyya. 2 Algoritmo mean-shift tradicional Sean {xi * } i=1 n las coordenadas de los píxeles que pertenecen al modelo del objetivo. Se define una función b: 2 {1 m}, siendo m el número de tramos del histograma, que asocia al píxel en la posición xi * el índice del tramo del histograma al que corresponde su color. La probabilidad de que exista el color u en dicho modelo se calcula utilizando un kernel K que asigna un peso menor a los píxeles que están más lejos del centroide del objetivo. Esta ponderación proporciona mayor robustez a la estimación, ya que estos píxeles son los más problemáticos, pudiendo estar afectados por oclusiones o por pertenecer al fondo. El perfil k de un kernel K se define según E. 1, E. 1 Se utiliza el kernel de Epanechnikov, calculado mediante E. 2, E. 2 A la función se le asigna el valor 1 si se cumple la condición y 0 en caso contrario. Por tanto, la función de probabilidad del modelo se define según E. 3 E. 3 donde δ es la función delta de Kronecker

44 Seguimiento Las coordenadas genéricas de los píxeles x e y se han normalizado con hx y hy, que son la altura y el ancho de la ventana de búsqueda. Como simplificación, se ha considerado que es el tamaño del recuadro envolvente del objeto en el fotograma anterior. La constante C se calcula imponiendo la condición obtiene E. 4,, de donde se E. 4 De la misma manera se calcula la función de probabilidad del posible candidato como se refleja en E. 5 y E. 6, E. 5 E. 6 Dada la distribución estimada en el fotograma anterior, del modelo del objetivo y su posición 1. Se inicializa la posición del objetivo en el fotograma actual con, se calcula y se evalúa el coeficiente de Bhattacharyya, que se calcula como en E. 7, E Se obtienen los pesos de los píxeles mediante E. 8, E

45 Seguimiento 3. Basándose en el vector mean-shift se calcula la nueva posición del objetivo según E. 9: E. 9 Se utiliza la simplificación mencionada en [21] y reflejada en E. 10 E. 10 Se actualiza como en E. 7. y se evalúa el coeficiente de Bhattacharyya 4. Mientras, entonces 5. Si parar. En caso contrario, y volver al paso 2. Para comprender el funcionamiento del algoritmo se ha incluido la Figura 13. Se puede observar como en cada iteración el modelo se aproxima más a la solución correcta, llegando finalmente a ella. Figura 13. Iteraciones del algoritmo mean-shift

46 Seguimiento En la Figura 14 se explica el desarrollo del algoritmo mediante un diagrama de flujo. Figura 14. Diagrama de flujo del algoritmo mean-shift El método es robusto pero tiene limitaciones. Como tiene que trabajar en un área pequeña de búsqueda, solamente se puede aplicar en aquellas situaciones en las que los objetos se solapan de un fotograma a otro. Si no es así, como puede ocurrir a frame-rates bajos, se pierde el seguimiento. Sin embargo, existen métodos que extienden el uso de este algoritmo mejorándolo para este tipo de situaciones, como el que se explica en la siguiente sección

47 Seguimiento 3 Algoritmo mean-shift con múltiples núcleos El artículo [20] toma como punto de partida el algoritmo implementado en [5], introduciendo una serie de modificaciones para encontrar una solución más robusta para el seguimiento, y así poder trabajar a un frame-rate reducido. Extiende la búsqueda lineal a partir de la última localización del objeto del algoritmo mean-shift a una búsqueda multinúcleo, en donde cada uno de los núcleos sería una región etiquetada (blob), dentro de un radio de acción. Figura 15. Diagrama de flujo del algoritmo mean-shift

48 Seguimiento El algoritmo definido en la Figura 15 se aplica a cada uno de los objetos detectados en el fotograma anterior. El bucle exterior recorre todos los blobs del fotograma actual incluidos dentro del radio de acción de cada uno de estos. En primer lugar se llevan a cabo las iteraciones del algoritmo mean-shift, mientras se aprecie una mejora en la nueva posición del núcleo. Se comprueba si la medida de similitud, es decir, el coeficiente de Bhattacharyya, es superior a la de alguno de los núcleos ya calculados. En caso afirmativo, se asigna este núcleo como posible candidato. Al acabar esta serie de iteraciones, la posición final a la que se traslada el modelo del objeto será la del último candidato. 4 Implementación En este apartado se va a explicar el procedimiento seguido para implementar el algoritmo. Gracias a esta explicación, se podrá comprender mejor su funcionamiento, así como algunos conceptos empleados anteriormente y que no han sido debidamente expuestos. Se analizarán las funciones empleadas en la función denominada mean_shift, donde se ejecutará el algoritmo diseñado en [5] para determinar la posición del objetivo en el fotograma actual. 4.1 Obtención modelo del objeto Como se ha comentado anteriormente, para representar cada objeto se utiliza un modelo sencillo, basado en un histograma en escala de grises. En primer lugar, para la obtención de éste, se debe emplear la función ObtenerPixBbox, que devuelve las coordenadas de todos los píxeles situados en el interior de un rectángulo y su índice correspondiente dentro del fotograma

49 Seguimiento La Figura 16 ilustra esta idea. El rectángulo azul oscuro representaría el fotograma (dependiendo de la resolución del vídeo, una matriz de 96x128 o 240x320) en que está situado nuestro objeto (rectángulo azul claro). Figura 16. Ejemplo funcionamiento función ObtenerPixBbox En la Tabla 2 se recogen las salidas de esta función aplicada al ejemplo de la Figura 16. Coordenada x Coordenada y Posición Tabla 2. Salida función ObtenerPixBbox Hay que tener en cuenta que en Matlab las posiciones de las matrices se determinan según las columnas, es decir, el elemento (1,1) es 1, el elemento (1,2) es 2 y así sucesivamente. Una vez obtenidas las coordenadas y posiciones de los píxeles de la ventana de búsqueda, éstos se ponderan mediante la función de Epanechnikov (E. 2). El píxel más cercano al centroide del objeto seguido tiene mayor peso que aquellos que están más alejados

50 Seguimiento Además, se tiene que calcular cuál es el tramo del histograma correspondiente al color de cada píxel. Para ello, se aplica la función CalcularTramo, que utiliza la E. 11. Como se trabaja en escala de grises, los valores varían entre 0 y 255. E. 11 Siguiendo con la notación utilizada en [5], b es el tramo del histograma correspondiente al color de cada píxel, xi es el valor del píxel (color) y m es el número de tramos en los que se divide el histograma. Notar que los tramos van desde 1 hasta m. El parámetro m se ha fijado en 16. En un principio, se comprobaron variaciones (divisores de 256), pero no se obtuvieron mejoras apreciables. Esto puede ser debido al tamaño de los objetos detectados. Al ser la mayor parte vídeos grabados en entornos exteriores, estos son muy pequeños. Por tanto, se puede deducir que el algoritmo es robusto en cuanto al tamaño de los tramos, siempre y cuando el número de estos se elija de tal manera que exista una diferencia apreciable entre el objeto seguido y el fondo. En la Figura 17 se representa el histograma del siguiente objeto: Figura 17. Histograma de objeto detectado

51 Seguimiento Se puede observar que la mayor parte de los píxeles pertenecientes al objeto son de la misma tonalidad de color verde, por lo que hay una mayor probabilidad de que el píxel detectado pertenezca al tramo 2. Como ya se ha comentado anteriormente, para el cálculo del modelo se utilizan también los píxeles que forman los bordes de la estrella (de un verde más oscuro) y aquellos del fondo que pertenecen al recuadro envolvente (recordar que se utiliza una ventana para obtener el modelo). 4.2 Comparación entre modelos El coeficiente de Bhattacharyya es una medida de semejanza entre distribuciones discretas de probabilidad, por lo que pueden emplearse para comprobar la similitud entre dos histogramas. Este coeficiente se calcula según E. 7. Para explicar este concepto, se utilizarán dos fotogramas consecutivos de un vídeo sintético (Figura 18). A B Figura 18. Fotogramas consecutivos vídeo sintético Se representan los histogramas del objeto etiquetado como 2, en la Figura 19 y en la Figura

52 Seguimiento p Figura 19. Histograma objeto 2 escena A q Figura 20. Histograma objeto 2 escena B Visualmente se puede comprobar que ambos histogramas son muy semejantes. También se puede verificar analíticamente, mediante el coeficiente de Bhattacharyya. En la Tabla 3 se recogen los modelos para ambos fotogramas. Notar que son probabilidades y por tanto, su suma debe ser

53 Seguimiento Modelo A Modelo B Tabla 3. Modelos correspondientes al objeto 2 en fotogramas consecutivos Al ser el coeficiente de Bhattacharyya bastante elevado, hay una probabilidad muy alta de que ambos modelos representen al mismo objeto. 4.3 Consideraciones prácticas En la mayor parte de los artículos leídos no se proponen valores específicos de los parámetros a utilizar cuando se implementan los algoritmos y deben ser elegidos gracias a la experiencia. En primer lugar, hay que determinar el número máximo de iteraciones que se puede tardar en llegar desde la posición anterior a la nueva a la que se ha trasladado el objeto. Normalmente en 3 ó 4 iteraciones se ha llegado a la posición correcta. Pero con un posible margen de error, se ha aceptado como válido el valor propuesto por [1], 7 iteraciones

54 Seguimiento Según [5], el paso 4 del algoritmo (Sección 2) no suele ser necesario, realizándose en menos del 0.1% de los casos. Se aplica si el coeficiente de Bhattacharyya de la nueva posición es menor que el calculado para la posición en el fotograma anterior. En ese caso, se utiliza como nueva posición la media de ambas, repitiendo los cálculos anteriores hasta que el coeficiente calculado para la nueva posición sea mayor o igual que el de la posición en el fotograma anterior. En el paso 5 (Sección 2), se estima ε como 0.5. Este valor no se propone en ninguno de los artículos, pero se ha elegido así ya que no se interpola entre las posiciones de los píxeles. Por otro lado, no tiene sentido aplicar este algoritmo a blobs muy alejados de la posición del objeto en el fotograma anterior, ya que el peso que se les aplicaría a esos píxeles sería 0. Por eso, la búsqueda multinúcleo (Sección 3) se centra en un radio de acción determinado cercano a la zona en la que el objeto fue detectado anteriormente. Por último, hay que tener en cuenta que si una región de fondo tiene un modelo similar al del objeto en movimiento, el objeto y el fondo podrían no diferenciarse cuando el objeto se traslada cerca de esa región. Como resultado, el algoritmo puede converger a la región de fondo, perdiéndose el objeto seguido

55 Oclusión Capítulo 5 OCLUSIÓN 1 Introducción Un buen sistema de seguimiento siempre asigna la misma etiqueta a la misma persona, y por tanto, mantiene la información acerca de la trayectoria recorrida disponible a largo plazo para un análisis posterior del comportamiento del objeto en movimiento. Como ya se ha comentado anteriormente, las dificultades que se pueden encontrar son oclusiones parciales o totales y la formación y separación en grupos. La oclusión puede clasificarse en tres categorías: propia, entre varios objetos y por escenario de fondo. La oclusión propia ocurre cuando una parte del objeto ocluye otra. Esta situación es más frecuente si se siguen objetos articulados, como en el caso de las personas. La oclusión entre objetos sucede cuando dos objetos se cruzan. Normalmente, conociendo la posición y el modelo de apariencia de los objetos ocluido y ocluyente, se pueden obtener unos resultados aceptables en el seguimiento. El algoritmo descrito en el Capítulo 5 no soporta oclusiones a largo plazo, por lo que se decide añadir al modelo de apariencia de cada uno de los objetos una capa de oclusión, como en [22]. Gracias a esto, se consigue no perder el seguimiento durante este tipo de dificultades. 2 Implementación Al igual que se utilizó en [9], se crea un sistema basado en los posibles estados elementales en los que puede encontrarse un objeto a lo largo de su estancia en la escena (Ver Figura 6, Capítulo 1). En la Tabla 4 se incluyen los distintos estados y sus características

56 Oclusión Estado Nuevo Sigue Merge Split Características Objeto que aparece por primera vez Objeto ya encontrado en la escena Objetos que se combinan en uno solo Objeto que se divide en varios Tabla 4. Estados elementales para realizar el seguimiento Antes de explicar cada uno de los estados, es necesario presentar algunas variables importantes que intervienen en el algoritmo. Se reutilizan algunas de las variables de [9], como NUMDET, PROP y POSMAX. Con la variable global NUMDET se indica el número de detecciones globales, que se incrementa en una unidad cuando se detecta un objeto nuevo. En la variable global Y0 se almacena la posición del centroide de cada uno de los objetos detectados. El número de filas de esta variable es POSMAX, una entrada que fue parametrizada para introducir desde el bloque de Simulink. La variable global PROP incluye las propiedades generales de cada objeto detectado. Está formada por dos filas, almacenándose en la primera el número de veces que ha sido detectado dicho objeto y en la segunda el valor del objeto global asignado. Su número de columnas es N, al igual que el número de blobs máximo que se puede procesar. Todos los cambios relativos a esta variable durante la ejecución del algoritmo se realizan a una variable copia llamada propaux. La variable global NUMDETANT representa el número de blobs que fueron detectados en el fotograma anterior

57 Oclusión Por otro lado, se ha creado una variable global llamada OBJETOANT, que es una combinación de la variable objeto (concatenación de las coordenadas del recuadro envolvente, centroide y área) y la variable PROP. En cada columna se introducen los blobs detectados según su etiqueta asignada (valor global). 2.1 Nuevo Es el estado más simple. En primer lugar, se incrementa NUMDET una unidad. Como es la primera detección, a la primera fila de la variable propaux se le asigna el valor 1 y a la segunda el valor de NUMDET. Además, para almacenar las coordenadas de su centroide mientras dure el seguimiento, se inicializa la variable Y0, con POSMAX filas y 2 columnas. Por cada nueva detección, se crea la misma matriz de ceros, que concatena horizontalmente con dicha variable. Al final se almacena la información referente a la posición en OBJETOANT, que también concatena horizontalmente con la propia variable. 2.2 Sigue Una vez comprobado que la variable global NUMDETANT es mayor que cero, se aplica el algoritmo mean-shift explicado en el Capítulo 4. Se realiza la búsqueda mediante este algoritmo del objeto, comparando el coeficiente de Bhattacharyya de todos los blobs detectados, y eligiendo como blob correcto aquel que devuelva la medida de similitud más elevada. Se ha creado una función llamada CoherenciaEtiquetas, que permite eliminar incoherencias en el etiquetado si dos objetos distintos se conectan al mismo blob. Se comparan los coeficientes de Bhattacharyya y se elige como correcto aquel cuyo coeficiente sea mayor

58 Oclusión El número de detecciones se aumenta en 1 y se introduce en la matriz Y0 las coordenadas correspondientes al centroide del objeto. Para ello, hay que tener en cuenta que para introducir estas coordenadas, la fila es igual al número de detecciones y las columnas 2*número global objeto-1 y 2*número global objeto. Además, se almacena la información de la posición en OBJETOANT, en la columna correspondiente al número global del objeto. 2.3 Merge Para comprobar si algún objeto está en este estado, se ha creado una función llamada ComprobarOclusión. Se comprueba si podría existir una posible combinación entre los objetos detectados en el siguiente fotograma, almacenando los modelos de los objetos ocluyentes y ocluidos. Para ello, se basa en la utilización de capas dinámicas como en [22], que son matrices del mismo tamaño que el vídeo de entrada, pero que asigna a los píxeles de cada blob el valor de su etiqueta (los píxeles de fondo tienen valor 0). La capa superior es aquella en la que la fila inferior de su recuadro envolvente está lo más abajo posible, y según esta condición, se irán colocando las capas sucesivamente. Si la diferencia entre la capa superior y la inferior es muy pequeña, se considera que en el siguiente fotograma puede existir un merge. En este caso, se almacenan en la variable global PROPMERGE las etiquetas del elemento ocluyente y el ocluido. Además, se guarda en una variable global OCLUIDO el modelo de dicho objeto en el instante anterior. Cada vez que se ejecuta esta función, se comprueba si se ha etiquetado algún elemento ocluido, eliminando las columnas correspondientes a esos elementos si se da el caso

59 Oclusión Se considera que el objeto ocluido realiza la misma trayectoria que el objeto ocluyente. 2.4 Split Cuando los blobs no han sido etiquetados tras la ejecución del algoritmo mean-shift, se comprueba si estos son nuevas detecciones, proceden de un split o son objetos que desaparecieron instantáneamente en el fotograma anterior. Para comprobar si estamos ante una situación de split (procedente de un merge), se compara la similitud entre el modelo del blob actual y el modelo del objeto ocluido mediante el coeficiente de Bhattacharyya. Si éste es muy elevado, se considera que si que es esa su etiqueta. Si procede de un merge, se debe indicar que el objeto ya no se encuentra en este estado. Por otro lado, si el objeto desapareció en el fotograma anterior, se aplica la función CompruebaUltimaPos, implementada en [9]. Obtiene la posición del objeto detectado y la compara con la posición de los objetos almacenados en la matriz OBJETOANT, de tal manera que si la diferencia entre las filas y columnas de ambos objetos están muy próximas, se supone que ha ocurrido una desaparición instantánea y que por tanto es el mismo objeto. Se restringen las comparaciones para objetos nuevos que aparezcan por los bordes de la imagen. 2.5 Ejemplo En la Figura 21 se puede apreciar la secuencia de escenas de un vídeo sintético, en la que se realiza correctamente la función de seguimiento

60 Oclusión 3 Problemas Figura 21. Prueba algoritmo de seguimiento sobre vídeo sintético Como ya se ha comentado anteriormente, si los modelos de apariencia de ambos objetos son muy similares, se puede producir un intercambio de etiquetas, como se puede observar en la Figura 22. A B Figura 22. Etiquetado incorrecto tras oclusión En el instante anterior a la oclusión (fotograma A) se guardan los modelos de los elementos ocluido y ocluyente

61 Oclusión En el fotograma B se produce una situación de split. En la Tabla 5 se recogen los modelos del objeto ocluido (7), del objeto ocluyente (10) y de los blobs detectados en el fotograma B (que se etiquetarán como 7 y 10). Modelo objeto 7 Modelo objeto 10 Modelo blob 1 (7) Modelo blob2 (10) Tabla 5. Modelos del objeto 7, objeto 10 y de los blobs detectados en el fotograma B Calculamos el coeficiente de Bhattacharyya de las combinaciones posibles entre modelos para comprobar la semejanza entre los objetos y los blobs detectados, para proceder a su etiquetado

62 Oclusión Se puede afirmar que ambos objetos se han conectado con sus etiquetas correspondientes, es decir, con los blobs que ofrecen una mayor probabilidad. Sin embargo, se puede apreciar que la diferencia entre los coeficientes calculados para el objeto 7 es muy pequeña. Por otro lado, hay que tener en cuenta que el modelo del objeto ocluyente, en este caso, el objeto 10, también contiene píxeles del objeto ocluido, ya que este modelo se va actualizando fotograma a fotograma. Se analizará la utilización del modelo del objeto ocluyente, que se ha almacenado en el momento anterior a la oclusión, en vez del modelo de ambos objetos, un problema que se podría solucionar en futuros desarrollos. En la Tabla 6 se incluyen los modelos del objeto 10 (guardado antes de producirse la oclusión) y de los blobs detectados en el fotograma B. Modelo objeto 10 Modelo blob 1 (7) Modelo blob2 (10) Tabla 6. Modelos del objeto 10 (almacenado antes de la oclusión) y de los blobs detectados en el fotograma B

63 Oclusión En este caso, se comprueba que el modelo está mal etiquetado, ya que existe una probabilidad mayor de que el blob 1 sea el objeto 10, por lo que no se produciría el intercambio en las etiquetas

64 Resultados Capítulo 6 RESULTADOS 1 Seguimiento En este proyecto se ha desarrollado un sistema de seguimiento robusto ante distintas situaciones a partir de un sistema de detección ya diseñado. La Figura 23 muestra varias capturas de la secuencia básica sobre las que se han realizado las pruebas iniciales. A B C D Figura 23. Secuencia del vídeo básico de pruebas Los resultados manifiestan en primer lugar que el algoritmo que se presenta cumple con su función de detección y seguimiento

65 Resultados En el fotograma A aparece una primera persona caminando por la carretera (objeto 7). En la siguiente escena esa persona es etiquetada con su etiqueta correspondiente y entra otra nueva persona (objeto 8). En la imagen C se comprueba que los objetos 7 y 8 son detectados correctamente, apareciendo una persona en la parte inferior de la imagen (objeto 9). Ésta desaparece un momento antes de que entre una persona montando en bicicleta (objeto 10) en el campo visual. Su trayectoria se cruza con las de los objetos 7 y 8, produciéndose sendas oclusiones. En la Figura 24 se muestran los resultados obtenidos tras la primera oclusión, entre los objetos 8 y 10. A B C D Figura 24. Funcionamiento algoritmo implementado tras oclusión

66 Resultados Sin embargo, si los modelos de apariencia de ambos objetos son muy similares, se puede producir un intercambio de etiquetas, como se puede observar en la Figura 25. A B C D E F Figura 25. Intercambio de etiquetas tras oclusión