MEMORIA DEL PROYECTO DE TESIS

Transcripción

1 MEMORIA DEL PROYECTO DE TESIS Título: Contribuciones a la detección robusta de personas y actividades Alumno: Álvaro García Martín Tutor: José María Martínez Sánchez Departamento: Ingeniería Informática Universidad: Universidad Autónoma de Madrid INTRODUCCIÓN La detección automática de personas y actividades en secuencias de video es un problema complejo con múltiples aplicaciones en la actualidad sobre todo en sistemas de videovigilancia. La necesidad de garantizar la seguridad de personas y bienes en entornos cada vez más masificados explica la enorme expansión y desarrollo que están experimentando los sistemas de videovigilancia en la actualidad. Esta tendencia se manifiesta en la instalación a un ritmo creciente de cámaras de vídeo en cascos urbanos, nudos y vías de comunicación y, en general, en espacios de uso público. El análisis de las cantidades ingentes de información adquiridas en forma de imágenes digitales por estos sistemas, obliga al desarrollo de técnicas de análisis automático de secuencias de vídeo que permitan la detección de eventos de interés, con una intervención mínima por parte de operadores humanos. En este contexto, la capacidad de análisis de los sistemas de videovigilancia comerciales ha estado prácticamente limitada hasta la actualidad a la detección de movimiento en escenas estáticas, relegando la responsabilidad de la interpretación de estos eventos a los operadores de dichos sistemas. Este principio de funcionamiento, perfectamente válido en entornos con poco movimiento, es claramente insuficiente e inapropiado en entornos altamente dinámicos en los que se produce afluencia de personas y/o vehículos. Esta clara deficiencia de la tecnología actual explica el enorme esfuerzo que se está dedicando en los ámbitos del Tratamiento Digital de Imágenes y de la Visión por Computador al desarrollo de nuevas técnicas de análisis automático de eventos a partir de secuencias de vídeo. Entre estas técnicas destacan aquéllas relacionadas con la detección automática de personas y de actividades de personas, las cuales tienen un ámbito de aplicación que excede al propio de la Videovigilancia, siendo muchas de ellas también aplicables a los ámbitos de la Inteligencia Artificial y la Comunicación Hombre-Máquina. La gran complejidad del problema radica en la dificultad de modelar una persona y sus actividades, debido a la gran variedad de apariencias, poses, movimientos e interacciones existentes entre personas y objetos. El análisis del comportamiento humano requiere de sistemas de detección y seguimiento eficaces para estimar correctamente el comportamiento o la actividad realizada por la persona, entendiendo como actividad las acciones (personas sentándose, corriendo, saltando, ) y no acciones asociadas a los gestos de la cara o emociones (más relacionadas con sistemas de interfaces persona-ordenador o de reconocimiento de estados de ánimo). La detección de determinadas actividades supondría un avance significativo en aplicaciones de videovigilancia, permitiendo la activación de alarmas frente a eventos pre-definidos en

2 la aplicación como peligrosos o relevantes, como por ejemplo la detección de peleas, discusiones, robos, personas fumando, hablando por el móvil, etc. En la actualidad existen gran variedad de sistemas que tratan de solucionar este problema, el estado del arte en detección y seguimiento de personas propone diferentes aproximaciones válidas en entornos acotados, por el contrario, el estado del arte en detección de actividades se encuentra mucho más limitado debido a su mayor complejidad y dependencia con la etapa previa. Teniendo en cuenta ambos aspectos, se plantea, como proyecto de tesis, la necesidad de desarrollar un sistema robusto de detección de personas y de sus diferentes actividades, dando lugar a un proyecto con diversas ramas o líneas de investigación principales: * Nuevos algoritmos tanto en detección de personas como de actividad individual de personas que mejoren la robustez de los sistemas actuales. En primer lugar se implementarán algunos sistemas seleccionados tras una rigurosa evaluación del estado del arte, para posteriormente proceder a su mejora. * Nuevos modelos y algoritmos encaminados a detectar actividades entre personas así como interacciones entre personas y objetos, de cara a reconocer robustamente actividades útiles en determinadas aplicaciones (peleas, discusiones, personas fumando, etc). * Estudio de técnicas de fusión de resultados de diversos algoritmos o de realimentación entre los mismos para mejorar los resultados individuales de cada uno de ellos. Estas técnicas se aplicarán a los algoritmos de las dos líneas identificadas anteriormente. Este trabajo está enmarcado dentro de las líneas y proyectos de investigación del grupo de investigación VPU (Video Processing Understanding) de la Universidad Autónoma de Madrid OBJETIVOS CONCRETOS DE LA INVESTIGACIÓN El principal objetivo de este proyecto es la creación de un sistema de detección de personas y actividades, con un principal énfasis en su robustez frente a la gran variabilidad de los objetos no rígidos como son las personas: variabilidades de forma, postura color, punto de vista, etc. Además el sistema deberá analizar posibles actividades o interacciones entre personas y entre personas y objetos, añadiendo mayor información a los sistemas ya mencionados de videovigilancia. La primera parte del proyecto se compone de dos objetivos teóricos básicos y dos prácticos. El primero consiste en identificar y estudiar los principales algoritmos de detección de personas que han sido propuestos en la literatura hasta la actualidad. De manera análoga, el segundo objetivo pretende la identificación y estudio de los principales algoritmos de detección de actividades de personas propuestos hasta el momento. En ambos casos, se pretende realizar un estudio comparativo entre los distintos algoritmos propuestos con el fin de proponer una categorización de las familias de soluciones planteadas para ambos problemas y analizar los aspectos positivos y negativos de cada algoritmo. Se proponen inicialmente modelos de personas basados en la forma de la silueta, características extraídas de la silueta, partes del cuerpo o regiones de color. Como

3 modelo de actividad se propone inicialmente la detección de patrones de movimiento, velocidad y cambios de postura. Una vez realizados los estudios y su comparativa, se llevará a cabo la decisión de los posibles algoritmos que se implementarán para cumplir con la expectativa final del proyecto, la implementación de un sistema de detección de personas y actividades robusto. Los algoritmos de detección de actividades son muy dependientes del método de detección de personas previo, por este motivo, se seleccionarán todos los posibles algoritmos aplicables y en la primera etapa de implementación se evaluaran los algoritmos que sigan siendo factibles. Los siguientes objetivos constituyen la parte innovadora del proyecto, durante la cual se implementarán los diferentes algoritmos de detección de personas seleccionados en el estudio del arte previo, se evaluaran detenidamente los resultados de cada uno de los algoritmos y de su posible fusión en función de la aplicación y de la necesidad de funcionamiento en tiempo real. Además se evaluará la posibilidad de añadir mejoras y/o modificaciones a los algoritmos en función de la experimentación. El otro objetivo consiste en los algoritmos de detección de actividades. Como ya se ha comentado, la detección de actividades se encuentra muy limitada a la etapa previa de detección de personas y a entornos de aplicación muy acotados debido a su gran dificultad, por este motivo no se pretende ser demasiado ambicioso y tras el estudio tanto de los algoritmos de detección de personas, los de detección de actividades y los resultados obtenidos hasta el momento en la detección de personas, se evaluará las posibles actividades detectables y su implementación. Al igual que en el caso anterior, se evaluaran detenidamente los resultados obtenidos y la posibilidad de añadir mejoras y/o modificaciones a los algoritmos en función de la experimentación. Una vez cumplidos estos objetivos iniciales se añadirán nuevos modelos de detección de personas y actividades. El modelo de persona se ampliará para soportar oclusiones, grupos de personas, cambios de postura, cambios de vista etc, además se propondrán algoritmos más sofisticados basados en características como el patrón de movimiento, detección de caras, detección de manos, textura, etc. En esta segunda etapa del proyecto nos centraremos más en mejorar la detección de actividades ya que se puede interpretar, además de cómo un sistema de detección de eventos, como un sistema de filtrado de falsos positivos del detector de personas, El modelo de actividades incluirá detección de eventos mucho más complejos y útiles en determinadas aplicaciones. Por ejemplo, se propone la detección de eventos prohibidos en determinadas circunstancias (oficinas, hospitales, zonas de seguridad, etc): detección de personas fumando, personas hablando por el móvil, personas en zonas restringidas, etc. Eventos de interacción entre personas y objetos: robo, abandono, etc. Además añadiendo un sistema de seguimiento de múltiples personas, se propone la detección de eventos de interacción entre personas, útiles en múltiples situaciones: discusiones, personas hablando, peleas, etc. Por último se propone la fusión de los diferentes algoritmos en ambas detecciones o la combinación de los mismos para generar un sistema final mucho más eficiente y robusto. La unión de múltiples decisiones o múltiples expertos permite un sistema de decisión final mucho más fiable y preciso. PLAN DE TRABAJO

4 El plan de trabajo para el desarrollo de esta investigación se ha estructurado en tres fases, se diseñó al comienzo de los estudios de master y actualmente se encuentra en la segunda fase: 1. Formación inicial - Estudio del estado del arte: formación mediante los correspondientes cursos de doctorado y un extenso estudio bibliográfico (principalmente revistas especializadas y estándares). - Familiarización con los equipos y entorno de desarrollo. 2. Iniciación a la investigación - Seguimiento del estado del arte a través de las revistas especializadas y el seguimiento de estándares relevantes al proyecto de investigación. - Selección de un tema concreto para el trabajo de fin de master. - Diseño y desarrollo de un sistema que permita alcanzar los objetivos propuestos. - Elaboración de una documentación que se presentara como trabajo de fin de master y sentara las bases del trabajo de investigación de la tercera fase. 3. Desarrollo de la tesis doctoral - Seguimiento del estado del arte a través de las revistas especializadas y el seguimiento de estándares relevantes al proyecto de investigación. - Investigación: se concentrara el trabajo en el diseño de nuevos algoritmos que sustituyan, mejoren o adapten los existentes para la integración en el sistema. - Ampliación de los modelos de persona y actividades. - Elaboración de conclusiones y presentación de resultados. Confección de documentación (tesis doctoral). METODOLOGIA DE LA INVESTIGACION La metodología de investigación se estructurará en las siguientes fases: 1. Documentación y estudio bibliográfico del estado del arte 2. Búsqueda, formación, evaluación y adaptación de software de aplicación a la investigación (estas dos fases se mantendrán a lo largo de todo el proyecto) 3. Planteamiento de metas y objetivos realistas del trabajo buscando obtener resultados relevantes. 4. Evaluación de dichas metas frente al estado del arte (las revisiones periódicas del estado del arte permitirán refinar la evaluación y dentro de lo razonable de los objetivos) 5. Diseño de algoritmos, herramientas y sistemas para alcanzar los objetivos propuestos 6. Desarrollo mediante prototipado iterativo de los algoritmos, herramientas y sistema. Cada prototipo pasará por una fase de pruebas y validación. El informe resultante se utilizara para refinar las especificaciones técnicas del siguiente prototipo.

5 7. Evaluación de los resultados Cada una de estas fases, en sus diversas iteraciones vendrá acompañada de su correspondiente documentación. BIBLIOGRAFÍA [1] N.M. Oliver, B.Rosario, A.P. Pentland, " A Bayesian Computer Vision System for Modelling Human Interactions", IEEE Trans. On Patt. Anal. And Machine Intell., vol. 22, no 8, pp , [2] J. Zhou, J. Hoang: Real Time Robust Human Detection and Tracking System, In Computer Vision and Patter Recognition (CVPR), San Diego (USA), June [3] M. Hessein, W. Abd-Almageed, Y. Ran, L.S. Davis: Real-Time Human Detection, Tracking, and Verification in Uncontrolled Camera Motion Environments, In International Conference on Vision Systems (ICVS), New York (USA), January [4] H, G. Barrow: Parametric correspondence and chamfer matching: two new techniques for image matching, International Joint Conference on Artificial Intelligence, pp , [5] Y. Wu, T. Yu: A Field Model for Human Detection and Tracking, In IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, Nº 5, pp , May [6] B. Wu, R. Nevatia: Detection of Multiple, Partially Occluded Humans in Single Image by Bayesian Combination of Edgelet Part Detector, In 10 th IEEE International Conference on Computer Vision (ICCV), Vol.1, Nº 1, January [7] P. Viola, M. Jones: Rapid Object Detection using a Boosted Cascade of Simple Features, In Computer Vision on Pattern Recognition (CVPR), Vol. 1, pp , [8] I. Haritaoglu, D. Harwood, L.S. Davis: Ghost: A Human Body Part Labelling System Using Silhouettes, In International Conference on Pattern Recognition (ICPR), Queensland(Australia), August [9] I. Haritaoglu, D. Harwood, L. S. Davis: W4: Who? When? Where? What? A Real time System for Detecting and Tracking People, In International Conference on Face and Gesture Recognition, Nara(Japan), April [10] F. Xu, D. Fujimura: Human Detection Using Depth and Gray Images, In IEEE Conference on Advanced Video and Signal Base Surveillance (AVSS), Washington DC (USA), July [11] N. Sprague, J. Luo: Clothed People Detection in Still Images, In International Conference on Pattern Recognition (ICPR), Quebec (Canada), August [12] S. Harasse, L. Bonnaud: Human model for people detection in dynamic scenes, In Computer Vision on Pattern Recognition (CVPR), New York (USA), June [13] H. Sidenbladh: Detecting human motion with support vector machines, In International Conference on Pattern Recognition (ICPR), [14] D. Toth, T. Aach: Detection and recognition of moving objects using statistical motion detection and fourier descriptors, In International Conference on Image Analysis and Processing (ICIAP), [15] I. Haritaoglu, D. Harwood, L.S. Davis: Hydra: Multiple People Detection and Tracking Using Silhouettes, In International Conference on Image Analysis and Processing (ICIAP), Venice(Italy), September [16] P. Kilambi, E. Ribnick, J. Joshi, O. Masoud,N. Papanikolopoulos: Estimating pedestrian counts in groups, In Computer Vision and Image Understarding, [17] I. Haritaoglu, D. Harwood, L.S. Davis: W4: real-time surveillance of people and their activities, IEEE Trans. Pattern Anal.Match.Intell, Vol 22, pp , [18] L. Wang, W. Hu, T. Tan: Recent developments in human motion analysis, Pattern Recognition Vol. 36, pp , 2003

6 [19] D.M. Gavrila: The visual analysis of human movement: a survey, Comput. Vision Image Understanding, Vol. 73, pp