francisco hernán ledesma S E G U I M I E N T O R O B U S T O D E C O N T O R N O S PA R A E L M O N I T O R E O D E T R Á F I C O V E H I C U L A R

Transcripción

1 francisco hernán ledesma S E G U I M I E N T O R O B U S T O D E C O N T O R N O S PA R A E L M O N I T O R E O D E T R Á F I C O V E H I C U L A R

2

3 S E G U I M I E N T O R O B U S T O D E C O N T O R N O S PA R A E L M O N I T O R E O D E T R Á F I C O V E H I C U L A R francisco hernán ledesma Tesis de grado Dirección: Dr. Juan Ignacio Giribet Departamento de Electrónica Facultad de Ingeniería Universidad de Buenos Aires 13 Julio 2012

4 Francisco Hernán Ledesma: Seguimiento Robusto de Contornos para el Monitoreo de Tráfico Vehicular, Estudiante de ingeniería electrónica, 13 Julio 2012

5 Yo soy yo y mi circunstancias. José Ortega y Gasset Dedicated to the loving memory of Andrea Vanesa Paranyez inti means sol.

6

7 A B S T R A C T En los ITS la medición de parámetros de tráfico en tiempo real es crucial; las tecnologías basadas en cámaras de video han empezado a ser ampliamente usadas para el monitoreo de tráfico; sin embargo todavía hay muchos problemas a resolver y los métodos conocidos hasta el momento no resuelven los problemas de manera integral. En esta tesis se decide encarar el problema desde el enfoque de contornos activos desarrollando un sistema de seguimiento que se puede dividir en tres grandes bloques: segmentación, detección y seguimiento. En cada una de las etapas se propone una solución para resolver su tarea principal. En la segmentación se propone un método de aprendizaje de fondo que permite ajustar mejor el tiempo de aprendizaje. En la detección se propone un método para la estimación del estado inicial de bajo costo computacional y que permite la detección simultánea de vehículos, resolviendo además el problema de la perspectiva para la medición del largo del vehículo detectado. Finalmente se aplica la forma clásica del algoritmo recursivo del filtro de Kalman para la estimación del estado del vehículo detectado. Los resultados son satisfactorios en cuanto a tiempo de procesamiento y precisión para flujo vehicular normal. Se han sentados las bases para futuras optimizaciones y mejoras. Real-time traffic parameter measurement is crucial in intelligent transportation systems. Technologies based on video imagery have begun to be widely used for traffic monitoring, however there are still many problems to be solved and methods known so far do not solve the problems in a holistic manner. In this thesis we decided to address the problem from the active contours approach, we developed a system tracking that can be divided into three blocks: segmentation, detection and tracking. In each of this stages we proposes a solution to solve the main tasks. In the segmentation we propose a background learning method that allows to tune learning time. In the detection we proposed a low computational cost method to estimate the initial state, that allows simultaneous vehicles detection, solving additionaly the problem of perspective for measuring the length of the vehicle detected. Finally we apply the classical form of recursive algorithm of Kalman filter to estimate the state of the vehicle detected. The results are satisfactory in terms of precision and time processing for normal traffic flow. We have lay the foundation for future enhancements, improvements and optimization. vii

8

9 Crear una pequeña flor es trabajo de siglos.? [? ] A G R A D E C I M I E N T O S Esta tesis de grado, como probablemente muchas otras, se desarrolló en varios ámbitos, no sólo el académico; con lo cual es claro que la lista de personas y entidades a agradecer será amplia, trataré de no olvidar a nadie que haya aportado algo para que esta idea se concretara. Por empezar voy a agradecer a mi familia, mi principal sostén. A mi hermano Diego Ledesma, por prestarme durante mucho tiempo su computadora; con la cuál empecé a dar los primeros pasos en este proyecto de seguimiento. A Nora Isabel León y Benancio Francisco Ledesma, mis queridos padres por sostenerme en las épocas más duras, porque siempre confiaron en mí y me apoyaron. A Viviana por las sobrinas que me dio, que me alegraron muchas veces los difíciles tiempos vividos durante mi investigación. A Gisele por su voz, por aquella gran zamba bajo la brillante luna de Arrollo del Medio, Jujuy. A Roxana Huerta, porque hay maneras de contener a las personas y ella no lo sabe, pero eso es lo que hace cuando me mira. A Olga León por sentar las bases para mi formación en matemáticas. Finalmente a Leonardo y Luis que completan muy bien mi círculo familiar. Por otro lado, quiero agradecer especialmente a Juan Giribet no sólo porque ha sabido ser buen tutor y guía de un tesista, sino también porque ha sabido dar respaldo a un ser humano. Toda mi admiración y respeto hacia él; la consecución de esta tesis de grado se debe en gran parte a un trabajo en equipo con Juan, muchas gracias por la experiencia, por los conocimientos teóricos y prácticos. Quiero también agradecer al INTI, a la institución y a las personas: a Salvador Tropea por su soporte en cuanto al uso de herramientas y programación; a Alejandro Federico por su soporte en cuanto a conceptos teóricos sobre contornos activos; a Pablo Etchepareborda, a Francisco Salomón, a Marcelo Monteverde, a Arturo Bianchetti y a Rodrigo Melo. También quiero agradecer especialmente a la directora del organismo Dra. Liliana Fraigi por su apoyo y respaldo. Finalmente voy a agradecer a la sociedad y nación argentina, a la escuela 96 Juana Azurduy de Isidro Casanova, a la ENET Nº1 Italia de San Justo y a la Universidad de Buenos Aires (UBA), lugares donde me formé como persona, como técnico, como estudiante y como próximamente ingeniero, muchas gracias a la educación pública. ix

10

11 C O N T E N I D O S i fundamentos y aspectos teóricos 1 1 introducción 3 2 segmentación de imágenes de video Sustracción de Fondo Modelo de Fondo Métodos de Estimación de Fondo Método Propuesto 21 3 seguimiento de vehículos detectados Modelo de Contornos con Splines Espacio de Forma Modelo Dinámico Medición El Filtro de Kalman 49 4 detección de vehículos en movimiento Detección Estimación del Estado Inicial Estimación de los Vectores de Control y Estado Inicial Determinación de la Covarianza del Error de Estimación del Estado Inicial 63 ii aspectos prácticos 67 5 librerías empleadas Estructuras y Funciones de OpenCV Estructuras y Funciones de libbspline 76 6 algoritmos propuestos Segmentación Detección Seguimiento 85 iii resultados 89 7 resultados Modelo Dinámico Filtro de Kalman y Seguimiento Casos de Estudio conclusiones 109 iv apéndice 113 a regularización y filtro de kalman 115 b funciones implementadas 119 b.1 Segmentación 120 b.2 Detección 120 xi

12 xii contenidos b.3 Seguimiento 121 bibliograf ía 123

13 L I S TA D E F I G U R A S Figura 2.1 Diagrama general de segmentación 12 Figura 2.2 Sustracción de fondo 13 Figura 2.3 Imagen segmentada 15 Figura 2.4 Frame differencing 17 Figura 2.5 Tiempo de aprendizaje de fondo 23 Figura 3.1 Puntos de control 32 Figura 3.2 Espacio de forma 37 Figura 3.3 Predicciones 44 Figura 3.4 Procedimiento de medición 47 Figura 4.5 Detección vehicular 55 Figura 4.6 Ventana de detección 56 Figura 4.7 Ventana deslizante 58 Figura 4.8 Medición de largo 61 Figura 4.9 Estimación de Q 0 y r 0(s) 62 Figura 4.10 Ventana de medición para estimar Q 1 63 Figura 6.11 Parte principal del código 80 Figura 6.12 Diagrama de la etapa de detección 83 Figura 6.13 Parte de inicialización de la detección 84 Figura 6.14 Inicialización de los detectados 85 Figura 6.15 Diagrama de la etapa de seguimiento 86 Figura 7.16 Contornos en el estado inicial 92 Figura 7.17 Propagación del error de predicción 93 Figura 7.18 Predicción en base a mediciones 94 Figura 7.19 Errores de predicción 95 Figura 7.20 Trazas de la matriz de covarianza P 96 Figura 7.21 Componentes de la matriz P 97 Figura 7.22 Autocorrelación del proceso de innovación 99 Figura 7.23 Error de estimación: Vehículo Figura 7.24 Secuencia de seguimiento. Vehículo Figura 7.25 Centroides. Vehículo Figura 7.26 Secuencia de seguimiento. Vehículo Figura 7.27 Error de estimación: Vehículo Figura 7.28 Centroides. Vehículo Figura 7.29 Error de estimación: Vehículo Figura 7.30 Secuencia de seguimiento. Vehículo Figura 7.31 Centroides. Vehículo xiii

14 L I S TA D E TA B L A S Tabla1 Ejemplos de features 9 Tabla2 Métodos globales y locales 10 Tabla3 Valores de errores de predicción 95 Tabla4 Resultados del seguimiento 107 A L G O R I T M O S Algoritmo 1 Procesamiento de un video 71 Algoritmo 2 Iterador de línea 72 Algoritmo 3 Uso de la función cvsvd() 74 Algoritmo 4 Aprendizaje del fondo de imagen 81 S I G L A S its Sistemas de Transporte Inteligente gpl GNU General Public Licence ar Autoregressive Process mle Maximum Likelihood Estimation bsd Berkeley Software Distribution arm Advanced RISC Machine dsp Digital Signal Processor gsl GNU Scientific Library gcc GNU Compiler Collection poo Programación Orientada a Objetos xiv

15 siglas xv inti Instituto Nacional de Tecnología Industrial uba Universidad de Buenos Aires enet Escuela Nacional de Educación Técnica

16

17 Parte I F U N D A M E N T O S Y A S P E C T O S T E Ó R I C O S

18

19 I N T R O D U C C IÓN 1 La recolección de datos de tráfico vehicular en tiempo real es una de las tareas claves en los Sistemas de Transporte Inteligente (ITS), que es un área de la ingeniería en donde se está poniendo mucho esfuerzo de investigación. Sin embargo no sólo en los ITS es necesario medir parámetros de tráfico, sino también en aplicaciones específicas como el cobro automático de peaje, o más generales como la recolección estadística de datos para la implementación de políticas tendientes a mejorar las condiciones del tránsito Seguimiento Robusto de Contornos para el Monitoreo de Tráfico Vehicular Version 1.2 [? ]. Cuando se habla de parámetros de tráfico; uno se refiere a parámetros de tráfico datos 1 que permiten definir las características del tránsito en calles, avenidas y autopistas; e. g. parámetros de tráfico son 1. Cantidad de vehículos en un determinado período de tiempo (detector vehicular) 2. Flujo vehicular en un determinado horario 3. Velocidad de cada vehículo (sistema de seguimiento) 4. Presencia vehicular 2 5. Headway 3 6. Tipo de cada vehículo detectado (clasificador vehicular) Es necesario medir todos estos parámetros de tráfico, por nombrar algunos, para brindar servicios de ITS como guía de ruta, sistemas de evaluación de redes de transporte, etc 4. Existen en el mercado una gran cantidad de equipos que permiten la medición de parámetros de tráfico; muchas empresas, pero fundamentalmente muchas tecnologías, y es acá donde la ingeniería electrónica juega un papel central. La tecnología que domina el mercado es la de espiras inductivas, cuyo funcionamiento se basa en la variación de la frecuencia de resonancia de un circuito inductivo, al pasar un vehículo por encima de la espira que está empotrada en el pavimento. El problema de esta tecnología es su costoso mantenimiento e instalación. Por otra parte, la tecnología que más está creciendo en el mercado, 1 Que pueden no ser numéricos. 2 Incluye autos estacionados. 3 Medida de tiempo o distancia entre vehículos. 4 Esta lista de parámetros de tráfico no es la más completa, en ella se muestran algunos de los parámetros que interesan en este trabajo de investigación. Parámetros como el peso del vehículo no son de interés. Una lista muy completa se puede encontrar en la referencia[? ]. 3

20 4 introducción es la del monitoreo de tráfico mediante cámaras de video; el mantenimiento e instalación de este tipo de sistemas es mucho menos costoso que en los sistemas de espiras inductivas, ya que no implica la remoción/reparación de pavimento y muchas veces, ni siquiera es necesario cerrar la vía de circulación para realizar tal mantenimiento o instalación; además, si se considera la posibilidad de monitorear varias vías de circulación vehicular, entonces para muchas aplicaciones de ITS, los costos asociados a este tipo de sistemas son comparables a los que usan tecnología de más bajo costo 5. El monitoreo de tráfico basado en procesamiento de imágenes y visión artificial es de las tecnologías más recientes en el mercado, con lo cual, todavía son muchos los problemas a resolver para tener un sistema robusto como los de espiras inductivas. El hecho de tener cámaras de video a la intemperie, supone sortear problemas como la lluvia, el granizo, la neblina, que afectarán sensiblemente la medición de los parámetros de tráfico; pero el problema existe incluso en situaciones menos extremas y más frecuentes como: Variaciones en las condiciones de iluminación Vibraciones de la cámara Ruido electrónico en los sensores de imagen Variaciones aleatorias de la escena Otra característica interesante de estos sistemas de monitoreo es que con una simple cámara se puede medir todos los parámetros en la escena de tráfico vehicular completa, por ejemplo se podrían clasificar los vehículos detectados, cosa que no se puede hacer en los sistemas de espiras inductivas; si bien la clasificación de vehículos está fuera del alcance de este trabajo de investigación, se buscará resolver los cuatro puntos listados y presentados como problemas inherentes a los sistemas de monitoreo de tráfico vehicular mediante cámaras de video. Como puede notarse en la lista de parámetros de tráfico, hay una cierta relación entre algunos de estos; e. g. el flujo vehicular puede obtenerse directamente de la cantidad de vehículos en un determinado período; sin embargo el flujo vehicular también puede estimarse mediante la medición de velocidad; de esta manera, se puede observar que la medición de todos los parámetros de tráfico es posible, logrando la ubicación en el espacio de cada vehículo detectado, en cada frame de la secuencia de imágenes de video. Si se puede estimar la posición en la escena del vehículo detectado en función del tiempo, podemos medir directa o indirectamente todos los parámetros de tráfico. Entonces el objetivo 5 En la referencia[? ] se puede ver una comparación de los costos de las distintas tecnologías.

21 introducción 5 central de este trabajo es el seguimiento de vehículos detectados, y para que los resultados puedan aplicarse en la mayoría de los servicios de ITS, el seguimiento tiene que ser en tiempo real. Para definir un tanto más el objetivo, se ha decidido trabajar con los contornos de los vehículos, lo cual en principio se puede justificar diciendo que, de esta manera, uno puede aprovechar mejor toda la información que puede brindar una cámara de video, ya que hay información de la forma del vehículo en su contorno, lo cual permitiría incluso la clasificación del mismo; sin embargo, en la introducción al capítulo de seguimiento se explicará con más detalles este tema, ya que las alternativas de seguimiento son varias, y cada una posee ventajas y desventajas. Una cuestión importante a tener en cuenta en el desarrollo de este trabajo de investigación, y que se agrega al conjunto de problemas a resolver, es que las imágenes con la que se va a trabajar se obtendrán de cámaras que estarán instaladas a seis metros sobre la vía de circulación a monitorear; esto se corresponde con la idea de aprovechar los puentes de la ciudad de Buenos Aires, lo cual se traduce en una importante disminución de los costos de instalación y mantenimiento 6. Los equipos que miden parámetros de tráfico mediante imágenes de video, especifican que sus cámaras deben instalarse a una altura superior a los nueve metros; ninguno de los trabajos sobre seguimiento vehicular que se revisó especifica a qué altura están sus cámaras de video, cosa que es importante dado que determina la precisión de las mediciones [? ]. A los efectos de este trabajo de investigación, la altura de instalación de las cámaras es un factor importante, dado que provoca que la evolución de las formas de los vehículos detectados y a seguir tenga un comportamiento particular; la descripción de este comportamiento va a requerir el diseño de un modelo dinámico distinto al empleado en otros trabajos sobre seguimiento vehicular 7. La altura de instalación de las cámaras, determina el ángulo de inclinación para una determinada longitud del rango de seguimiento; estos parámetros determinan lo que se llama el punto de desvanecimiento, que es el punto de la imagen donde las líneas paralelas de la vía de circulación se encuentran. Cuanto más baja está instalada la cámara, más cerca del rango de seguimiento está este punto, y la perspectiva de las imágenes adquieren mayor profundidad, con lo cual las formas de los vehículos tienden a reducir bastante su tamaño a medida que se alejan de las cámaras. Es un trabajo algo más difícil describir con un modelo dinámico la evolución de las formas en el caso de cámaras instaladas a baja altura. Otro problema importante son los casos de oclusión vehicular, que son más comunes cuando las punto de desvanecimiento 6 La empresa SUTEC, S.A. considera este un requerimiento importante. Una de los servicios de ingeniería que ofrece SUTEC, S.A. es ITS. 7 Ver Sección 3.3.

22 6 introducción cámaras están instaladas a baja altura; estos casos se dan cuando un vehículo se interpone en la linea de visión entre la cámara y otro vehículo; esto puede resolverse haciendo seguimiento de contornos mejor que con cualquier otro método [? ] 8. El seguimiento de contornos en este trabajo de investigación sigue la linea de la teoría de contornos activos, que emplea modelos B-splines, lo cual permite trabajar convenientemente en el manejo de los contornos y ofrece muchas ventajas en cuanto a lo computacional. Y la base para la implementación del seguimiento es la teoría de estimación lineal (Filtro de Kalman) que como luego se verá, es solidario con la teoría de contornos activos con funciones B-splines, que en conjunto conforman un marco teórico elegante para el diseño de sistemas de seguimiento de objetos en movimiento. Se puede dividir este trabajo en cuatro grandes tareas: Segmentación de las imágenes de video Detección de vehículos Medición de características (features) en la imagen Seguimiento de vehículos detectados La mayoría de los trabajos sobre seguimiento, consideran esta misma división de tareas; sin embargo, los métodos empleados no parecen ser convenientes. En el trabajo de? [? ] se emplea para la detección de los vehículos una región de interés (también: región de detección 9 ) de forma y tamaño predefinido 10 ; este concepto permite detectar el vehículo que pasa por la zona y definir una forma para el mismo, pero no es útil para la detección simultánea de vehículos y además, si hay que definir una región por cada carril, es probable que se produzcan sobredetecciones debido al paso de vehiculos que pisan ambos carriles. La detección en el trabajo de? [? ] es más adecuada para la aplicación que se quiere desarrollar en este trabajo de investigación, si bien no queda claro cómo establece el estado inicial del vehículo detectado y mucho menos la covarianza en la estimación del mismo. Además no da cuenta del método de segmentación empleado, cosa que sí hace? [? ] (que emplea el mismo método de detección), pero implementan un método de segmentación que para nada es aplicable a este trabajo de investigación, ya que las tareas de procesamiento se 8 Es probable que la altura de la cámara sea también un factor a tener en cuenta para la segmentación y detección de los vehículos en movimiento, pero en este trabajo de investigación no se van a estudiar estos problemas. 9 Aquí también se le llama espira virtual, ya que se puede pensar en una espira inductiva, sólo que en vez de registrarse cambios en una frecuencia de resonancia, se registan cambios en los píxeles de la zona que define la región. 10 Muchos equipos de monitoreo de imágenes trabajan de esta forma, ver productos de Iteris, Inc. en

23 introducción 7 dan en los tres canales de las imágenes en RGB del video, lo cual genera innecesariamente, un costo computacional importante. La organización de este trabajo se basa en esta división de tareas. En este informe de tesis, primero se encara la cuestión teórica (primera parte), luego la práctica (segunda parte) y finalmente se presentan los resultados. Como cuestión accesoria, se considera importante basar el desarrollo de este trabajo de investigación en la biblioteca de visión artificial y procesamiento de imágenes OpenCV, que además de ser de código abierto bajo licencia GPL, posee una excelente documentación; pero no son las únicas ventajas que se pueden tener al usar esta biblioteca; si consideramos el requerimiento de procesamiento en tiempo real, programar en C usando OpenCV es muy conveniente[? ].

24

25 S E G M E N TA C I Ó N D E I MÁGENES DE VIDEO 2 Una de las primeras y más importantes tareas a resolver en un sistema de visión artificial es la segmentación de las imágenes. En términos generales se define la segmentación de imágenes como el proceso por el cual se divide en regiones una imagen, cada una de éstas tiene una característica particular que la distingue del resto. También se puede considerar una definición menos general pero que es adecuada y aplicable a este trabajo de seguimiento, teniendo en cuenta que las imágenes son parte de una secuencia de video se busca en la segmentación distinguir dos regiones en la imagen, una correspondiente a objetos en movimiento y la otra a fondo de la imagen; ambas definiciones son necesarias para tratar el tema en este capítulo. Volviendo entonces a la definición más general, el término característica particular (feature) es un concepto con un significado determinado en procesamiento de imágenes y visión artificial; se llama feature a todo valor medible en una imagen que puede ser un número o un vector, discreto o real. Como puede verse, el concepto es a su vez tan genérico que es necesario dar ejemplos, algunos de estos están en la Tabla 1. La segmentación es en esencia una clasificación de los píxeles segmentación feature features escalares niveles de grises módulo de gradiente (bordes) features vectoriales valores en el espacio de color RGB, HSV, etc. textura movimiento (en video) Tabla 1: Ejemplos de features de acuerdo al valor de sus features. Según la aplicación, puede usarse para la tarea de clasificación uno o más de los features mostrados en la Tabla 1 1, esta tarea se realiza mediante una regla de decisión que también depende de la aplicación y que puede ir de un simple thresholding de histograma[? ], a una regla bayesiana en un espacio de features n-dimensional[? ]; es por eso que la segmentación puede llegar a ser una tarea muy compleja que demanda mucho tiempo de computación. Con esta idea general thresholding de histograma 1 La tabla de features mostrada no es una lista completa de todos los que se pueden usar. 9

26 10 segmentación de imágenes de video de segmentación se pueden encontrar una gran variedad de métodos[? ][? ][? ][? ] cuya utilidad dependerá de la aplicación por supuesto.? [? ] hicieron un estudio general de distintos métodos de segmentación; en el artículo que presentaron se pueden revisar las ventajas, desventajas y campos de aplicación de cada uno de estos métodos. En Machine Vision de? [? ] se podrán encontrar las ideas básicas sobre segmentación junto con varios métodos simples que serán de todas formas de gran utilidad para este trabajo de investigación. Por último, en The ITK Software Guide 2 de? [? ] están implementados en C++ métodos de segmentación más complejos, por ejemplo los clasificadores de la teoría de reconocimiento de patrones de? [? ]; de este libro se pueden tomar algunas ideas y herramientas para mejorar la segmentación. En general, se puede dividir el conjunto de los métodos de segmentación en: métodos globales y métodos locales. Los métodos globales emplean la misma regla de decisión para clasificar todos los píxeles de la imagen, basándose en información de la imagen completa; por el contrario, los métodos locales definen la regla de decisión en base a la información que extraen de la región de la imagen que es vecina al píxel 3 que hay que clasificar. Con los métodos locales se puede resolver problemas de variación de la iluminación en la imagen y también encarar problemas donde los objetos a segmentar no tienen características del todo uniformes; sin embargo, claramente los métodos globales son algoritmicamente más simples y muchas veces son suficientes para realizar una buena segmentación; la Tabla 2 muestra algunos de los métodos locales y globales más conocidos. métodos globales Thresholding de histograma [? ] Clustering [? ] métodos locales Thresholding adaptativo [? ] Segmentación de textura [? ] Watershed[? ] Tabla 2: Algunos métodos de segmentación, clasificados como locales y globales Los conceptos expuestos hasta el momento no sólo son útiles como introducción general al tema segmentación, algo que es necesario para encarar todo trabajo al respecto, sino también pueden aportar ideas en trabajos futuros para: mejorar la segmen- 2 Insight Toolkit (ITK) es una biblioteca hecha en C++ para segmentación de imágenes, ITK es open source. 3 Son varios los términos que se pueden emplear para hacer referencia a la vecindad de un píxel: kernel, window, etc.

27 segmentación de imágenes de video 11 tación, la detección y consiguientemente el seguimiento 4. Pero cuando las imágenes a segmentar son parte de una secuencia de video y lo que se desea es identificar las regiones correspondientes a objetos en movimiento, el enfoque para realizar la tarea de segmentación es distinto; si bien lo que se expuso hasta el momento sigue siendo totalmente válido y útil, el hecho de que sólo interesa diferenciar en la imagen lo que es objeto en movimiento y lo que no, hace que sea más adecuado encarar la segmentación desde otro punto de vista; el feature que se necesita medir en estos problemas de segmentación, es el movimiento, cómo hacerlo depende del método de segmentación que se emplee, que básicamente se pueden clasificar en dos enfoques 5. Flujo óptico, Sustracción de fondo. Dada una secuencia de imágenes, se llama flujo óptico al campo vectorial que describe cómo la imagen cambia en el tiempo (campo de movimiento); i. e. si se considera como ejemplo un píxel de imágenes en escala de grises, el valor de gris se puede expresar Flujo Óptico i(x, y, t) i(x, t) donde el vector x = (x, y) es la posición del píxel en la imagen y t es el tiempo; si se supone que hay una traslación de este valor en imágenes sucesivas de la secuencia entonces i(x, t) = i(x + u, t + 1) el vector u es el flujo óptico; si el pixel no corresponde a un objeto en movimiento, entonces u = 0, se puede entonces segmentar la imagen de acuerdo al módulo de este vector. Hay varios métodos para calcular el flujo óptico, los más empleados son los métodos de gradiente[? ][? ], pero se pueden emplear otros enfoques[? ]. Una implementación de seguimiento vehicular basada en el cálculo del flujo óptimo para la segmentación es el de? [? ]. Si bien se puede hacer seguimiento vehicular en tiempo real usando flujo óptico[? ], el cálculo del mismo tiene un costo computacional elevado. Por esto último, en este trabajo de investigación se decidió usar el enfoque de segmentación de sustracción de fondo, que consiste en estimar de alguna manera el fondo de la imagen usando la secuencia de imágenes que van entrando, de forma tal que para extraer las regiones correspondientes a objetos en movimiento, simplemente se aplica una operación de sustracción entre la imagen del fondo estimado y la imagen sustracción de fondo 4 Por ejemplo, la eliminación de sombras podría realizarse considerando alguno de los métodos avanzados de segmentación. 5 El problema de seguimiento vehicular puede también resolverse sin incluir una etapa de segmentación [? ].

28 12 segmentación de imágenes de video errores de segmentación actual de la secuencia. El concepto es muy simple, sin embargo la dificultad está en la estimación del fondo de la imagen. Ningún enfoque ni método da resultados exactos, los errores de segmentación están siempre presentes. Se pueden definir dos tipos de errores de segmentación en imágenes con objeto en movimiento Falsos positivos, Falsos negativos. los primeros son aquellos errores que surgen al clasificar un píxel como de objeto en movimiento cuando en realidad es un píxel de fondo; los segundos, son aquellos que surgen de clasificar un píxel como de fondo, cuando en realidad es de objeto en movimiento. Generalmente se puede mejorar la segmentación lo suficiente como para que sea aceptable la cantidad de errores de segmentación, pero el desafío en este trabajo es hacerlo de forma tal que, además sea aceptable el costo computacional. El diagrama en bloques de la Figura 2.1 representa un esquema general de una segmentación basada en sustracción de fondo. La organización de este capítulo sigue un poco este esquema; la primera sección trata sobre técnicas para encarar la sustracción de fondo y la segunda es la más importante dado que explica métodos para lograr una estimación adecuada del fondo, lo cual permitirá lograr la mejor segmentación posible, ventajas y desventajas de los mismos. secuencia de imágenes Sustracción de Fondo Validación de Segmentación Filtrado imágenes segmentadas Modelo de Fondo Buffer Figura 2.1: Esquema general de la segmentación basada en sustracción de fondo. 2.1 sustracción de fondo El método de segmentación que se va a utilizar en este trabajo de investigación es el de sustracción de fondo, no sólo porque se puede lograr el menor costo computacional, sino también por la simpleza del concepto, este puede esquematizarse como se puede ver en la Figura 2.2.

29 2.1 sustracción de fondo 13 secuencia de imágenes - Thresholding imágenes binarias Modelo de Fondo Figura 2.2: Esquema de sustracción de fondo. Considérese una imagen F que representa exactamente el fondo de la escena en el instante actual 6, suponiendo que la imagen está en colores, e. g. representada en el espacio de colores RGB, el valor de un píxel de la imagen F en uno de los canales se puede denotar como f x,c, donde el subíndice vector x = (x, y) es la posición del píxel en la imagen y c es alguno de los canales de color. Si se toma el módulo de la diferencia entre esta imagen y la que ingresa en el instante actual: mód [F I], donde I es la imagen actual; y suponiendo condiciones ideales y perfectas tanto ambientales como de ruido, entonces para los píxeles de I que son parte del fondo se cumple f x,c i x,c = 0 c donde i x,c es el valor del píxel en la imagen actual. Pero considerando variaciones en las condiciones de iluminación por ejemplo o ruido en los sensores entonces si f x,c i x,c 0 c; c f x,c i x,c > T el píxel correspondiente se puede clasificar como perteneciente a un objeto en movimiento, donde T es algún valor usado como threshold (umbral). Como ya se ha indicado en la introducción al capítulo, para la clasificación del píxel como de fondo de la imagen o de objeto en movimiento se necesita una regla de decisión, que en este caso de sustracción de fondo es una operación de thresholding. Entonces el desafío de esta parte del bloque encargado de la segmentación, es determinar el valor adecuado de T para obtener los mejores resultados en la segmentación. También se ha indicado que hay dos enfoques de segmentación, los métodos globales y los métodos locales; los primeros usan el mismo valor de T para clasificar todos los píxeles, esto es lo más simple que se puede hacer y es precisamente lo que se usa en este trabajo de investigación; en la próxima sección se abordará con más detenimiento el método de sustracción de fondo 6 Todo aquello que no es objeto en movimiento.

30 14 segmentación de imágenes de video que particularmente se emplea aquí. El otro enfoque es el de los métodos locales; un trabajo de seguimiento vehicular que realiza la segmentación con un método local es el de? [? ], en donde los valores de threshold que se aplican para clasificar cada píxel, se determinan estadísticamente cada vez que se actualiza el fondo de la imagen; los valores medio de cada píxel definen el fondo y las varianzas determinan el valor de threshold a emplear para la clasificación de los mismos. En el trabajo de? el threshold se determina de la siguiente manera T x = 3 σ x. Se consideró emplear este último método, se hicieron pruebas, pero resultó ser excesivamente costoso en cuanto a lo computacional y no aportó mejoras sustanciales respecto de otros métodos de sustracción de fondo. Sin importar qué enfoque para el thresholding se use, los errores de segmentación son inevitables; por empezar, puede observarse que si se aumenta el valor de threshold disminuyen los falsos negativos pero aumentan los falsos positivos, y si se disminuye el valor de threshold ocurre lo contrario. Uno de los errores más comunes en métodos de sustracción de fondo, son los falsos negativos que generalmente son interiores a la región correspondiente al objeto en movimiento, es común tener zonas oscuras dentro de las regiones clasificadas como de objeto en movimiento, esto se explica considerando que un objeto en movimiento no representa precisamente una región homogénea, puede ocurrir que haya partes del vehículo en movimiento que tengan características similares al fondo de la imagen, con lo cual los píxeles correspondientes se clasificarán como de fondo, esto ocurre especialmente con el parabrizas de los automóviles que según cómo se refleja la luz en el mismo y cómo ésta llegue a la cámara, es posible que los valores de intensidad de píxel sean muy similares a los valores de fondo, generando de esta manera grandes zonas oscuras en los vehículos en movimiento segmentados. Este problema es muy difícil solucionarlo, pero como luego se verá, no afecta de manera significativa al seguimiento. Queda claro en la Figura 2.2 que la salida es una imagen binaria, con ésta es mucho más sencillo y conveniente trabajar en las etapas posteriores a la segmentación, esto es: la detección y el seguimiento. La Figura 2.3 muestra una imagen de salida típica, se puede observar en ella los errores de segmentación, tanto los falsos positivos como los negativos, puede observarse también lo que se explicó arriba sobre los falsos negativos, es importante especialmente para la detección de los vehículos reducir las dimensiones de estas regiones oscuras interiores.

31 2.2 modelo de fondo 15 Figura 2.3: Imagen que resulta de la segmentación por sustracción de fondo 2.2 modelo de fondo Para que la segmentación de imágenes con objetos en movimiento mediante el enfoque de sustracción de fondo sea adecuada para su posterior tratamiento, es necesario disponer de un buen modelo del fondo de la escena observada con la cámara; esto es: una imagen que represente todo aquello que no sea vehículo en movimiento; de forma tal que al realizar la sustracción, aquellos píxeles que no sean de interés para el seguimiento den un valor nulo en la imagen binaria de salida. El modelo de fondo o simplemente fondo de la imagen, para nada es una imagen estacionaria y es necesario estimarla periódicamente o continuamente por diversos motivos: modelo de fondo Variación en las condiciones de iluminación, Movimiento de la cámara que capta la escena, Cambio en las condiciones de la escena, Sombras proyectadas de objetos fijos. Movimientos de objetos menores, El primer motivo es tal vez el de mayor interés para el presente trabajo de investigación ya que es lo más frecuente en escenas de tráfico vehicular, dado que la cámara que toma las imágenes está bajo ciertas condiciones ambientales, lo cual incluye la iluminación, que no solamente es variable porque no es la misma a la mañana que al mediodía o la noche, sino también que lo es aleatoriamente, y esto último tiene que ver con las condiciones de nubosidad, e. g. si el día está parcialmente nublado, el paso de las nubes puede cambiar repentinamente las condiciones de iluminación en la escena. El segundo motivo se refiere específicamente a lo que provoca las vibraciones en la cámara, si se tiene una buena estimación del fondo de la imagen, pero en determinado momento la cámara se mueve, el fondo de la escena en ese instante es ligeramente diferente, pero que produce errores de segmentación especialmente en los bordes de los objetos de la imagen actual

32 16 segmentación de imágenes de video frame differencing 7. Con respecto al cambio en las condiciones de la escena, se da por ejemplo cuando un objeto (esto incluye a los vehículos) se estaciona en la misma pasando de esta manera a ser parte del fondo. Por otra parte, es muy común tener en la escena sombras proyectadas de edificios, árboles, postes de luz, etc. que se van corriendo según cómo dé la luz del sol. Por último, considérese el movimiento producto del viento, de las hojas de una árbol al costado de una ruta, calle o autopista; sería conveniente que en la región correspondiente de la imagen, el fondo se actualice automáticamente, de forma tal que la sustracción dé cero siempre en tal región ya que no es de interés el movimiento de las hojas, esto mismo podríamos extenderlo a otros objetos menores; considerando que se puede filtrar los objetos por tamaño, este último problema es tal vez el menos importante. Entonces la estimación del fondo de la imagen debe responder a los cambios en la escena en un cierto tiempo, que no tiene que ser instantáneamente ya que si bien esto sería lo óptimo para resolver problemas como el de la variación de la iluminación, no permitiría segmentar bien los objetos en movimiento ya que se producirían errores de segmentación del tipo falsos negativos en el interior de los mismos. Para entender esto último, considere un fondo de la imagen que se actualiza continuamente de forma tal que F k = I k 1 : donde I k 1 es la imagen de la secuencia de video para el instante anterior; esto sería lo más rápido que se puede responder a los cambios; a esta idea se le llama frame differencing, porque la sustracción de fondo se reduce a una diferencia entre imágenes consecutivas de la secuencia. En la Figura 2.4 se puede observar las zonas oscuras interiores a los objetos en movimiento; esto ocurre porque el objeto en movimiento pasa a ser parte del fondo también, entonces sólo se registra el movimiento en los bordes, que es donde se producen los cambios entre imágenes sucesivas y esto depende de la velocidad y dimensiones de los vehículos. Entonces es necesario una estimación del fondo de la imagen lo suficientemente rápida como para registrar los cambios listados, pero que no provoque que los objetos en movimiento sean por eso parte del fondo Métodos de Estimación de Fondo Hay varios métodos de estimación de fondo que en general se pueden clasificar en métodos recursivos y no recursivos [? ]; los primeros actualizan constantemente el modelo de fondo de manera recursiva, de forma tal que el modelo de fondo actual es 7 Máximos de la imagen gradiente (módulo del gradiente).

33 2.2 modelo de fondo 17 (a) Autos (b) Colectivo Figura 2.4: Sustracción de fondo usando frame differencing. (a) Automóviles segmentados con frame differencing. (b) Colectivo segmentado con frame differencing. alguna función del modelo de fondo anterior y de la imagen de la secuencia también en el instante anterior, esto es F k = f (I k 1, F k 1 ) ; los segundos, usan un buffer donde guardan una cantidad de imágenes de la secuencia, actualizando periódicamente el modelo de fondo mediante la estimación del fondo de la imagen según la variación temporal de los píxeles de estas imágenes guardadas, esto es F k = f ( I k 1, I k 2,..., I k Nbuff ) ; Los métodos no recursivos requieren mayor cantidad de memoria para el almacenamiento de las imágenes y son más costosos en cuanto a lo computacional; de todas formas, se ha trabajado en ambos enfoques; específicamente en los siguientes tres métodos: Método estadístico de histograma (no recursivo), Filtro recursivo de mediana (recursivo), Mezcla de gaussianas (recursivo) Histograma Modificado En cuanto al primer enfoque que se lista, se han realizado pruebas de segmentación en base al trabajo de? [? ], donde se presenta la idea básica que se aplica en la etapa de segmentación en el trabajo de seguimiento de? [? ]; la estimación del modelo de fondo en estos trabajos se basa en el cálculo de un histograma para cada píxel, tomando una cantidad de imágenes guardadas en el buffer, tratando de que el tamaño del mismo sea lo más chico posible; para esto,? modifican el histograma calculado, de forma tal que con pocas imágenes ya se tenga un máximo definido en el histograma modificado; es decir, sea histograma modificado

34 18 segmentación de imágenes de video n p (l) 0 l L 1 el histograma de un píxel p, donde L = 2 B, siendo B la profundidad de píxel. El histograma se modifica de la siguiente manera n p (l) = n p (l) σ r= σ n p (l + r) 0 l + r L 1 donde σ es la desviación estándar para cada píxel, que es uno de los parámetros del método que se propone y que se deberá predecir en cada ciclo de estimación del fondo de la imagen; el argumento máximo de n es el valor de fondo de la imagen del píxel p; si se trabaja con imágenes de colores, entonces esto se hace para cada uno de los canales. Estimado de esta manera el fondo de la imagen, luego se aplica la operación de sustracción, mediante un thresholding local como el comentado en la sección anterior, con T = 3 σ[? ], donde σ se calcula de la siguiente manera σ 2 = 1 µ+3σ r=µ 3σ n (r) µ+3σ r=µ 3σ (r µ) 2 n (r) Aún cuando se hace un esfuerzo por reducir la cantidad de memoria requerida para la estimación del modelo de fondo y por ende el costo computacional de la operación (métodos similares requieren un buffer de mayor tamaño [? ]), los resultados no fueron satisfactorios en cuanto al tiempo de cálculo en cada ciclo de procesamiento de las imágenes del video Mezcla de Gaussianas Considere un secuencia de imágenes, sin objetos en movimiento en la escena; en ese caso, podría modelarse el proceso del píxel p = (x, y) con una función densidad de probabilidad del tipo gaussiana, con sus parámetros µ p y Σ p (media y varianza) dependiendo de la posición del píxel p en la imagen; este proceso de píxel se puede escribir {v 1, v 2,, v k } = { I j (p) 1 j k } donde I j (p) es la j-ésima imagen de la secuencia y v k es el valor del píxel p en el instante k; que puede ser vectorial si es una imagen de color o escalar si es una imagen en escala de grises; el único factor de ruido que interviene en este caso ideal, es el de los sensores. Si ahora se supone que un objeto se estaciona en la escena, al cabo de un tiempo t a este debería pasar a ser parte del fondo, con

35 2.2 modelo de fondo 19 lo cual los parámetros del modelo de fondo en los píxeles de esa región de la imagen, deben cambiar (por lo menos la media µ p ); ahora si este objeto se retira, y suponiendo para simplificar, que las condiciones de iluminación casi no han variado; los parámetros del modelo deben volver a su valor anterior µ p0. Este análisis muy simple sugiere plantear la modelización del fondo de la imagen como una mezcla de dos o más funciones de densidad gaussianas para cada píxel, siendo esta mezcla una suma pesada, donde cada peso representa la influencia de la función densidad correspondiente, en la estadística del fondo de la imagen en cada píxel; entonces se puede escribir mezcla de gaussianas p (v k = u) = M ω i,k N(u; µ i,k, Σ i,k ) i=1 donde M es la cantidad de distribuciones gaussianas, ω i,k es el peso de la distribución i en el instante k y N es la función densidad de probabilidad gaussiana. 1 N (u; µ, Σ) = e 1 (2π) n 2 Σ 1 2 (u µ)t Σ 1 (u µ) 2 donde µ i,k y Σ i,k, son respectivamente la media y matriz de covarianza de la i-ésima distribución gaussiana en el instante k. Entonces, suponiendo ahora que se estaciona un nuevo objeto en la imagen, visiblemente diferente al que se estacionó anteriormente, se debe incorporar la nueva gaussiana al modelo, fijando sus parámetros µ p, Σ p, y asignándole un peso menor que al del resto de las funciones, el cuál se va incrementando en la medida que el objeto continúe ocupando el área del píxel p, al cabo de un tiempo t a, el peso de esta última gaussiana será mayor al resto, con lo cual pasa a tener la mayor influencia en la estadística del fondo de la imagen. En el trabajo de? [? ] se implementa un estimador de fondo mediante mezcla de gaussianas y se cubren todos los problemas listados al comienzo de esta sección. En este trabajo se considera que Σ i,k = σ 2 k I esto implica una independencia entre los valores de píxel de los canales y que todos ellos tienen la misma varianza, lo cual no es cierto para todas las aplicaciones 8 ; pero se simplifica bastante el problema, reduciendo el tiempo de cálculo a costa de una pérdida de precisión [? ]. Segundo, los pesos se actualizan de la siguiente manera ω i,k = (1 α) ω i,k 1 + α m i,k donde α es el taza de aprendizaje y m i,k = 1 para la gaussiana taza de aprendizaje 8 Para imágenes en un espacio de colores lineal como el RGB esta hipótesis es más valedera.

36 20 segmentación de imágenes de video cuya estadística mejor ajusta al valor del píxel leído en el instante actual k y m i,k = 0 para las restantes. Los parámetros del modelo en el instante k se estiman de la siguiente manera µ k = (1 ρ) µ k 1 + ρ v k σ 2 k = (1 ρ) σ2 k 1 + ρ (v k µ k ) T (v k µ k ) donde ρ = α N (v k ; µ k, σ k ) factor de aprendizaje se llama factor de aprendizaje. Se puede encontrar una buena justificación de estas ecuaciones en el trabajo de? [? ]. Este método de estimación de fondo es parametrizado, con lo cual el requerimiento de memoria es mucho menor al de histograma modificado, ya que sólo se necesita guardar y actualizar los parámetros µ y σ 2 de las gaussianas, en general se usan de tres a cinco gaussianas; a pesar de que los resultados de segmentación que se obtienen fijando correctamente α y ρ son inmejorables, el costo computacional todavía es alto, la complejidad del algoritmo también es un aspecto negativo de este método de estimación de fondo Estimación de Mediana Temporal Otro método de estimación de fondo que se estudió, se basa en un concepto muy simple para la estimación del fondo de la imagen que es una estimación recursiva en cada píxel, de un filtro temporal de mediana. Muchos trabajos sobre estimación de fondo, usan la mediana temporal 9 en cada píxel como valor representativo de un píxel de fondo, tomando una longitud determinada de buffer[? ], la mediana temporal es tal vez la medida estadística más utilizada para la estimación del fondo[? ], esto se justifica especialmente por la dinámica con la que cambia el fondo de la imagen, siendo necesario modelos multimodales para la caracterización estadística de los procesos de cada píxel. La mediana temporal se puede estimar recursivamente de la siguiente manera f k = f k 1 + sgn [v k f k 1 ] donde f k 1 es el valor de píxel de fondo en el instante anterior y v k es el valor de píxel leído en la imagen actual; una buena explicación sobre la convergencia de este estimador recursivo de 9 Para diferenciar el concepto del de filtro de mediana muy común en procesamiento de imágenes.

37 2.2 modelo de fondo 21 mediana se puede ver en el trabajo de? [? ]. La gran ventaja de este método de estimación de fondo es su bajo costo computacional que se sustenta en la simpleza del algoritmo de actualización del modelo de fondo; y si bien el desempeño en cuanto a los errores de segmentación es menor que para el método de mezcla de gaussianas, los resultados de la segmentación son en general muy buenos. El mayor problema de este método de segmentación tiene que ver con el tiempo de aprendizaje de las variaciones del fondo; la estimación del fondo y su respuesta a los cambios en las condiciones de la escena se puede analizar en términos de este tiempo de aprendizaje t a, que es el tiempo que tarda el estimador para aprender el fondo de la imagen bajo las nuevas condiciones; en general este tiempo puede controlarse, en el caso del método de mezcla de gaussianas, mediante la taza de aprendizaje α; pero para el estimador recursivo de mediana temporal, este tiempo depende de la diferencia v k f k 1 y no puede controlarse, esto genera serios inconvenientes, los cuales se tratarán a continuación, junto con la propuesta que se plantea para la solución de los mismos Método Propuesto Hay que destacar tres condiciones como las más exigentes para un algoritmo de estimación de fondo Variaciones repentinas de las condiciones de iluminación, Lentitud de los objetos en movimiento, Objetos en movimiento de grandes dimensiones. un aprendizaje instantáneo como el de frame differencing, podría resolver los problemas que generan las variaciones repentinas de iluminación, pero como ya se ha explicado, esta forma de segmentación provoca que las regiones interiores de los objetos en movimiento sean incorporadas al fondo de la imagen, generando grandes zonas de falsos negativos. Se puede decir en general que un aprendizaje rápido del fondo, genera errores de segmentación del tipo falsos negativos, situación que empeora cuando los objetos se mueven lentamente o son muy grandes en cuanto a las dimensiones. Para evitar que objetos que se mueven lentamente o son muy grandes provoquen que regiones de píxeles interiores sean incorporados al fondo, el tiempo de aprendizaje debe ser lento, pero en ese caso lo que provocaría enormes errores de segmentación serían las variaciones repentinas de la iluminación; entonces es necesario en primera instancia controlar el tiempo de aprendizaje, pero también es importante contar con la simpleza de un frame differencing o un estimador de mediana temporal para

38 22 segmentación de imágenes de video la estimación del fondo, de forma tal que el costo computacional sea aceptable. Lo que se propone en este trabajo de investigación es aplicar ambos enfoques de segmentación de manera conveniente; por empezar, si en cada instante la segmentación fuera perfecta, y se pudiera clasificar los píxeles como de fondo o de objeto en movimiento con absoluta precisión, entonces se podría hacer que aquellos píxeles de fondo se actualicen con el último valor, como en el caso de frame differencing y aquellos píxeles correspondientes a objetos en movimiento, no se actualicen. Pero dado que la segmentación nunca es perfecta, lo que se propone es: si el píxel se clasificó como de fondo, entonces se actualiza su valor rápidamente con un tiempo de aprendizaje chico y si el píxel se clasificó como de objeto en movimiento, entonces se actualiza lentamente su valor; esto último se puede hacer usando el estimador recursivo de mediana temporal; sin embargo para poder controlar el tiempo de aprendizaje, se introduce la siguiente modificación f k = f k 1 + α sgn [v k f k 1 ] donde 1 α σ 2 ; esto permite controlar algo el tiempo de aprendizaje; ya que con α = 1, que es el caso del estimador recursivo de mediana temporal, este depende sólo de v k f k 1. Con esta modificación ya no se puede asegurar la convergencia a la mediana temporal, pero si α es menor que la varianza de la estadística del píxel fondo de la imagen, los resultados en la estimación del fondo de la imagen son aceptables. En la Figura 2.5 se puede ver cómo se da la convergencia en un proceso de píxel, para un caso simple como lo es un escalón, que podría representar un automóvil estacionándose en la región del píxel. La segmentación de objetos en movimiento no es un tema que esté resuelto definitivamente; el enfoque a emplear depende mucho de la aplicación, es por eso que es objeto de investigación constante y que cada trabajo sobre seguimiento vehicular, se basa en una idea de segmentación diferente. En la Sección 6.1 se presenta el algoritmo propuesto para la estimación de fondo en pseudocódigo con algún detalle más de implementación.

39 2.2 modelo de fondo Figura 2.5: Tiempo de aprendizaje: (a) Método de estimación recursiva de mediana temporal. (b) Método propuesto.

40

41 S E G U I M I E N T O D E V E HÍCULOS DETECTADOS 3 En este capítulo se abordará formalmente el tema central de esta tesis que es el seguimiento de objetos en movimientos en una secuencia de imágenes de video; en otros términos, se busca determinar con cierta precisión, en cada frame del video, la posición de un objeto que se está moviendo en la escena. Considerando que las mediciones son ruidosas debido a los errores en la segmentación, lo cuál ya se ha discutido, resulta conveniente filtrar el ruido de medición con información a priori de la dinámica de movimiento de los objetos, concepto fundamental para la teoría del filtro de Kalman. Hay varios enfoques para abordar el problema del seguimiento de objetos (para el caso, vehículos) en imágenes de video, cada uno con sus ventajas y desventajas y por lo tanto, aplicables en situaciones diferentes; estos son 1 : 1. Seguimiento mediante modelado 2. Seguimiento de componentes conectados (region-based) 3. Seguimiento de elementos característicos (feature-based) 4. Seguimiento basado en contornos activos El seguimiento mediante modelado usa modelos tridimensionales de los vehículos para estimar la posición ajustando el modelo sintético que resulta de aplicar una serie de transformaciones a los puntos característicos de la imagen [? ][? ][? ]. La selección de los modelos es manual y el costo computacional es grande; en aplicaciones donde la robustez es más importante que la eficiencia computacional esta técnica de seguimiento puede ser conveniente, pero no es justamente el caso de este trabajo. En el seguimiento de componentes conectados se realiza siempre lo que se llama una extracción de blobs (componentes conectados) 2, para luego determinar de alguna manera la correspondencia de los mismos con los vehículos que efectivamente hay que seguir [? ][? ]; se pueden dar dos situaciones: que un vehículo tenga asociado más de un blob, debido a errores en la segmentación (falsos negativos); o que dos o más vehículos se correspondan con un sólo blob, esto último puede ser producto componentes conectados 1 Esta clasificación de enfoques o técnicas de seguimiento es la que aparece en la mayoría de los trabajos al respecto. 2 Dada la generalidad del término elemento característico, el seguimiento de componentes conectados bien podría considerarse una caso particular del seguimiento de elementos característicos. 25

42 26 seguimiento de vehículos detectados tanto de la oclusión vehicular, como también de otros factores, como sombras proyectadas u otros errores de segmentación (falso positivo). Siguiendo esta línea de investigación, se había considerado al principio, aplicar filtrado de Kalman en el seguimiento de un punto, como podría ser el centroide de los blobs extraídos; la ecuación de estado estaría dada en este caso por las ecuaciones cinemáticas de posición, velocidad y aceleración en el plano; sin embargo el principal problema que se advierte en este enfoque de seguimiento, es que a medida que aumenta el tráfico monitoreado, cae el desempeño de los algoritmos debido a que aumentan los casos de fusión de blobs, sea por oclusión[? ] o por cualquier otro factor; y si consideramos que las imágenes con las que se va a trabajar se obtienen de cámaras instaladas a una altura menor que la recomendada, el problema se potenciaría. En el seguimiento de elementos característicos se detectan en las imágenes de video, elementos que permiten distinguir cada vehículo a seguir, como por ejemplo vértices de bordes angulares, lineas de campo de movimiento, etc 3 ; estimando la posición de los vehículos detectados, luego de extraer de la imagen estos elementos y agruparlos según el vehículo que corresponda [? ][? ][? ][? ]; este enfoque solucionaría la mayoría de los problemas de oclusión que se pueden tener en este trabajo de investigación, pero este enfoque se considera de alto costo computacional[? ] y muchas veces no alcanzan la cantidad de elementos característicos confiables como para identificar un vehículo. Es fundamental para este trabajo de investigación que el costo computacional sea bajo; en este sentido, las técnicas de seguimiento de componentes conectados y las de contornos activos son las más convenientes. El seguimiento basado en contornos activos, busca modelar el contorno del vehículo detectado, con una curva parametrizada, que define la posición, tamaño e incluso la forma del mismo; luego, en el marco teórico del filtro de Kalman, se estiman los parámetros de la curva durante todo el proceso de seguimiento; para esto, es necesario describir con un modelo dinámico, la evolución que a priori uno espera, en la posición, tamaño y orientación del contorno del vehículo a seguir; usando esta información a priori y los puntos característicos extraídos de la imagen actual de la secuencia (puntos que son muestras ruidosas del borde del vehículo), mediante el filtro de Kalman se pueden estimar los parámetros que mejor describen el contorno actual del vehículo[? ]. Este enfoque de seguimiento es tal vez el de menor costo computacional, ya que hay una serie de técnicas para reducir al mínimo el tiempo de cálculo[? ]; pero el desafío está en la determinación de la curva que modela el contorno inicial 3 Como se vió en la introducción al Capítulo 2 que trata la segmentación, en procesamiento de imágenes, el concepto de elementos característicos (features) es muy general.

43 3.1 modelo de contornos con splines 27 del vehículo (al momento de la detección) [? ][? ], y en el diseño de un modelo dinámico adecuado para describir el comportamiento del contorno durante el proceso de seguimiento. Toda esta información a priori permite filtrar el ruido presente en los puntos característicos que resultan de la extracción en la imagen actual. Hasta el momento, se han desarrollado varios trabajos de seguimiento vehicular basados en contornos activos[? ][? ][? ][? ], ya se ha indicado en la introducción general del Capítulo 1 los inconvenientes de cada una de las ideas expuestas en estos trabajos, si se las quiere aplicar directamente en el sistema de seguimiento que se necesita implementar, con los particulares problemas a resolver. En todo este capítulo se desarrollará con mayores detalles los conceptos principales de este enfoque de seguimiento, aquellos que aplican a este trabajo de investigación según las condiciones de trabajo que se han presentado en la introducción general; pero se puede encontrar un desarrollo amplio de la teoría de contornos activos en Active Contours de? [? ]. 3.1 modelo de contornos con splines En computación gráfica se usa mucho modelar los contornos con splines; una spline es una curva paramétrica formada por piezas de funciones polinómicas (spans) de orden k 4. spline Definición 1 (? [? ]). Considere la siguiente secuencia estrictamente creciente en R {ξ i } i=1,2,,l+1, a cada uno de estos puntos se los llama quiebres (breakpoints); y considere la secuencia de polinomios de orden k quiebres {P i } i=1,2,,l. Se llama función polinómica por partes de orden k, o spline de orden k, a la función f : R R que satisface f(s) P i (s) ξ i s < ξ i+1 i = 1, 2,, L. Un contorno cualquiera puede aproximarse mediante splines; se puede modelar formas simples con unos pocos spans de orden tres 5 (spline cuadrática), que es lo que se implementa en este trabajo de investigación; al tratarse de funciones paramétricas polinómicas, es muy conveniente tanto el cálculo de ajustes de 4 Esto quiere decir que el grado de los polinomios es menor a k. 5 Se pueden usar también splines cúbicas de grados mayores ya no es conveniente.

44 28 seguimiento de vehículos detectados curva como el almacenamiento en memoria de las formas modeladas. Pero el factor más importante al elegir las splines como herramienta para representar contornos, es que esto se puede hacer de manera simple, mediante una base de funciones. Definición 2 (? [? ]). Dada una función polinómica g : R R de orden k > 0 definida por (t s) k 1 t s g(t) = g(t; s, k) 0 t < s y sea una secuencia no decreciente 6 en R {τ i } i=1,2,,n+k nudos diferencias divididas a cada uno de estos puntos se los llama nudos (knots). Se define la familia de diferencias divididas (θ i ) de g de la siguiente manera θ 0 {g(τ i ) : i = 1, 2,, n} θ 1 {g 1 (τ i ) : i = 1, 2,, n 1}. θ k {g k (τ i ) : i = 1, 2,, n k} donde g j 1 (τ i+1 ) g j 1 (τ i ) τ g j (τ i ) i+1 τ i si τ i τ i+1 g (j) (τ i ) si τ i = τ i+1 con j = 1, 2,, k Definición 3. Dada la secuencia no decreciente de nudos, se define la i-ésima función B-spline normalizada de orden k como B i,k (s) (τ i+k τ i ) g k (τ i ) i = 1, 2,, n Varias propiedades se pueden inferir a partir de estas definiciones (ver? [? ]); a continuación, algunas de las más importantes Propiedades. : B i,k (s) es una función polinómica por partes en: { τj } j=i,i+1,,i+k B i,k (s) = 0 s [τ i ; τ i+k ] B i,k (s) > 0 s [τ i ; τ i+k ] 6 Notar que esto es distinto que decir estrictamente creciente, con lo cual se permite que un determinado valor sea igual a su predecesor.

45 3.1 modelo de contornos con splines 29 n B i,k (s) = 1 s [τ k ; τ n+1 ] j=1 Se puede demostrar que el conjunto de todas las funciones polinómicas de orden k definidas en la secuencias de quiebres {ξ i } i=1,2,,l+1, es un espacio vectorial de dimensión k L (ver? [? ]) y se denota como P k,{ξi }; la Definición 1 es muy genérica, generalmente se pide condiciones de continuidad, derivabilidad, etc. que restringen el espacio P k,{ξi }. Considere la secuencia de enteros no negativos {ν i } i=1,2,,l+1 donde ν i k; el conjunto de funciones polinómicas por partes de orden k en la secuencia de quiebres {ξ i } i=1,2,,l+1 siendo ν i la primera derivada discontinua en ξ i se escribe como { } P k,{ξi },{ν i } f P k,{ξi } : jump ξi D (j) f = 0; j = 1, 2,..., ν i 1 donde jump α f f(α + α ) Puede demostrarse que P k,{ξi } es un subespacio vectorial de P k,{ξi },{ν i } de dimensión n k L L i=2 ν i (ver? [? ]) Teorema 1 (? [? ]). dada una secuencia de números reales estrictamente creciente (quiebres) {ξ i } i=1,2,,l+1, un secuencia de enteros no negativos {ν i } i=1,2,,l+1 con ν 1 = ν L+1 = 0 y ν i < k i; y considere la secuencia de números reales (nudos) {τ i } i=1,2,,n+k que satisfacen τ 1 τ 2 τ k ξ 1, τ 1+ j 1 r=1 k ν r = = τ j r=1 k ν r = ξ j, j = 2, 3,, L ξ L+1 τ n+1 τ n+k La secuencia de funciones B-splines de orden k {B i,k } i=1,2,,n definidas en la secuencia de nudos {τ i } i=1,2,,l+1 de acuerdo a la Definición 2 y 3, es una base del subespacio P k,{ξi },{ν i }, de forma tal que cualquier spline perteneciente al este subespacio se puede expresar como f(s) = n q i B i,k (s) (3.1) i=1 donde s es el parámetro de la spline con s [τ k ; τ n+1 ] La expresión 3.1 se puede escribir también como producto matricial de la siguiente manera: f(s) = B(s) T q

46 30 seguimiento de vehículos detectados donde B(s) es un vector de B-Splines. Hasta el momento se ha tratado este tema de la forma más general; ahora si consideramos los requerimientos de este trabajo de investigación, se puede empezar a describir concretamente, la base de funciones B-splines con la cual se trabajará para modelar los contornos. Propiedades (? [? ]). Si los nudos de la secuencia {τ i } i=1,2,,n+k son equidistantes, se dice que la base de B-splines es uniforme; y cuando ocurre esto, se cumple B j,k (s) = B k (s τ j ) j = 1, 2,, n Considerando esta última propiedad, se puede generar la base de B-splines a partir de una de las funciones de la misma, por ejemplo B 1 (s); se hace necesario entonces definir esta función que, como se indica en la propiedad 3.1, es una spline, y como tal, debe estar definida según los coeficientes de cada una de las funciones polinómicas que conforman la misma; en este trabajo se usarán polinomios de grado tres, 7 con lo cual podremos pensar en una función generadora B 1 (s) como la siguiente B 1 (s) = s s < ( s 3 2 2) 1 s < 2 (s 3) s < s < 4 observar continuidad y derivabilidad en los knots. Considérese además una secuencias uniforme de knots con espaciado unitario, tal que donde τ i < τ i+1 i = 1, 2,, n + k 1 τ i+1 = τ i + 1 i = 1, 2,, n + k 1 con τ 1 = 0, entonces n = L + k 1 0 s < L donde L es el rango del parámetro s [? ] Lo que se acaba de explicar para el caso de curvas paramétricas simples se puede extender para el caso de curvas paramétricas en el plano; sean las funciones x(s) : R R y(s) : R R 7 Splines cuadráticas.

47 3.1 modelo de contornos con splines 31 tal que y(s), x(s) P k,{ξi },{ν i }, y sea la función vectorial r(s) : R R 2 donde ( ) x(s) r(s) = ; (3.2) y(s) entonces r(s) pertenece al espacio producto cartesiano P k,{ξi },{ν i } P k,{ξi },{ν i } = P 2 k,{ξ i },{ν i } que es un espacio vectorial de dimensión 2 n. A partir de ahora se hará referencia a este espacio como el espacio de splines y se denotará como S. La Ecuación 3.2 se puede expresar como n q xi B k,i (s) r(s) = i=1 n q yi B k,i (s) ; i=1 y esto último se puede expresar en forma matricial de la siguiente manera espacio de splines r(s) = U(s) Q (3.3) donde Q es lo que se llama vector de control y la matriz U(s) queda definida por la base de funciones B-Splines como ( ) B(s) T 0 U(s) =. 0 B(s) T Las componentes del vector Q son los vértices de lo que se llama polígono de control; supongamos ocho puntos de control, entonces vector de control polígono de control Q = ( q x q y ) = q x0 q x1. q x7 q y0 q y1. (3.4) q y7 donde q i = (q xi, q yi ) es el i-ésimo vértice.

48 32 seguimiento de vehículos detectados (a) Spline en R. (b) Spline en R 2. Figura 3.1: Puntos de control en splines. Propiedades (? [? ]). La curva se encuentra dentro de la envolvente convexa de su polígono de control. En otras palabras, Q define la forma de la curva; siendo que la misma se encausa según la disposición espacial de los vértices, como se muestra en la Figura 3.1; Podemos observar que la Ecuación 3.3 representa un isomorfismo L : R 2 n S, donde Q R 2 n y r(s) S; considerando la norma L 2 para funciones como la más conveniente para evaluar los errores en las estimaciones de las curvas de contorno, esta induce una norma en el espacio R 2 n cuya expresión puede obtenerse fácilmente de la siguiente manera Q 2 = 1 L L r(s) 2 ds = 1 L s=0 L r T (s) r(s) ds s=0 teniendo en cuenta la Ecuación 3.3 Q 2 = 1 L L Q T U T (s) U(s) Q ds s=0 lo cual se puede llevar a lo siguiente ( ) Q 2 = Q T 1 L L U T (s) U(s) ds Q s=0 se define entonces lo que se llama matriz métrica U U 1 L L U T (s) U(s) ds (3.5) s=0 los valores de esta última matriz se pueden calcular una vez definida la base de splines que se va a usar para la representación de contornos; finalmente la norma en el espacio de trabajo R 2 n, donde Q es un vector perteneciente a ese espacio, queda Q 2 = Q T U Q (3.6) La implementación de la base B-Spline que se va a usar para la representación de los contornos vehiculares, se basa en el trabajo en OpenCV de? [? ]; pero más allá de los detalles que puedan llegar a interesar respecto de la implementación, es importante

49 3.2 espacio de forma 33 destacar en esta sección la relación que existe entre el vector Q y el vector de estado x del filtro de Kalman, específicamente T : R dim[x] R dim[q], T es una transformación 8 que entre otras propiedades cumple: dim[q] < dim[x]; con lo cual el filtro de Kalman es más liviano, por decirlo de alguna manera. En otras palabras el estado es un espacio incluido en R 2 n. En las secciones subsiguientes se buscará definir de manera precisa esta transformación. 3.2 espacio de forma Como ya se ha indicado en la introducción de este capítulo, realizar el seguimiento vehicular mediante la información del contorno de los mismos es conveniente, dado que la forma de los vehículos a seguir se mantiene durante todo el proceso de seguimiento, es decir, prácticamente no hay deformaciones en el contorno de los vehículos durante este proceso. Tener en cuenta esta información a priori, puede aportar robustez en la estimación del filtro de Kalman. Lo que se hace para considerar la invariancia temporal en la forma de los vehículos detectados, es definir un espacio llamado espacio de forma Definición 4. Sea una curva de referencia (template) espacio de forma template r 0 (s) = U(s) Q 0, donde Q 0 es el vector de control de referencia (template) 9, que se define al momento de la detección del vehículo. Generalmente se considera un r 0 (s) con centroide en el origen, lo cual es conveniente por motivos que más adelante se explicarán. Se llama genéricamente espacio de forma, al conjunto S F;Q0 S formado por todas las deformaciones y movimientos posibles del template r 0 (s); dadas las características de este trabajo de investigación, es suficiente considerar traslaciones, escalamientos o rotaciones del template en el espacio geométrico; esto incluye la combinación de los mismos; se puede expresar esta idea formalmente de la siguiente manera S F;Q0 = S T ;Q0 S E;Q0 S R;Q0 donde S T ;Q0, S E;Q0 y S R;Q0 son espacios correspondientes a traslaciones, escalamientos y rotaciones del template. 8 Si bien T es una función lineal del vector de estado, no es estrictamente una transformación lineal. 9 Se hará referencia como template, tanto a la curva de referencia como a su vector de control.

50 34 seguimiento de vehículos detectados El espacio de forma definido de esta manera se puede expresar mediante un mapeo lineal L : R m S F;Q0, con L = L U L W ; donde L U : R 2 n S es la aplicación definida por la Ecuación 3.3 y L W : R m R 2 n es la definida por Q = W X + Q 0 ; (3.7) donde m = dim[x] y 2 n = dim[q]. Si se considera el caso simple de traslaciones, escalamientos y rotaciones en el plano, la matriz W se puede expresar ( ) 1 0 q W = x0 q y0 (3.8) 0 1 q y0 q x0 espacio de similitudes euclídeas con lo cual L : R 4 S F;Q0. El espacio de forma así generado se le denomina espacio de similitudes euclídeas Teorema 2. El espacio de similitudes euclídeas S F;Q0, es un subespacio vectorial del espacio de splines S Demostración. sean dos curvas r 1 (s), r 2 (s) S F;Q0, de forma tal que r i (s) = U(s) Q i ; si se plantea la suma de estas dos curvas resulta r 1 (s) + r 2 (s) = U(s) (Q 1 + Q 2 ) = U(s) (W X 1 + Q 0 + W X 2 + Q 0 ) = U(s) (W (X 1 + X 2 ) + 2 Q 0 ). Se puede observar que traslaciones, escalamientos y rotaciones de r 0 = U(s) Q 0 en el plano, son traslaciones, escalamientos y rotaciones de r 0 en el mismo plano, donde Q 0 = 2 Q 0, lo que implica un escalamiento al doble de tamaño de la curva de referencia r 0. Por ejemplo, se puede verificar fácilmente a partir de la Ecuación 3.8 que 2 Q 0 = W δ x [n 2] + Q 0 donde δ x [n 2] = entonces r 1 (s) + r 2 (s) S F;Q0.

51 3.2 espacio de forma 35 Por otra parte, la curva α r 1 (s), donde r 1 (s) S F;Q0 se puede expresar como α r 1 (s) = α U(s) (W X 1 + Q 0 ) = U(s) (W α X 1 + α Q 0 ) esto es una traslación, escalamiento o rotación según α X 1 de α Q 0, que es un escalamiento del template Q 0 ; por lo tanto α r 1 (s) S F;Q0, con lo cual queda demostrado el teorema Es claro que cada una de las componentes del vector de forma X R 4 están directamente relacionadas, según corresponda, con la traslación, escalamiento y rotación en el plano del template r 0 (s); considérese a X b c d vector de forma entonces la Ecuación 3.7 para el espacio de similitudes euclídeas, puede expresarse como a ( ) ( ) 1 0 q Q = x0 q y0 b 0 1 q y0 q x0 c + q x0 = ( a + (c + 1) q x0 d q y0 b + (c + 1) q y0 + d q x0 d ) q y0 = ( a b ) + ( q x0 q y0 q y0 q x0 ) ( c + 1 d ) (3.9) el primer término está relacionado con las traslaciones, y el segundo con los escalamientos y rotaciones; entonces las variables a y b están relacionadas sólo con las traslaciones (suponiendo siempre que el template tiene su centroide en el origen de coordenadas); se puede expresar entonces L = L T (a, b) L ER (c, d) = L ER (c, d) L T (a, b) incluso las variables a y b pueden separarse, una se corresponde con las traslaciones en el eje horizontal, y la otra en el vertical respectivamente. Esta separación de variables ya no es posible entre c y d, ya que las rotaciones en el plano son necesariamente transformaciones L R : R 2 R 2 Es más adecuado en lo que respecta a este trabajo de seguimiento vehicular, extender la idea que se acaba de presentar con

52 36 seguimiento de vehículos detectados el espacio de similitudes euclídeas, y permitir movimientos en las tres dimensiones, es decir, se necesita un espacio de forma que incluya los contornos planares de objetos moviéndose en las tres dimensiones; esto es posible definiendo la matriz W de la siguiente manera ( ) 1 0 q W = x0 0 0 q y0 (3.10) q y0 q x0 0 Con esta definición del espacio de forma, el grado de libertad de los contornos vehiculares es seis, con lo cual L W : R 6 R 16 ; no hay que olvidar que los vectores 1, 0, q x0 y q y0 son de dimensión ocho para la aplicación que se presenta en este trabajo de investigación, ya que son ocho los puntos de control que determinan la forma de los vehículos en movimiento. Todas las propiedades que se presentaron para el espacio de similitudes euclídeas, son también válidas en este espacio de forma que se va usar para el seguimiento; específicamente este espacio de forma es también un subespacio vectorial del espacio de splines S; también se puede ver fácilmente que L = L T (a, b) L ER (c, d, e, f) = L ER (c, d, e, f) L T (a, b) donde L ER (c, d, e, f) incluye rotaciones en el espacio geométrico y escalamientos independientes en las dos dimensiones de la imagen, esto se puede ver gráficamente en la Figura 3.2. Este espacio de forma incluye al espacio de similitudes euclídeas, esto se puede observar también el la Figura 3.2, ya que están incluidas las rotaciones en el plano y escalamientos de tamaño del template. Considérese por ejemplo la rotación del template en un ángulo θ 0 0 Q = W cos θ 1 + Q 0 cos θ 1 sin θ sin θ a partir de la definición de la matriz de transformación W dada por Ecuación 3.10, y teniendo en cuenta la forma en que se arma el vector de control dada por Ecuación 3.4 se tiene ( ) ( ) (cos θ 1) q Q = x0 + sin θ q y0 q + x0 (cos θ 1) q y0 sin θ q x0 q y0 a partir de esta última se puede obtener ( ) ( cos θ q Q = x0 + sin θ q y0 cos θ = cos θ q y0 sin θ q x0 sin θ sin θ cos θ ) ( q x0 q y0 ) que es precisamente una transformación de rotación de todos los puntos del vector de control en un ángulo θ

53 3.2 espacio de forma 37 (a) Desplazamiento del template en dirección horizontal y vertical. (b) Escalamiento en tamaño (c) Rotación en el espacio con el eje en el plano a 45º. (d) Escalamiento en ancho. (e) Rotación del template en el plano. (f) Idem (c), con eje vertical. Figura 3.2: Distintas posibilidades de curvas pertenecientes al espacio de forma empleado en este trabajo de investigación. En línea punteada está la curva template. Es necesario obtener la norma inducida en el espacio R 6 del vector de forma X, que es con la que realmente se va a trabajar. Conociendo la norma inducida en el espacio R 16 del vector de control Q, expresada en la Ecuación 3.6, se puede establecer la siguiente condición Q 1 Q 2 = X 1 X 2 = (Q 1 Q 2 ) T U (Q 1 Q 2 ) si se tiene en cuenta la definición del espacio de forma dada por Ecuación 3.7 se puede escribir Q 1 Q 2 = (W (X 1 X 2 )) T U W (X 1 X 2 )

54 38 seguimiento de vehículos detectados entonces Q 1 Q 2 = (X 1 X 2 ) T H (X 1 X 2 ) = X 1 X 2 donde H es la matriz de forma dada por H = W T U W (3.11) entonces la norma en el espacio de forma, donde X representa un elemento del mismo está dada por X = X T H X (3.12) Se puede interpretar esta norma como X Q Q 0 (3.13) hay que remarcar que esta norma es la adecuada para medir los errores en las estimaciones de los contornos de los vehículos en proceso de seguimiento; la norma euclídea del vector X R 6 no tiene una interpretación que exprese las diferencias geométricas entre curvas en una imagen, por eso no se trabaja con esta norma a la hora de plantear y resolver los problemas de estimación. Considérese ahora algún subespacio del espacio de forma S F,Q0, e. g. el espacio de similitudes euclídeas o el de traslaciones, definido este último por las dos primeras columnas de la matriz W dada por la Ecuación 3.10, o sea por ejemplo cualquier división del espacio de forma definida de la siguiente manera [ ] W = W W ; muchas veces se necesita proyectar un vector X del espacio de forma en uno de estos subespacios. El producto W W es una matriz de proyección de vectores 10 Q R 16 en el espacio de las columnas de W. Se puede demostrar que la matriz dada por la Ecuación 3.14 es una matriz de proyección de vectores de forma X R 6 en el espacio de columnas de W además E = W W W W (3.14) E = I E (3.15) espacio complemento es la matriz de proyección en el subespacio que es el complemento ortogonal del subespacio definido por las columnas de W y llamado espacio complemento. Es importante destacar que el trabajo central de esta tesis, es estimar el vector de forma X en cada imagen de la secuencia de video, usando el filtro de Kalman; X no es exactamente el 10 El primado se debe a que este vector no es exactamente un vector de control.

55 3.3 modelo dinámico 39 vector de estado del filtro, como veremos en la Sección 3.3, pero es lo que se necesita estimar efectivamente para determinar los parámetros de tráfico; como ya se explicó, este vector representa traslaciones, escalamientos y rotaciones en el espacio geométrico del template Q 0 y por lo tanto, es representativo de la posición en la imagen del vehículo detectado y en proceso de seguimiento. Se puede decir finalmente que el estado de seguimiento de un vehículo en movimiento es la cantidad de desplazamiento, rotación y escalamiento respecto de su condición y forma inicial determinada al momento de la detección; definiendo un espacio de forma S F,Q0, se restringe los posibles contornos a medir y seguir, permitiendo filtrar ruidos de medición y de proceso, mejorando finalmente la estimación del estado de seguimiento. 3.3 modelo dinámico En la introducción a este capítulo se había sugerido que para filtrar el ruido de medición y tener mejores estimaciones del estado de un objeto en movimiento, era necesario disponer de un modelo de la dinámica del mismo, para luego realizar lo que se llama una fusión de información usando los datos de la medición y la información a priori que nos da esta dinámica. Para el caso particular del movimiento vehicular en una escena de tráfico, los objetos siguen una clara regla de movimiento; por empezar las trayectorias son en general lineas rectas, a lo sumo si un vehículo cambia de carril se podrá observar una curva en un tramo de su trayectoria, pero no es posible un movimiento zigzagueante; se necesita entonces encontrar un modelo que describa lo mejor posible el movimiento de los vehículos. Se necesita conocer el vector de forma X k en t = t k y de manera genérica se puede establecer un modelo argumentando que el vector de forma en un determinado instante depende de los vectores de forma en los instantes anteriores; esto se puede expresar en la siguiente ecuación X k = f(x k 1, X k 2,, X k N, ξ k ) donde ξ k representa la incertidumbre o desconocimiento del modelo, a ξ k se le llama ruido de proceso. Lo mismo se puede expresar en forma probabilística, diciendo que se necesita conocer la función distribución de probabilidad p(x k X k 1, X k 2,, X k N ). Considérese dos primeras simplificaciones: suponiendo que el vector de forma actual sólo depende del anterior y no hay correlación con los demás vectores de forma; ruido de proceso o también p(x k X k 1, X k 2,, X k N ) = p(x k X k 1 ) X k = f(x k 1, ξ k )

56 40 seguimiento de vehículos detectados cadena de Markov esto es lo que se llama una cadena de Markov y aunque la simplificación del problema es en realidad mayor de la necesaria como luego se verá, muchos modelos se pueden llevar a una forma equivalente redefiniendo el vector de estado, que ya no será más el vector de forma. La segunda simplificación es considerar la ruido de proceso como aditivo, entonces X k = f(x k 1 ) + ξ k Considérese ahora una linealización de la función f(x k 1 ), algo que simplificará notablemente el modelo dinámico y permitirá implementar un sistema de seguimiento con un costo computacional dentro de lo que se requiere; el modelo se puede expresar X k = A k X k 1 + X + ξ k (3.16) o también de manera equivalente ( ) X k ˇX = A k X k 1 ˇX + ξ k donde X = (A k I) ˇX; a su vez esta última ecuación se la puede ver como X k = A k X k 1 + ξ k Camino aleatorio con deriva modelo lineal de segundo orden Estas últimas expresiones lineales de orden uno describen un conjunto importante de casos de movimiento; por ejemplo, si en la Ecuación 3.16 se considera que A k = A = I, se define un camino aleatorio con deriva, este proceso estocástico podría ser utilizado para modelar por ejemplo movimientos traslacionales de un cuerpo puntual en el plano o en el espacio, donde la deriva X es el desplazamiento esperado en cada paso de tiempo. Si bien los modelos lineales de primer orden pueden describir una serie de fenómenos físicos de movimiento (por ejemplo el movimiento browniano), los movimientos de cuerpos masivos como los vehículos quedan fuera de su alcance. Generalmente si hay un cambio de velocidad en el movimiento de un vehículo, es muy lento; pero hay maniobras como el cambio de carril, que implica un cambio abrupto en las componentes de velocidad; esta situación no es cubierta por modelos de orden uno. Además de los inconvenientes que se han indicado recién, hay una razón física por la cuál es necesario modelos de orden mayor; considere una extensión de segundo orden al modelo lineal de primer orden expresado en la Ecuación 3.16 y suponiendo además que el término de ruido se puede escribir como ξ k = B 0 ν k donde ν k N(0, 1), tomaremos por el momento esta simplificación que servirá para explicar algunos conceptos importantes. Entonces el modelo dinámico queda X k = A 1 X k 1 + A 2 X k 2 + B 0 ν k + X (3.17)

57 3.3 modelo dinámico 41 La energía del movimiento se puede calcular a partir del espectro de potencia del proceso estocástico y debe ser finita; resulta que esto no es verdad para el proceso dado por la Ecuación 3.16, pero sí lo es para el caso del modelo de segundo orden 11, para más detalles sobre este último concepto ver? [? ]. La Ecuación 3.17 representa un proceso AR de segundo orden, donde ν k es un vector de ruido de proceso cuyas componentes son independientes e idénticamente distribuidas y que en principio podrían considerarse gaussianas de media cero; el vector X es el sesgo del modelo. La Ecuación 3.17 se puede expresar de manera equivalente a la Ecuación 3.16 redefiniendo el vector de estado ( ) ( ) X x k = k 1 X x = (3.18) X X k con lo cual el modelo se puede expresar como x k = A x k 1 + x + B ν k (3.19) donde A = ( 0 I A 2 A 1 ) B = ( 0 B 0 ) (3.20) En contraposición con la simpleza del modelo de segundo orden propuesto, está el desafío de determinar los valores de las matrices del mismo. En principio lo mejor que se podría hacer es realizar un aprendizaje a partir de muestras tomadas de manera off-line, aún cuando el procedimiento no sería el más conveniente, se obtendrían los parámetros del modelo que mejor se ajustan a los casos de movimiento observados en las imágenes 12. Es decir, considere un vehículo en movimiento durante un lapso de tiempo en el cuál se tomaran medidas precisas del estado del vehículo, midiendo en la imagen el vector de control en cada instante, en cada frame Q i con i = 1, 0, 1, 2,, M con estos vectores de control se pueden obtener los vectores de forma X i correspondientes aplicando X i = W (Q i Q 0 ) (3.21) Con estos datos se puede aplicar por ejemplo Maximum Likelihood Estimation (MLE) para obtener los valores de A 1, A 2, B 0 y X que mejor se ajustan a los datos medidos. En el libro de? [? ] hay un algoritmo basado en MLE para obtener los parámetros del maximum likelihood 11 Para ordenes mayores también se cumple la condición de energía finita, pero se busca el modelo más simple. 12 Aprendizaje supervisado.

58 42 seguimiento de vehículos detectados modelo sintético modelo de segundo orden; también se sugiere tomar distintos casos de movimiento: distintos vehículos en movimiento, como si fueran particulares realizaciones del mismo proceso que se quiere estudiar. Cada caso arrojará un resultado en los parámetros del modelo, luego se sugiere aplicar alguna operación lineal con estos distintos valores para obtener el resultado definitivo de A 1, A 2, B 0 y X. En este trabajo de investigación se ha estudiado el tema; se tomaron muestras de distintos casos de movimiento: siete casos en total; se usó el algoritmo basado en MLE, pero no se puedo obtener un valor de A 1, A 2 y X que pueda describir el movimiento de todos los casos 13. Lo que en realidad? sugieren es aplicar un modelo sintético 14 para generar las muestras que luego se usarán en el aprendizaje; pero como luego se verá, el modelo sintético que se ha usado, es ya un buen modelo para los casos de movimiento observados; con lo cual se decidió trasladar el estudio del problema de seguimiento al término de ruido de proceso, que ya no será considerado como gaussiano sino como algo más general; entonces el modelo que se va a usar es en su expresión más general X k = A 1 X k 1 + A 2 X k 2 + X + ξ k (3.22) Entonces es necesario ahora definir un modelo sintético que sí pueda describir todos los casos de movimiento en una escena de tráfico vehicular. Buscando siempre la simplicidad, la primera idea que surge es considerar que el cambio en el vector de forma en el instante actual es similar al cambio en el instante anterior; es decir entonces k k 1 X k X k 1 X k 1 X k 2 X k 2 X k 1 X k 2 (3.23) con lo cual se está suponiendo que no hay sesgo en el modelo X = 0 y que las matrices de transición se pueden escribir como A = 2 I y B = I. Pensando en el espacio de traslaciones S T;Q0, entonces esta aproximación implica velocidad constante, lo cual puede ser cierto para las traslaciones y escalamientos; para las rotaciones se puede simplificar aún más el modelo dado que la rotación de los vehículos en movimiento ocurre sólo eventualmente por ejemplo, en una maniobra de cambio de carril. ρ k ρ k 1 (3.24) 13 Describir implica poder predecir con cierta precisión, el estado del vehículo dado un estado anterior. 14 Modelo basado en algunas consideraciones simplistas.

59 3.3 modelo dinámico 43 donde ρ k es la proyección del vector de forma en el espacio de las rotaciones S R;Q0. Lo que se hace en general es aplicar a cada subespacio el modelo dinámico más conveniente mediante las matrices de proyección dadas en las ecuaciones 3.14 y En este trabajo de investigación se aplican dos modelos dinámicos dividiendo el espacio de forma en: un subespacio correspondiente a movimientos de traslaciones/escalamientos y otro subespacio correspondiente al resto de los movimientos, llámese movimientos ortogonales 15. La Ecuación 3.25 expresa de qué manera se aplican modelos dinámicos diferentes a los distintos subespacios, a i corresponde al modelo dinámico aplicado al subespacio de traslaciones y escalamientos y a i corresponde al modelo aplicado al espacio ortogonal A 1 = a 1 E + a 1 E A 2 = a 2 E + a 2 E (3.25) En la subfigura 3.3c se puede observar como se comporta el modelo dinámico planteado en las ecuaciones 3.23 y 3.24 para el caso de un vehículo del cual se conoce casi a la perfección el estado inicial (ver 3.3a y 3.3b); también se puede observar la evolución en las componentes de traslación y escalamiento. Luego en la Sección 7.1 se podrán observar los resultados obtenidos al aplicar el modelo dinámico que se ha elegido para realizar las predicciones. Si se desea diseñar un modelo dinámico sintético algo más general, se puede usar la correspondencia que hay entre el campo discreto y el continuo [? ]; i. e. si la ecuación en diferencias 3.19 se puede asociar a la siguiente ecuación diferencial en tiempo continuo Ẋ (t) = F (X (t) X ) + G ξ(t) (3.26) donde X (t) = ( X(t) Ẋ(t) ) y X está relacionado con el sesgo del modelo.la idea es pensar en el problema de la determinación de los parámetros del modelo en el tiempo continuo y luego pasar los resultados que se obtengan al tiempo discreto. Para entender como determinar las matrices del modelo, considere el caso unidimensional del proceso AR de segundo orden que por ejemplo podría ser la componente traslacional en la dirección vertical del movimiento y por simplicidad asuma que no hay sesgo: X k = a 1 X k 1 + a 2 X k 2 + b 0 ξ (3.27) 15 No se puede hablar de movimientos rotacionales directamente, dado que el subespacio de rotaciones y el de escalamientos no son separables como se vio en la Sección 3.2.

60 44 seguimiento de vehículos detectados (a) Curva spline pre-incial t = t 1 (b) Curva spline incial t = t 0 (c) Predicciones Figura 3.3: Predicciones del modelo dinámico propuesto entonces A = ( 0 1 a 2 a 1 ) (3.28) Hay una correspondencia discreto-continua que se da entre este proceso AR de segundo orden y su ecuación diferencial estocástica de segundo orden; i. e. se puede llegar a la Ecuación 3.27 muestreando 3.26 cada τ segundos. La Ecuación 3.29 relaciona las matrices de transición del modelo dinámico en el tiempo continuo y su discretización [? ] A = e F τ (3.29) La solución homogenea de la ecuación diferencial 3.26 está dada por la siguiente ecuación x(t) = α e λ 1 t + β e λ 2 t (3.30) donde λ 1 y λ 2 son los autovalores de la matriz F, matriz de transición de la ecuación de estado 3.26; además λ 1 = λ 2 = α + iβ

61 3.3 modelo dinámico 45 donde β define la característica oscilatoria de la solución general de la Ecuación Considere ahora los autovalores de A tr [A] = ψ 1 + ψ 2 A = ψ 1 ψ 2 y según la Ecuación 3.28 tr [A] = a 1 A = a 2 se puede demostrar que ψ i = e λ 1 τ (3.31) entonces finalmente a 1 = e λ 1 τ + e λ 2 τ a 2 = e λ 1 τ e λ 2 τ a 1 = 2 e α τ cos (iβ τ) a 2 = e 2 β τ No se espera ningún movimiento oscilatorio en ninguno de los espacios de movimiento, por lo tanto β = 0, con lo cual a 1 = 2 e α τ a 2 = e 2 α τ Esto último implica que para los casos de movimiento que se observan en una escena de tráfico vehicular, el modelo dinámico se puede ajustar con la siguiente condición a 2 1 = 4 a 2 (3.32) Se puede observar que cuando α = 0 se tiene el caso de velocidad constante expresado en la Ecuación 3.23 que es lo que en la práctica se aplica en este trabajo de investigación para el subespacio de traslaciones y escalamiento. Para el subespacio complemento hay que determinar α que es una constante de tiempo dada en segundos; α determina cuanto varía el vector de forma dentro de este subespacio complemento frame a frame; generalmente se lo hace variar muy lentamente fijando un valor muy grande[? ]; para este trabajo se considera el caso extremo donde el modelo dinámico en el espacio complemento es de primer orden y no hay variaciones. Una cuestión importante a tener en cuenta es la determinación de las características del ruido de proceso, esto incluye por supuesto la determinación de la matriz de covarianza del mismo

62 46 seguimiento de vehículos detectados Q k = E[ξ k ξ T k]. En este trabajo de investigación se va a suponer el caso más simple; pero dado que es necesario introducir algunos conceptos más, en la Sección 4.2 del Capítulo 4 se tratará el tema nuevamente; por el momento sólo hay que destacar que Q k se determina de manera ad hoc ajustando un parámetro σ 2 v que es la varianza del ruido expresada en píxeles en el espacio de curvas splines. 3.4 medición Para comenzar con esta parte del planteo del problema de seguimiento hay que entender qué significa medir en una imagen. En términos generales se habla de medición de elementos característicos de una imagen (features); en nuestro caso esos elementos son puntos en el plano de la imagen que pertenecen a bordes de los blobs 16 que resultan de la segmentación. Se requiere de una curva que esté en el espacio de forma y que aproxime de manera óptima al contorno del vehículo, que no es el mismo que el contorno de su correspondiente blob debido a los errores de segmentación. En términos formales se necesita r k (s) dado por la siguiente ecuación r k (s) = U(s) Q k es decir, una curva en el espacio de splines S; pero además se pide r k (s) = U(s) (W X k + Q 0 ) es decir una curva en el espacio de forma S F;Q0 que también se puede expresar como r k (s) = U(s) W X k + U(s) Q 0 Sin embargo lo que se tiene en la práctica es una curva muestreada r k (s i ), con lo cual lo que realmente se obtiene en la medición es un vector que se podría armar de la siguiente manera r k (s 1 ) r k (s 2 ) y k =. r k (s N ) donde y k es de dimensión 2 N ya que r k (s i ) es un punto del plano, con lo cual ( ) x r k (s i ) = k (s i ) y k (s i ) 16 Componentes conectados, región de píxeles blancos asociada a un objeto en movimiento.

63 3.4 medición 47 Por otra parte es importante conocer el proceso de medición; porque resulta que dado que es necesario que el procesamiento sea en tiempo real, las mediciones se harán definiendo una zona de búsqueda de los puntos característicos a partir de una estimación a priori del contorno actual del vehículo en movimiento ˆr k k 1 (s) usando por ejemplo el modelo dinámico. Con esta estimación a priori (predicción), se generan segmentos de rectas normales a la curva ˆr k k 1 (s) en s = s i i=1,2,,n ; se calcula para ello los vectores normales n k k 1 (s i ); En la Figura 3.4 se puede observar cómo se procede para realizar las mediciones de los puntos característicos. Las rectas normales se recorren iterativa- Figura 3.4: Procedimiento de medición de los puntos característicos de la imagen a partir de una predicción. mente hasta encontrar un píxel de valor lógico uno, que sería un punto del borde del blob. Hay varios aspectos a tener en cuenta, si se considera la curva en el espacio de splines r(s) = U(s) Q que mejor ajusta a los puntos característicos medidos, esta curva en general no va a estar en el espacio de forma; además, debido a los errores de segmentación r(s) r k (s), donde r k (s) es la curva que realmente modela en contorno del vehículo en el instante actual. Sin embargo se puede pensar que rf(s i ) = r k (s i ) + δ k (s i ) (3.33) en δ k (s i ) están todos los factores de ruido que afectan a la medición, es decir todos aquellos factores que hacen que el punto rf(s i ) que se toma como medición no sea exactamente un punto del borde del vehículo; el factor que más afecta a la medición es la segmentación que hace que en general el término de ruido δ k (s i ) no sea gaussiano. Considerando en la Ecuación 3.33 que r k (s) está en el espacio de forma S F;Q0 se puede expresar o también rf(s i ) = U(s i ) W X k + U(s i ) Q 0 + δ k (s i ) rf(s i ) U(s i ) Q 0 = U(s i ) W X k + δ k (s i ) (3.34) se va a denotar al primer miembro de esta última ecuación como rf (s i ) = rf(s i ) U(s i ) Q 0. Como se vio en la sección anterior, el

64 48 seguimiento de vehículos detectados vector de estado x k no es exactamente el vector de forma sino que se arma con X k 1 y X k como se puede ver en la Ecuación Entonces se puede llegar a una expresión que vincula la medición con el vector de estado x k rf (s i ) = U(s i ) [0 W] x k + δ k (s i ) definiendo la matriz M(s i ) U(s i ) [0 W], se puede obtener la ecuación de medición como función del vector de estado y k = C x k + η k (3.35) donde y k = rf (s 1 ) rf (s 2 ). rf (s N ) (3.36) vector de medición matriz de medición es el vector de medición, M(s 1 ) M(s 2 ) C =. M(s N ) es la matriz de medición y δ k (s 1 ) δ k (s 1 ) η k =. δ k (s N ) (3.37) (3.38) es el ruido de medición. Para simplificar se va a suponer que el ruido de medición η k tiene una matriz de covarianza de la forma Γ k Γ k2 0 Q k =. (3.39) Γ kn donde Γ ki = ˆσ 2 k I 2; (3.40) ˆσ k es el desvío estándar que da una idea de la distancia en unidades de píxel que hay entre el punto medido rf(s i ) y el verdadero

65 3.5 el filtro de kalman 49 punto del contorno del vehículo r k (s i ). Como se puede observar, la matriz de covarianza tiene un subíndice k que es indicativo de que la misma es función del tiempo, esto se considera así principalmente por la pérdida de muestras. En la Figura 3.4 se puede observar que una de las líneas normales tiene una etiqueta p ; sobre esta línea a diferencia de las otras, no se encuentra ningún punto rf(s i ). Lo que en este trabajo de investigación se hace, es darle un valor por defecto, e. g. el valor de predicción pérdida de muestras rf(s i ) = ˆr k k 1 (s i ) asignándole al ruido de medición una varianza ˆσ 2 k mucho más grande; con lo cual la matriz de covarianza cambia dependiendo de cuántas muestras se pierden si es que se pierde alguna, la pérdida de muestras es muy probable en cualquier instante del proceso de seguimiento. 3.5 el filtro de kalman Habiendo expuesto todo lo necesario como para encarar el filtro de Kalman, el próximo paso es implementar el algoritmo recursivo de este filtro en términos de las ecuaciones planteadas en la Sección 3.3 y 3.4: Ecuación y El filtro de Kalman permitirá estimar el estado x k de un vehículo en movimiento y con éste, su vector de forma X k según la Ecuación 3.18, a partir del cual se puede obtener el vector de control Q k y finalmente la curva que modela el contorno en cada instante de tiempo r k (s) 18. Antes de presentar la expresión del filtro de Kalman como un algoritmo recursivo, es necesario exponer los fundamentos teóricos sobre los que sustenta. Si se considera que el problema de seguimiento se puede modelar mediante las ecuaciones en como es el caso que se está estudiando, que son ecuaciones lineales; entonces el filtro de Kalman que se presentará más abajo es el mejor estimador lineal. { x k = A k x k 1 + B k v k y k = C k x k + n k (3.41) La primera ecuación en 3.41 es el modelo dinámico y la segunda es la ecuación de medición. Si además se supone que los ruidos son gaussianos y de media cero y que el vector de estado inicial es de media cero entones el filtro de Kalman que presentaremos es el estimador óptimo en términos del error cuadrático medio[? ][? ]. Aquí se considera al 17 Sin el sesgo. 18 Con el vector de control también se puede obtener momentos como el área o el centroide. 19 Modelo de espacio de estados.

66 50 seguimiento de vehículos detectados estimador óptimo como el mejor estimador 20. El mejor estimador lineal de x k considerando el modelo dado por las ecuaciones en 3.41 está dado por el algoritmo recursivo de Kalman que básicamente se puede dividir en dos etapas; una de predicción y otra de fusión: 1. Predicción: ˆx k k 1 = A k ˆx k 1 k 1 (3.42) 2. Fusión P k k 1 = A k 1 P k 1 k 1 A T k 1 + B k 1 Q k 1 B T k 1 (3.43) ŷ k = C k ˆx k k 1 (3.44) ˆx k k = ˆx k k 1 + K k (y k ŷ k ) (3.45) P k k = (I K k C k ) P k k 1 (3.46) donde K k es la ganancia de Kalman dada por la siguiente expresión K k = P k k 1 C T k ( Ck P k k 1 C T + R k ) Si se supone conocidas las matrices del modelo dinámico y la de medición; y si además se conoce la matriz de covarianza del error del modelo Q k = E [ v k v T k], la matriz de covarianza del error del medición R k = E [ n k n T k] y la matriz de covarianza del error de estimación del estado inicial P 0 = E [ x 0 x T ] 0 ; entonces se puede estimar recursivamente x k y su matriz de covariancia P k. Se puede optimizar el cálculo del algoritmo recursivo en la predicción tanto en tiempo como en uso de memoria, expresando todo en términos de los vectores de forma del vector de estado x k : X k y X k 1. Considérese los valores de las matrices A y B dadas por las ecuaciones en 3.20 y considérese las submatrices de P k k 1 y P k 1 k 1, e. g. para P k k 1 P k k 1 = ( Π k 1 k 1 Π k,k 1 k 1 Π T k,k 1 k 1 Π k k 1 ) (3.47) donde Π k 1 k 1 es la matriz de covarianva del error en la estimación de X k 1 k 1, Π k k 1 es la matriz de covarianva del error en la estimación de X k k 1 y Π k,k 1 k 1 es la covarianza cruzada 20 En realidad hay otros criterios para definir el mejor estimador, como el concepto de estimador consistente, pero es mucho más difícil de probar en general la consistencia que la eficiencia(estimador óptimo).

67 3.5 el filtro de kalman 51 del error de estimación en X k 1 k 1 y X k k 1. Entonces las ecuaciones de la etapa de predicción se pueden expresar también de la siguiente manera: ˆX k k 1 =A 2 ˆX k 2 k 2 + A 1 ˆX k 1 k 1 (3.48) Π k k 1 =A 2 Π k 1 k 1 A T 2 + A 1 Π k,k 1 k 1 A T 2 + A 2 Π T k,k 1 k 1 AT 1 + A 1 Π k k 1 A T 1 + B Q B T (3.49) Π k,k 1 k 1 = A 2 Π T k,k 1 k 1 + A 1 Π k k 1 (3.50) Observar de estas últimas expresiones para la etapa de predicción que se está suponiendo que las matrices del modelo: A 1, A 2, B y Q son constantes. De la misma forma se podría optimizar el cálculo del algoritmo en la etapa de fusión considerando la forma de la matriz C k en la Ecuación 3.37; sin embargo quedará para un trabajo futuro el desarrollo de una optimización del filtro de Kalman en esta aplicación de seguimiento vehicular. Por otra parte, es interesante en este punto analizar el filtro de Kalman de? [? ] que tiene una forma distinta a la que se presentó arriba, específicamente en las expresiones correspondientes a la parte de fusión del filtro. Todos los trabajos de seguimiento vehicular con contornos activos[? ][? ][? ] se basan en esta forma del filtro de Kalman, por eso se la ha estudiado y analizado en este trabajo de investigación. En el Appendix A se presenta someramente algunas de las ideas básicas presentadas por estos autores. Sólo es interesante remarcar que en la forma del filtro de?, la estimación final del vector de estado en el instante k: x k k, está expresada en términos del vector innovación: z k. En el trabajo de? : Active Contours, se hace una interpretación de qué es cada variable. Aquí se decidió usar la forma clásica del filtro de Kalman para las tareas de seguimiento y luego, en una etapa de desarrollo posterior, realizar todas las optimizaciones correspondientes. Por último, si bien se podría considerar que el ruido de proceso es gaussiano, no ocurre lo mismo con el ruido de medición, con lo cual el filtro óptimo sería en general no lineal. En trabajos futuros se podría probar filtros no lineales que tal vez permitan obtener mejores resultados como el filtro de partículas[? ]. El costo computacional de este tipo de filtros es más elevado, un problema que habría que resolver para que se pueda aplicar en sistemas de seguimiento en tiempo real[? ][? ].

68

69 D E T E C C IÓN DE VEHÍCULOS EN MOVIMIENTO 4 En el capítulo anterior se han dado las bases para poder desarrollar este capítulo que trata sobre la etapa de detección de los vehículos. Si el sistema de monitoreo de tráfico que se quiere implementar solamente tuviera que contar vehículos 1, entonces sería suficiente que la tarea de detección involucre sólo la lógica de decisión que discrimina si por una región de la imagen hay un vehículo en movimiento o no. A la parte del sistema encargada de esta tarea se le llama simplemente detector vehicular. Sin embargo, en un sistema de seguimiento la etapa de detección involucra no solamente el detector vehicular 2, sino también la estimación de la posición y forma del vehículo al momento de la detección, o lo que es lo mismo, el vector de forma inicial X 0 ; pero además, dado que aquí se emplea un modelo dinámico de segundo orden, también es necesario determinar al momento de la detección el vector de forma del vehículo en el frame anterior X 1, ya que el vector de estado está formado por el vector de forma en el instante actual y en el anterior, como se puede observar en la Ecuación Por lo tanto la tarea de detección envuelve la lógica de detección y la estimación del vector de estado en el instante inicial x 0, con la determinación de la respectiva matriz de covarianza del error en la estimación P 0. Para diferenciar de las tareas de detección pura se le llama inicialización a este proceso de estimación de x 0 y P 0 ; en ninguno de los trabajo sobre seguimiento vehicular por contornos se explica con el detalle necesario la etapa de inicialización, a lo sumo se explica cómo determinar la posición y forma inicial[? ], pero se omite toda referencia al cálculo del vector de estado inicial y todos estos trabajos se basan en modelos dinámicos de segundo orden, con lo cual no es una obviedad la estimación del vector de forma X 1. Por otra parte en sistemas de seguimiento de contornos, la etapa de detección es tan importante como la de segmentación y la de seguimiento; la dificultad en la determinación del estado inicial es considerada la desventaja más importante de los métodos de seguimiento de contornos[? ][? ]. Aplicando un filtro de Kalman al seguimiento de contornos, se pueden resolver muchos de los problemas de seguimiento como los errores de segmentación y la oclusión vehicular; pero estos problemas se trasladan a la etapa de detección en donde la inicialización no es una tarea fácil. detector vehicular inicialización 1 Por ejemplo para medir el flujo de vehículos por una vía de circulación. 2 La salida del detector vehicular se podría pensar como un valor lógico: vehículo detectado, vehículo no detectado. 53

70 54 detección de vehículos en movimiento contour growing ventana de detección región de detección En ninguno de los trabajos que se estudiaron sobre seguimiento vehicular basado en contornos activos[? ][? ][? ] se presenta un método para la estimación del vector de estado inicial x 0. En este trabajo se propone una solución para la estimación de x 0, pero se dejará para trabajos futuros la evaluación del comportamiento del método propuesto en términos de costo computacional y precisión de esta estimación.? [? ] y? [? ] usan el concepto de contour growing basados en el trabajo de? [? ]; la idea es que se puede realizar un seguimiento del contorno frontal de los vehículos entrantes sabiendo que los vehículos a seguir siguen una dirección con un determinado sentido, esto se hace mediante una línea de detección normal a la dirección de movimiento; la detección se da cuando la línea frontal del vehículo llega a una posición inicial determinada según un modelo del vehículo. Para el seguimiento del contorno frontal también se usa B-Splines, pero como curvas paramétricas de dimensión uno; la curva que ajusta al contorno frontal crece a medida que avanza el vehículo, de ahí el nombre de este método de inicialización. El problema de esta idea es que no queda claro cómo se determina el modelo del vehículo, que si bien es sólo un rectángulo, su tamaño depende del vehículo que se está detectando; el ancho y la posición del rectángulo podría determinarse a partir de la curva spline que ajusta al contorno frontal, pero el largo del mismo no se especifica y esto depende mucho del tipo de vehículo que se está detectando. En lugar de una línea de detección,? [? ][? ] proponen una ventana de detección y un procedimiento pensado específicamente para determinar la posición y el tamaño del vehículo detectado; si bien el concepto de ventana de detección es muy conveniente para filtrar errores de segmentación, el procedimiento en general es poco claro.? [? ] emplean un concepto similar al de espiras inductivas para imágenes, el cuál es muy usado en equipos de monitoreo de tráfico vehicular; se define una región de detección usando un template predefinido Q Templ ubicado en el medio de cada carril, todo vehículo en movimiento que pase por la región será detectado y seguido; uno de los problemas que tiene este enfoque, es que no se puede definir un template que sirva para detectar cualquier tipo de vehículo, ya que por ejemplo las dimensiones de un camión no son las mismas que la de un auto o una moto. En este trabajo, se propone una solución para la detección, usando el concepto de ventana de detección de? [? ] y ventana deslizante, para resolver los problemas debido a los errores de segmentación que afectan significativamente a la detección. Se propone también una técnica para determinar los vectores de forma X 0, X 1 y consecuentemente el de estado inicial x 0. En la primera sección se explicarán los conceptos de ventana de detección y ventana deslizante necesarios para entender las

71 4.1 detección 55 mediciones que se realizan y que luego se emplearán para la estimación de los vectores de forma X 0 y X 1. En la segunda sección se explicará el concepto de ventana de medición y se tratará el tema de la estimación del vector de estado inicial x 0 y los errores asociados, caracterizados por la matriz de covarianza P 0. El cálculo del vector de estado inicial y su matriz de covarianza es fundamental para el seguimiento de contornos, en esta última sección se presenta una idea para la mejor estimación del vector de estado inicial x 0 que no es solamente el vector de formas inicial X 0. ventana de medición 4.1 detección Una ventaja que tiene la detección de vehículos en movimiento comparado con la detección de objetos móviles cualesquiera, es que se conoce la dirección y sentido del movimiento, se conoce también por qué lado de la imagen entran los vehículos y por qué lado salen; con lo cual uno puede reducir el análisis de la detección a una región de la imagen, mucho más pequeña y por lo tanto mucho más conveniente en cuanto a lo computacional; a esta región se la llama región de detección. Como se indicó en la introducción, la región de detección que se usa puede ser un rectángulo ubicado en el medio de un carril, como si se tratara de espira inductiva; puede ser una línea de detección o una ventana; en estos dos últimos casos, la región de detección se ubica del lado de la imagen por donde entran los vehículos como puede verse en la Figura 4.5. región de detección Figura 4.5: Ventana de detección En este trabajo se usa una ventana de detección que conceptualmente funciona como una línea de detección, captando el paso de todos los vehículos en movimiento que entran en la imagen, permitiendo la detección vehicular múltiple y simultánea. Lo que hace la ventana de detección además, es integrar los valores de píxel a lo largo de la misma, en la dirección normal a la línea de detección que define la ventana y que es aproximadamente la dirección del flujo vehicular; esto es de alguna manera un filtrado del ruido de segmentación que es el gran generador de errores de detección y estimación. En la Figura 4.6 queda claro cómo

72 56 detección de vehículos en movimiento (a) La ventana de detección y los datos levantados de la misma (b) Datos levantados de la ventana de detección Figura 4.6: Detección vehicular mediante ventana de detección. (a) Detalle de cómo se levantan los datos a partir de la ventana de detección. (b) Relación entre los datos de la ventana de detección y la señal. trabaja la ventana de detección tratando de mitigar los efectos de los errores de segmentación; el largo de la ventana depende de la cantidad de errores de segmentación que tenga y el ancho es tal que pueda captar todos los vehículos que pasan por la imagen. Entonces, considerando una imagen binaria, que al ser de un sólo canal se puede expresar en forma matricial como: I(i, j) y una subimagen de ésta: V(i, j) (que es la ventana de detección); se genera el siguiente vector r(j) = i V(i, j)

73 4.1 detección 57 la versión binaria de este vector es lo que interesa r 0 r(j) = 0 (j) = 1 r(j) 0 estos vectores se pueden pensar como señales de tiempo discreto r(j) r [k] r (j) r[k] la señal r [k] tiene pulsos cuya posición y ancho determinan la posición y el ancho del vehículo; pero como puede observarse en la Figura 4.6, los errores de segmentación siguen afectando a la señal r [k], generando grandes errores en la estimación de ancho y posición del vehículo detectado. Para resolver los efectos de los errores de segmentación que aún persisten, se ideó un método para filtrar la señal r [k] basado en el concepto de ventana deslizante, convolucionando r [k] con una ventana cuadrada w[k] 3 s[k] = r[k] w[k] A diferencia de la ventana de detección, en la ventana deslizante sólo se puede hablar de ancho de ventana que también depende de la cantidad de errores de segmentación que se tenga y que se quiera filtrar. En la Figura 4.7 puede observarse cómo los pulsos que están lo suficientemente cerca según el ancho de la ventana deslizante se unen en uno sólo más amplio. Esta idea de usar ventana deslizante es útil para disminuir los errores en la estimación del vector de forma debido a los errores de segmentación del tipo falsos negativos que son los más comunes, pero no arregla los errores debido a los falsos positivos que también son muy frecuentes. Sin embargo lo que se busca en este trabajo es disminuir estos últimos en la etapa de segmentación o con algún método de segmentación más preciso aplicado sólo a la región definida por la ventana de detección. El funcionamiento general del detector vehicular es muy simple, se registra el paso de los vehículos midiendo los anchos de los pulsos; si se observa un objeto de tamaño suficiente como para ser considerado un vehículo en movimiento, entonces el detector dispara el proceso de detección. En general la detección vehicular no es instantánea, ya que dependiendo de la velocidad de los vehículos en movimiento, éstos tardan varios frames en pasar por la ventana; con lo cual la detección es en realidad un proceso en donde se determina con alguna lógica 4 el primer 3 La ventana deslizante es una ventana en la línea horizontal y la ventana de detección es una ventana en el espacio de la imagen. 4 Llámese lógica de detección.

74 58 detección de vehículos en movimiento Figura 4.7: Ventaneo de la señal levantada de la ventana de detección frame y el último que registra el paso del vehículo por la región de detección definida por la ventana. A partir del primero se empieza a tomar una serie de mediciones que luego se usarán para estimar el contorno inicial del vehículo, el template Q 0 y el vector de formas X 0, hasta que con el último frame se termina el proceso de detección donde se incrementa el conteo vehicular. Lo que se mide durante el proceso de detección en cada frame de la secuencia de video es la posición horizontal de cada lado del vehículo en la ventana de detección, que se corresponden con los flancos de un pulso en s[k], luego para obtener la posición del vehículo se hace ˆp = (ˆl d ˆl i ) /2 (4.1) donde ˆl i y ˆl d son respectivamente las estimaciones de lados izquierdo y derecho del vehículo. Entonces la tarea de estimar la posición horizontal del vehículo en sí ( ˆp) se deja para después de terminado el proceso de detección, y cada medición de la posición de los lados l i y l d se guarda en un registro durante el proceso de detección. Una vez terminado este proceso se pasa a la etapa de inicialización donde se estiman ˆl i y ˆl d usando los datos del registro de l i y l d ; los detalles de esto último se verá luego en la Sección 4.2 ya que la etapa de inicialización incluye la estimación de éstas y varias magnitudes más, todas necesarias para la determinación del estado inicial y para comenzar el proceso de seguimiento tratado en el Capítulo estimación del estado inicial Para el método de seguimiento que se ha adoptado en este trabajo de investigación es crucial la tarea de estimar con buena precisión el estado inicial del vehículo detectado y a seguir. Como ya se

75 4.2 estimación del estado inicial 59 ha indicado, esto incluye no sólo estimar el vector de estado sino también la covarianza del error en la estimación del mismo. El objetivo en esta etapa de la detección es entonces estimar x 0 y P 0 para luego poder comenzar con las etapas posteriores correspondientes al proceso de seguimiento tratado en el Capítulo 3; pero para esto es necesario calcular, medir y estimar otras magnitudes escalares y vectoriales, como el ancho y el largo del vehículo y los vectores de control en el instante inicial del seguimiento 5 t = t 0 y en el instante anterior t = t 1 ; cabe recordar que durante el proceso de detección sólo se mide y registra la posición de los lados del vehículo; como se verá luego, todos los cálculos y estimaciones se basan en estas mediciones. Para comenzar con el tratamiento de este tema se puede presentar una lista de las tareas a realizar que describe en forma general los aspectos más importantes de esta etapa; los detalles se tratarán luego de tener una visión global que facilitará la presentación de los principales conceptos. A continuación se detallan los pasos a seguir para poder realizar la estimación del estado inicial: 1. Medir durante el proceso de detección la posición del lado izquierdo y el lado derecho del vehículo detectado En el instante que el vehículo cruzó la ventana de detección t 0 (t 0 k = 0), estimar la posición horizontal 7 del vehículo usando las mediciones anteriores. 3. Usando la imagen de segmentación en el instante t 0 y la posición horizontal estimada del vehículo, medir el ancho y el largo del mismo. 4. Con los datos del largo, posición y ancho del vehículo; determinar los puntos de control y luego el vector de control Q Usando la imagen de segmentación en el instante de tiempo t 1 (t 1 k = 1) y la posición horizontal estimada del vehículo, medir el largo y el ancho del mismo. 6. Con los datos del largo, posición y ancho del vehículo calculados en el paso anterior; determinar Q 1 7. Calcular los vectores de formas X 0 y X 1 considerando Q 0 y Q 1 y armar el vector de estado x 0 8. Estimar de manera ad hoc un valor de P 0. 5 Instante final del proceso de detección. 6 Tarea del detector vehicular que se explicó en la primera sección de este capítulo. 7 Si consideramos a la ventana de detección como una línea de detección, la posición en esa línea de detección.

76 60 detección de vehículos en movimiento Estimación de los Vectores de Control y Estado Inicial Para estimar los vectores de control del vehículo detectado (Q 0 y Q 1 ) primero se estima la posición del vehículo según la Ecuación 4.1; las cantidades ˆl d y ˆl i salen de aplicar algún estadístico en el registro de mediciones de lados derechos y lados izquierdos que se miden durante el proceso de detección; en este trabajo de seguimiento vehicular se usó como estadístico la mediana. Si bien se podría haber trabajado con la media que es lo más común, o con la moda o el máximo-mínimo de las muestras guardadas en el registro; pero dado que frecuentemente cuando los errores de segmentación afectan a la medición 8, lo hacen de tal forma que la muestra que se toma en ese caso es muy diferente del conjunto; para estos casos calcular la mediana del conjunto de muestras es la mejor opción; sin embargo existen también muchos casos donde el error de segmentación afecta durante todo el proceso de detección, con lo cual puede ser que lo que sea muy diferente del conjunto sea la muestra que menos esté afectada por el error de segmentación. El estudio detallado de estos métodos podría ser objeto de trabajos futuros. Una vez calculada la posición horizontal según la Ecuación 4.1 se procede a calcular el largo del vehículo; para esto se emplea un método que tiene en cuenta la perspectiva en la imagen debido a la disposición de la cámara. En la Figura 4.8 se puede observar una serie de puntos fijados de manera off-line al calibrar la cámara de video, que marcan las líneas de la calle, dada la perspectiva de la cámara estas líneas no son paralelas sino que se juntan en un punto fuera de la imagen (punto de desvanecimiento); se puede pensar de todas formas en una correspondencia entre los puntos a c, b d y f g; se desea saber qué punto le corresponde a p: llámese p, para ello se plantea la siguiente relación de proporcionalidad f x p x g x p x = f x a x g x c x = k p constante de perspectiva donde a x, c x, f x, g x, p x y p x son las coordenadas en x de los respectivos puntos; además f x = g x y a k p se le llama constante de perspectiva; entonces p x = f x f x p x k p. Puesto que en general a c b d, para puntos p que están a la derecha del punto f habría que usar k p = b x f x d x g x ; 8 Aquellos errores que no pueden eliminarse por ninguno de los mecanismos de ventaneo.

77 4.2 estimación del estado inicial 61 Figura 4.8: Puntos de calibración y recta de medición. pero los errores no son considerables usando sólo k p o k p esté donde esté el p. Con p y p se define una recta a través de la cual se mide el largo del vehículo detectado; con esta recta se levanta un perfil leyendo los valores de píxel de la imagen de segmentación en las coordenadas de cada punto de la recta 9, en la Figura 4.9 se puede observar cómo funciona este método de medición. La recta se recorre de p a p, el primer valor de píxel distinto de cero que se encuentra define el punto inferior del vehículo (para el ejemplo de la Figura 4.9, coincide con el punto p); los próximos valores de píxel que se deberían leer serían unos (unos lógicos) en el caso ideal, con lo cual si posteriormente se lee un valor de píxel cero entonces la coordenada de éste define el punto superior del vehículo (punto q). Pero en general hay huecos en la imagen segmentada, esto se puede observar en la 4.9a, entre los puntos interiores entre p y q existen espacios donde los valores de píxel son cero ; esto generaría errores de medición de largo vehicular. Para solucionar este problema se usó también el concepto de ventana deslizante que se explicó en la Sección 4.1, el ancho de la ventana en este caso está limitado por la distancia mínima entre vehículos. Una vez que se determinan los puntos a y b, calcular los puntos del vector de control Q 0 o Q 1 según corresponda, sería una tarea sencilla si se tuviera algún dato del ancho del vehículo â; ya que estos puntos se obtendrían de la siguiente manera donde p 7 = (p x, p y ) p 3 = (q x, q y ) h x = p x + q x 2 p 8 = (p x + â 2, p y) p 1 = (h x + â 2, h y) p 6 = (p x â 2, p y) p 5 = (h x â 2, h y) p 2 = (q x + â 2, q y) p 4 = (q x â 2, q y) 9 Una recta en una imagen digital no es exactamente una recta sino más bien una secuencia de píxeles conectados que en conjunto se aproximan con un cierto error acotado (algoritmo de Bresenham) a la recta en el plano real definida por los puntos p y p.

78 62 detección de vehículos en movimiento (a) Medición del largo del vehículo (b) Medición del ancho del vehículo (c) Spline inicial Figura 4.9: Pasos a seguir para la estimación del vector de control inicial (Q 0 ) (a) Medición del largo vehicular a partir de la recta de perspectiva (b) Determinación de los puntos de control de Q 0 (c) Imagen que incluye la spline generada a partir de Q 0. y ventana de medición h y = p y + q y 2 Se puede observar en la Subfigura 4.9b cómo se generan los ocho puntos p i del vector de control que se arma según la Ecuación 3.4. En la Subfigura 4.9c se puede ver la curva spline generada a partir de tal vector de control. Para calcular el ancho del vehículo se define una ventana de medición en el frame actual (t = t 0 ) si se quiere obtener Q 0 o en el frame anterior (t = t 1 ) se quiere Q 1 ; esta ventana se elige igual de ancha que la ventana de detección pero tiene una altura que está definida por los puntos p y h, que toman justamente la mitad del vehículo detectado. Luego se procede de la misma