SISTEMA PARA MEDIR TIEMPOS DE ESPERA EN COLAS DE SUPERMERCADO USANDO VISIÓN POR COMPUTADOR Y MÉTODOS ESTADÍSTICOS.

Transcripción

1 PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE ESCUELA DE INGENIERIA SISTEMA PARA MEDIR TIEMPOS DE ESPERA EN COLAS DE SUPERMERCADO USANDO VISIÓN POR COMPUTADOR Y MÉTODOS ESTADÍSTICOS. PEDRO CORTEZ CARGILL Tesis presentada a la Dirección de Investigación y Postgrado como parte de los requisitos para optar al grado de Magister en Ciencias de la Ingeniería Profesor Supervisor: DOMINGO MERY Santiago de Chile, Enero 2011 c MMXI, PEDRO MANUEL CORTEZ CARGILL

2 PONTIFICIA UNIVERSIDAD CATOLICA DE CHILE ESCUELA DE INGENIERIA SISTEMA PARA MEDIR TIEMPOS DE ESPERA EN COLAS DE SUPERMERCADO USANDO VISIÓN POR COMPUTADOR Y MÉTODOS ESTADÍSTICOS. PEDRO CORTEZ CARGILL Miembros del Comité: DOMINGO MERY ALVARO SOTO PABLO ZEGERS FRANCO PEDRESCHI Tesis presentada a la Dirección de Investigación y Postgrado como parte de los requisitos para optar al grado de Magister en Ciencias de la Ingeniería Santiago de Chile, Enero 2011 c MMXI, PEDRO MANUEL CORTEZ CARGILL

3 A mis padres, familia y amigos, quienes me apoyaron durante este trabajo y en todos mis estudios

4 AGRADECIMIENTOS Me gustaría agradecer a todas las personas que me ayudaron a realizar este trabajo. En primer lugar, me gustaría especialmente agradecer a Cristobal Undurraga por todo el apoyo, ayuda y trabajos realizado en conjunto, tanto durante el desarrollo de esta tesis, como a lo largo de mi carrera. Además me gustaría dar las gracias a Hans-Albert Löbel y a Christian Pieringer, por su ayuda en el desarrollo de la aplicación y la grabación de los complejos videos de prueba. También me gustaría agradecer a mi profesor asesor, Domingo Mery por su constante guía, su interminable paciencia y sus buenos consejos que me han permitido terminar con éxito este trabajo. También me gustaría agradecer a todas las personas que, directa o indirectamente se involucraron en el desarrollo de los distintos aspectos de este trabajo. En primer lugar me gustaría dar las gracias al Latin American and Caribbean Collaborative ICT Research por permitirme profundizar esta investigación en México. También me gustaría agradecer a todos los estudiantes, pertenecientes al grupo de robótica, del Instituto Nacional de Astrofísica, Óptica y Electrónica, que nos recibieron afectuosamente en México. Además me gustaría agradecer al profesor Enrique Sucar por su breve pero productiva guía en el desarrollo de la aplicación. Finalmente, me gustaría agradecer especialmente a mis padres, familia y amigos por su valioso apoyo, confianza, ayuda y consejos, tanto durante toda mi carrera, como en el éxito de este trabajo. iv

5 INDICE GENERAL AGRADECIMIENTOS iv INDICE DE FIGURAS vi INDICE DE TABLAS vii RESUMEN viii ABSTRACT ix 1. INTRODUCCION Motivación Tiempos de espera Visión por Computador Marco Teórico Descriptor de Covarianza Naive Bayes Nearest Neighbor Online Multiple Instance Boosting (OMB) DISEÑO Hipótesis Objetivos Metodología MÉTODO PROPUESTO Representación de la Imagen Modelo de Apariencia: Online Naive Bayes Nearest Neighbor (ONBNN) Modelo de Movimiento Detección y reconocimiento de clientes EXPERIMENTOS v

6 4.1. Modelo de apariencia Tiempos de espera RESULTADOS Modelo de apariencia propuesto: Online Naive Bayes Nearest Neighbor (ONBNN) Tiempos de Espera CONCLUSIONES Modelo de apariencia propuesto: Online Naive Bayes Nearest Neighbor (ONBNN) Tiempos de Espera Configuración de las cámaras de video Trabajos Futuros References vi

7 INDICE DE FIGURAS 1.1 Ejemplos de aplicaciones de visión por computador existentes. a) Detección y reconocimiento de comportamientos extraños. b) Detección de expresiones y reconocimiento de expresiones faciales para detectar somnolencia del conductor. c) Control de calidad de alimentos a partir de características visuales de una imagen Ejemplo de cómo se construye el descriptor de covarianza de una región, a partir de una imagen pasando por la creación de la matriz de características Configuración de las dos cámaras de video en una caja de supermercado. La primera cámara controla el ingreso de los clientes a la cola y la segunda controla la salida del cliente Diagrama general del trabajo realizado Método para normalizar las regiones. Notar que se crea una nueva imagen, de esta forma se pueden utilizar ventanas de búsquedas con transformaciones afines Distribución de los cuatro cuadrantes a los cuales se le calcula el descriptor de covarianza Diagrama del modelo de apariencia Descripción del modelo de movimiento. El rectángulo verde representa la última región seguida O t 1 x,y,w,h, el rectángulo rojo representa el área de búsqueda St x,y,w,h y los rectángulos azules representan las muestras T t x,y,w,h Diagrama del proceso de detección y reconocimiento de rostros entre cámaras Vista superior y lateral de la configuración de las cámaras Error (en píxeles), cuadro a cuadro, de los centroides para cada secuencia seleccionada vii

8 5.2 Video Faceocc1; cambios drásticos de apariencia y oclusión parcial. El rectángulo verde representa el método propuesto ONBNN y el rojo representa el método OMB Video Surfer; movimientos rápidos y cambios drásticos de apariencia. El rectángulo verde representa el método propuesto ONBNN y el rojo representa el método OMB Video privado; oclusión total y rápidos movimientos. El rectángulo verde representa el método propuesto ONBNN Video Girl; cambios drásticos de apariencia y oclusión parcial. El rectángulo verde representa el método propuesto ONBNN y el rojo representa el método OMB Video board; donde (a) representa el seguimiento con la ventana inicial corregida y (b) no. El rectángulo verde representa el método propuesto ONBNN Video con una perspectiva superior o top view. El rectángulo verde representa el método propuesto ONBNN viii

9 INDICE DE TABLAS 5.1 Error promedio de la ubicación del centro (en píxeles). Los algoritmos comparados son: OAB con r = 1, ORF, PROST, NN, FragTrack, SemiBoost, OMB y ONBNN. Los resultados destacados indican los mejores desempeños y los subrayados los siguientes mejores Error promedio de la ubicación del centro (en píxeles). Los algoritmos comparados son; OMB (con sus cinco ejecuciones) y ONBNN. Los resultados destacados indican los mejores desempeños y los subrayados los siguientes mejores Error promedio de la ubicación del centro (en píxeles). Video con vista superior, de larga duración donde se siguieron 100 peatones Resultados del sistema para estimar tiempos de espera ix

10 RESUMEN Las empresas con ventas al por menor, deben lidiar con diversas variables para mantener la satisfacción del cliente en niveles aceptables, ya que estas están directamente relacionada con la fidelidad del cliente. Esto toma especial interés en los supermercados o tiendas de auto servicio, ya que estas deben lidiar con los tiempos de espera, generados en largas filas formadas por los clientes al momento de pagar por los productos; lo cual afecta directamente la satisfacción del cliente. Es por esto que, proponemos un sistema para calcular tiempos de espera en colas de supermercados, a partir de técnicas de visión por computador, inteligencia de máquina y múltiples vistas. Lo que en definitiva, nos permitirá proporcionar información necesaria para estimar la cantidad óptima de cajeras y cajas de atención abiertas, para un momento específico. Para esto proponemos un sistema de seguimiento aplicable a múltiples vistas, sustentado por un nuevo y simple modelo de apariencia propuesto en este trabajo, llamado Online Naive Bayes Nearest Neighbor; el cual es robusto a oclusiones parciales prolongadas, a cambios drásticos de apariencia y sólo necesita un parámetro de configuración. El modelo propuesto está basada en el descriptor de covarianza (Tuzel, Porikli, & Meer, 2006) y en un clasificador Naive Bayes Nearest Neighbor (Boiman, Shechtman, & Irani, 2008). Finalmente el sistema de seguimiento obtuvo resultados prometedores, logrando seguir correctamente un 61.1% de los clientes que ingresaron a la cola de espera y de éstos el error promedio fue de sólo un 2.9%. Además, el sistema es capaz de detectar automáticamente 100% de los casos cuando el sistema falla, lo que significa en términos prácticos, que podemos entregar mediciones con mayor precisión al momento de calcular los promedios. Con respecto al modelo de apariencia propuesto, éste obtuvo un rendimiento alentador, reduciendo el error promedio (en píxeles) un 33.1% comparado con otros métodos de seguimiento, basados en Online Boosting. Palabras Claves: Visión por Computador, Seguimiento, Naive Bayes, Descriptor de covarianza; Modelos dinámicos x

11 ABSTRACT Retail companies, must deal with different variables to keep customer satisfaction at acceptable levels, since these are directly related to customer loyalty. This is specially important in supermarkets or self-service stores, because they must deal with waiting time generated by long queues formed by customers paying for goods, which directly affects customer satisfaction. That is why we propose a system using computer vision techniques, machine intelligence and multiple views, used to calculate the queue waiting times in supermarkets. This calculation ultimately allow us to provide the information needed to estimate the optimal number of cashiers and open cash register for a specific time. For this, we propose a tracking system applicable to multiple views, supported by a new and simple appearance model proposed in this paper, called Online Nearest Neighbor Naive Bayes, which is robust to prolonged partial occlusions, drastic appearance changes and just needs one configuration parameter. The proposed model is based on the covariance descriptor (Tuzel et al., 2006) and a Nearest Neighbor Naive Bayes classifier (Boiman et al., 2008). Finally, the tracking system obtained a promising performance and was able to correctly follow a 61.1% of the customers that joined the queue, where the mean error of these was only a 2.9%. Furthermore, our system is able to automatically detect 100% of cases when the system fails, which means in practical terms, that we can deliver more accurate measurements at the moment of calculating the average waiting time. Moreover, the proposed appearance model results were encouraging, reducing the average error (in pixels) a 33.1% compared with state of the art tracking methods based on Online Boosting. Keywords: Computer vision, Tracking, Naive Bayes, Covariance Descriptors; Online Model xi

12 1. INTRODUCCIÓN En el contexto de las empresas con ventas al por menor o retail, la satisfacción al cliente es uno de los aspectos más importantes en el proceso del negocio, ya que está directamente relacionada con la fidelidad del cliente con la empresa. Las empresas de retail gastan gran cantidad recursos en aumentar la calidad de servicio, especialmente al momento de la atención. Esto toma especial interés, en los supermercados o tiendas de auto servicio, ya que éstas deben lidiar con los tiempos de espera, generados en largas filas formadas por los clientes al momento de pagar por los productos; lo cual afecta directamente la satisfacción del cliente. Es por esto que, proponemos un sistema para calcular tiempos de espera en colas de supermercados, a partir de técnicas de visión por computador, inteligencia de máquina y múltiples vistas. Lo que en definitiva, nos permitirá estimar los tiempos de espera promedio de los clientes y en consecuencia le proporcionará a los supermercados información necesaria para estimar la cantidad óptima de cajeras y cajas de atención abiertas, para un momento específico. Para esto proponemos un sistema de seguimiento aplicable a múltiples vista, sustentado por un nuevo y simple modelo de apariencia propuesto en esta tesis, llamado Online Naive Bayes Nearest Neighbor Motivación A continuación presentaremos los principales aspectos técnicos que motivaron el desarrollo de este trabajo. En esta sección abordaremos los conceptos básicos de la teoría de colas relacionado con los tiempos de espera y los principales conceptos del área de visión por computador Tiempos de espera Hace ya un largo tiempo, la comunidad científica reconoce la importancia y utilidad de la teoría de colas en situaciones de la vida cotidiana; tales como cajas de supermercados, bancos, semáforos, etc. El fenómeno de las colas surge cuando un recurso compartido necesita ser accedido o dar servicio a un elevado número de trabajos o clientes, lo cual 1

13 se traduce en un desequilibrio transitorio entre oferta y demanda; este problema se presenta permanentemente en la vida diaria. Es por esto que los estudios han establecido una significativa relación entre teoría y la vida cotidiana; los cuales han permitido encontrar elementos que definen o influyen el comportamiento de una cola (Seow, 2000): (i) Tasa de llegada de clientes o personal. (ii) Tiempo operacional o tiempo necesario para atender al cliente. (iii) Número de servidores (cajeras) disponibles. (iv) Comportamiento de los clientes en la cola. Los clientes llegan por servicio a diferentes tiempos durante el día y se supone que la llegada es al azar y extendida en el tiempo. Por lo tanto, el comportamiento del patrón de llegada del cliente y la reacción de los elementos anteriormente descritos determinarán el alcance de la cola en el sistema. A menudo se asume que en un cola, la tasa de llegada de los clientes sigue una distribución de Poisson; sin embargo, no todas los procesos de llegadas se rigen por esta distribución (Seow, 2000). Entre todos los elementos relacionados con una cola, el tiempo de espera es el aspecto más relevante, ya que influencia profundamente el comportamiento del cliente. Algunos podrán optar por no hacer la cola a la vista de la longitud de ésta; otros después de hacer fila por un tiempo considerable, optarán por salir de ésta y los últimos permanecerán en la cola esperando, perdiendo su costo de oportunidad. Específicamente en esta tesis, definimos el tiempo de espera, como el tiempo que un cliente espera en una cola, hasta salir de la caja de servicio; en el caso que se deseé medir el tiempo que un cliente espera en una cola, antes de ser atendido, simplemente se debe cambiar la configuración de las cámaras, para que sólo capten información hasta ese punto. Los clientes llegan con la intención de utilizar algún servicio provisto por la empresa. Sin embargo, debido a largas colas y tiempos de espera extensos, no utilizan el servicio. Esto provoca que los clientes abandonen el recinto, insatisfechos o disgustados. Es un hecho conocido que la satisfacción del consumidor es un indicador relevante en las organizaciones, ya que el principal factor que contribuye a éste, es el tiempo de espera. El 2

14 número de servidores (ej.: cajero/as) influencian directamente el largo de una cola. A mayor número de servidores, menor el tamaño de la cola y por lo tanto, menor el tiempo de espera. Colas cortas y tiempos de espera razonables traen satisfacción al cliente; el desafío es encontrar la forma de predecir el número óptimo de servidores, a partir de la tasa de llegada de los consumidores. Ahora, cuando una organización tiene una buena gestión, sus objetivos suelen estar centrados en encontrar una solución entre dos extremos. Por un lado, contratar una numerosa dotación de personal de servicio (ej.: cajero/as) y ofrecer muchas instalaciones de servicio (ej.: cajas de supermercado); lo cual puede resultar en una excelente atención al cliente, donde rara vez más de uno o dos clientes estén en una cola. Los clientes estarán satisfechos con la rápida respuesta y apreciarán la comodidad. Esto sin embargo, puede ser muy costoso. Por otra parte, el otro extremo es tener al mínimo número la dotación de personal y servidores (ej.: cajas de supermercado) abiertos. Esto mantiene el costo de los servicios bajos, pero podrán dar lugar a la insatisfacción de los clientes debido a un mal servicio. La mayoría de los gerentes reconocen el equilibrio que debe existir entre los costos de proveer un buen servicio y el costo del tiempo de espera del cliente. Ellos quieren que las colas sean lo suficientemente cortas, para que los clientes estén satisfechos, no abandonen la cola sin haber sido atendido y estén dispuestos a regresar. Pero al mismo tiempo están dispuestos a permitir cierto tiempo de espera, si se compensa con un ahorro significativo en los costos del servicio. Ahora, en el contexto de equilibrar costos y latencia de servicio, el área de visión por computador podría ser un gran complemento a la teoría de colas; ya que ésta puede proveer información en tiempo real a los modelos matemáticos, con respecto a variables relevantes relacionadas con el cliente tales como; tiempos de espera, patrones de movimiento, etc. Es por esto, que en el marco de esta tesis abordaremos en profundidad la teoría relacionada con el área de visión por computador e inteligencia artificial, y propondremos una aplicación respecto a la medición de tiempos de espera de los clientes. 3

15 Visión por Computador Una de las habilidades más extraordinarias de la visión humana es el reconocimiento de objetos y rostros. Sin importar el ángulo, tamaño, luminosidad u oclusión del objeto, la visión humana logra en casi todos los casos, reconocer el objeto o persona. Esta habilidad es primordial en muchos aspectos de nuestras vidas, por ejemplo, sin la capacidad de reconocer rostros o expresiones faciales no podríamos tener una vida social satisfactoria. Por otra parte, en el área de visión por computador, se pretende poder diseñar máquinas o sistemas que puedan lograr esta habilidad automáticamente y así poder utilizarlos, por ejemplo, en aplicaciones de vigilancia o control de calidad. En el campo de visión por computador, los objetivos básicos para construir un aplicación son; seguir, detectar y reconocer objetos presentes en diversas escenas de la vida real; lo cual es un desafío que todavía no se logra solucionar en su totalidad. Gracias a los avances e investigaciones de los últimos años se han podido obtener múltiples aplicaciones de detección, reconocimiento y seguimiento en muchas áreas distintas. Éstas incluyen video juegos, asistencia para conductores, edición de video, control de calidad, control de tránsito, vigilancia, seguridad, tracking, etc. Por dar algunos ejemplos (Figura 1.1): en asistencia para conductores existen aplicaciones donde se le advierte al conductor si se está quedando dormido, basándose en reconocimiento de expresiones (Ji, Zhu, & Lan, 2004); en control de calidad existen aplicaciones las cuales pueden definir si un producto está en perfecto estado o no, a partir de las características (tamaño, forma, color, etc.) de la imagen obtenida (Pedreschi, Mery, Mendoza, & Aguilera, 2004); por último, en el área de seguridad y vigilancia existen aplicaciones las cuales, a partir del video de seguridad, detectan objetos o comportamientos extraños, tales como robos, violencia o bombas (Nguyen, Bui, Venkatsh, & West, 2003). Actualmente, para lograr estas tareas se utilizan distintas técnicas, a través de las cuales se obtiene información relevante de las imágenes o videos, conocidos como descriptores o características (Mikolajczyk & Schmid, 2005). Un descriptor debe ser idealmente discriminativo, robusto y fácilmente computable. Existe una gran variedad de descriptores, 4

16 a) b) c) FIGURA 1.1. Ejemplos de aplicaciones de visión por computador existentes. a) Detección y reconocimiento de comportamientos extraños. b) Detección de expresiones y reconocimiento de expresiones faciales para detectar somnolencia del conductor. c) Control de calidad de alimentos a partir de características visuales de una imagen. algunos enfocados a ser calculados rápidamente, mientras que otros, en obtener la mayor información posible. Por otra parte existen algoritmos que detectan regiones relevantes e invariantes al tamaño, luminosidad y perspectiva, de esta forma se calculan las características sólo a estas regiones relevantes y no a toda la imagen, esta tecnología se conoce en inglés como viewpoint invariant segmentation (Kadir, Zisserman, & Brady, 2004; Sivic, Schaffalitzky, & Zisserman, 2004). Es por esto que, la selección de características es uno de los pasos más importantes en el problema de detección, reconocimiento y seguimiento de objetos; además es el punto de partida para construir cualquier aplicación de visión por computador. Ahora, en el área de visión por computador, el seguimiento (o tracking) de peatones, rostros u objetos en general, ha sido un tema extensamente estudiado por su gran utilidad en una variedad de aplicaciones. Aunque se han obtenidos buenos resultados (Isard & MacCormick, 2001; Birchfield, 1998), estos sistemas son altamente estructurados o se sustentan en estrictas restricciones, las cuales generalmente se relacionan con el tipo de objeto a seguir (entrenamiento off-line (Stalder, Grabner, & Leuven, 2009)) o el ambiente en el que está el objeto (sustracción de fondo (Palaio & Batista, 2008)). En términos generales, un sistema de seguimiento tiene tres componentes: representación de la imagen, modelo de apariencia y modelo de movimiento. Actualmente existe 5

17 una variedad de métodos para crear el modelo de apariencia y muchos de éstos utilizan información estadística, la cuales puede ser definida manualmente o entrenada a partir del primer cuadro (Adam, Rivlin, & Shimshoni, 2006). Estos métodos son simples pero generalmente tienen grandes dificultades cuando el objeto seguido cambia significativamente de apariencia en el tiempo. Esto llevó al desarrollo de métodos específicos capaces de adaptar el modelo a medida que el objeto cambia de apariencia; estos modelos son conocidos como Adaptive Appearance Model (Wu, Cheng, Wang, & Lu, 2009; Porikli, Tuzel, & Meer, 2006). Existe un tercer método, donde el modelo de apariencia se rige a partir de clasificadores débiles entrenados online, que detectan el objeto seguido y/o el fondo. Este método conocido como Tracking by Detection (Babenko, Yang, & Belongie, 2009; Grabner, Grabner, & Bischof, 2006), debe equilibrar entre la estabilidad del tracking y la rapidez que aprenden los clasificadores. El problema más desafiante, al momento de actualizar el modelo de apariencia, es la elección de nuevas muestras, tanto positivas como negativas. Babenko et al. (2009) proponen una metodología de muestreo óptima, enfocado específicamente en su modelo de apariencia basado en clasificadores. Además, este modelo utiliza un método modificado de Multiple Instance Learning o MIL (Viola, Platt, & Zhang, 2006) el cual permite seleccionar las mejores características a seguir, incluidas en el objeto. Aunque este sistema tiene excelentes resultados, también tiene sus limitaciones; al ser un sistema de Tracking by Detection debe lidiar con el problema de equilibrar entre estabilidad y aprendizaje, lo cual genera errores en los casos de oclusión parcial prolongada Marco Teórico A continuación, se presentará una descripción completa de los principales algoritmos y métodos empleados como sustento teórico a lo largo de esta tesis; esta descripción incluye: al descriptor de covarianza, al clasificador Naive Bayes Nearest Neighbor y al modelo de apariencia Online Multiple Instance Boosting. Específicamente, el descriptor de covarianza y el clasificador Naive Bayes Nearest Neighbor serán utilizados como base para proponer 6

18 un nuevo modelo de apariencia dinámico y el modelo de apariencia Online Multiple Instance Boosting se empleará principalmente de comparación Descriptor de Covarianza Tuzel et al. (2006) propusieron una elegante solución para integrar múltiples características, las cuales son simples y rápidas de calcular; como gradiente, color, posición o intensidad, inclusive se pueden utilizar características de cámaras infrarrojas o térmicas. En comparación a otros descriptores como Haar (Viola & Jones, 2001) o gradientes de histograma, este descriptor otorga mucho más información y tiene la ventaja que no está sujeto al tamaño de la ventana de búsqueda. La región de covarianza se ha utilizado en distintas aplicaciones y se han propuesto diversas mejoras y complementos, por ejemplo: Tuzel, Porikli, and Meer (2008) y Yao and Odobez (2008) proponen utilizar el descriptor de covarianza más un clasificador LogitBoost, para la detección de peatones; Hu and Qin (2008) proponen utilizar el filtro partículas, para el seguimiento de objetos, utilizando como peso de las partículas, métricas de la matriz de covarianza; Porikli et al. (2006) proponen un algoritmo para seguir objetos utilizando la región de covarianza y álgebra de Lie para crear un modelo de actualización. De esta forma el, descriptor de covarianza, se define formalmente como: F (x, y, i) = φ i (I, x, y) (1.1) donde I es una imagen (la cual puede estar en RGB, blanco y negro, infrarrojo, etc.), F es una matriz de W H d, donde W es el ancho de la imagen, H el alto de la imagen y d es el número de sub-características utilizadas y φ i es la función que relaciona la imagen con la i-ésima sub-característica, es decir la función que obtiene la i-ésima sub-característica a partir de la imagen I. Es importante destacar que las sub-características se obtienen a nivel del píxel. El objetivo es representar el objeto a partir de la matriz de covarianza de la matriz F, construida a partir de estas sub-características. La covarianza es la medición estadística de la variación o relación entre dos variables aleatorias, ésta puede ser negativa, cero o 7

19 positiva, dependiendo de la relación entre ellas. En nuestro caso las variables aleatorias representaran las sub-características. En la matriz de covarianza las diagonales representan la varianza de cada sub-característica, mientras que el resto representa la correlación entre las características. Utilizar la matriz de covarianza como descriptor tiene múltiples ventajas, primero unifica información tanto espacial como estadística del objeto; segundo provee una elegante solución para fusionar distintas características y modalidades; tercero tiene una dimensionalidad muy baja; cuarto es capaz de comparar regiones, sin estar restringido a un tamaño de ventana constante o fija, ya que no importa el tamaño de la región, el descriptor es la matriz de covarianza, que es de tamaño constante d d, y quinto, la matriz de covarianza puede ser fácilmente calculable, para cualquier región o sub-región. A pesar de todos los beneficios que trae la representación del descriptor a partir de la matriz de covarianza, el cálculo para cualquier sub-ventana o región dado una imagen, utilizando los métodos convencionales, la hace computacionalmente prohibitiva. Tuzel et al. (2006) proponen un método computacionalmente superior, para calcular la matriz de covarianza de cualquier sub-ventana o región (rectangular) de una imagen a partir de la formulación de la imagen integral; concepto inicialmente introducido por Viola and Jones (2001), para el cómputo rápido de características de Haar. A continuación explicaremos como se realiza este cálculo: Sea P una matriz de W H d, el tensor de la imagen integral P (x, y, i) = F (x, y, i) i = 1... d (1.2) x<x,y<y Sea Q una matriz de W H d d, el tensor de segundo orden de la imagen integral Q(x, y, i, j) = F (x, y, i)f (x, y, j) i, j = 1... d (1.3) x<x,y<y Además definimos como [ P x,y = P (x, y, 1)... P (x, y, d) ] T (1.4) 8

20 FIGURA 1.2. Ejemplo de cómo se construye el descriptor de covarianza de una región, a partir de una imagen pasando por la creación de la matriz de características. Q(x, y, 1, 1)... Q(x, y, 1, d) Q x,y =..... Q(x, y, d, 1)... Q(x, y, d, d) (1.5) De esta forma la covarianza de cualquier región de la imagen se calcula de la siguiente manera: R Q = Q x,y + Q x,y Q x,y Q x,y (1.6) R P = P x,y + P x,y P x,y P x,y (1.7) C R(x,y ;x,y ) = 1 n 1 [R Q 1 n R P R T P ] (1.8) donde n = (x x )(y y ). De esta forma, después de construir el tensor de primer orden P y el tensor de segundo orden Q, la covarianza de cualquier región se puede computar en O(d 2 ). El proceso anteriormente descrito puede ser resumido por la Figura

21 Cabe destacar que, el descriptor de covarianza no es un elemento del espacio Euclidiano, por lo tanto no se pueden utilizar los clásicos algoritmos de inteligencia de máquinas, como por ejemplo: vecinos cercanos, distancia de Mahanalobis, etc. Por otra parte, las matrices de covarianza son simétricas positivas definidas, las cuales están incluidas dentro de la álgebra de Lie o el espacio de Riemann (Tuzel et al., 2008). En la geometría de Riemann, el espacio de Riemann es un espacio topológico con métricas Riemanianas, las cuales permiten generalizar el espacio Euclidiano (Rossmann, 2002) Naive Bayes Nearest Neighbor El problema de clasificar imágenes ha acaparado considerablemente la atención en la comunidad de Visión por Computador. En los últimos años, el esfuerzo combinado de la comunidad científica dio lugar a nuevos y novedosos enfoques para la clasificación de imágenes. Estos métodos pueden dividir aproximadamente en dos grandes familias: (i) Learning-based Classifiers: clasificadores que requieren una fase intensiva de aprendizaje/entrenamiento de los parámetros internos, como por ejemplo; SVM (Cortes & Vapnik, 1995), Boosting (Viola & Jones, 2001), árboles de decisión, etc. (ii) Non-parametric Classifiers: clasificadores que soportan su decisión directamente a través de los datos y no requieren una fase de entrenamiento/aprendizaje de parámetros. Uno de los clasificadores no paramétricos más común es el de Vecinos más cercanos o Nearest Neighbor Classifier. Los clasificadores no paramétricos tienen relevantes ventajas, las cuales no son compartidas por la mayoría de los enfoques que utilizan Learning-based Classifiers. Primero, pueden manejar naturalmente un gran número clases. Segundo, evitan el sobre entrenamiento de parámetros, lo cual es uno de los problemas centrales en los Learning-based Classifiers. Finalmente, no requieren entrenamiento. 10

22 A pesar de todas estas ventajas, en el área de clasificación de imágenes, existe una gran brecha de rendimiento entre los métodos que utilizan el enfoque Nearest Neighbor Classifier y los métodos, en el estado del arte, que utilizan Learning-based Classifiers. Según Boiman et al. (2008), la degradación de los métodos no paramétricos en la clasificación de imágenes, sucede principalmente por dos prácticas comunes: (i) Cuantificación de Descriptores: las imágenes son a frecuentemente representadas por un conjunto de descriptores locales; tales como SIFT (Lowe, 1999), HOG (Dalal & Triggs, 2005), etc. Estos son a menudo cuantificados con el objetivo de construir una relativamente pequeña colección de descriptores relevantes o bag of words, lo cual permite generar una representación condensada de la imagen. Esta reducción, da a lugar a una significativa disminución a la dimensionalidad, pero también, a una importante disminución al poder discriminativo del descriptor. (ii) Distancia Imagen-Imagen: en la clasificación de imágenes, los métodos basados en Vecinos más Cercanos, proveen buenos resultados exclusivamente cuando la imagen a clasificar es similar a una de las imágenes incluida en la base de datos del clasificador. Lo cual no permite generalizar para clase con gran diversidad de contenido incluido en la imagen. En defensa de los Nearest Neighbor Classifier, Boiman et al. (2008) proponen un clasificador, el cual obtiene rendimientos entre los principales líderes en clasificación de imágenes, llamado Naive Bayes Nearest Neighbor (NBNN). El Algoritmo utiliza una distancia Nearest Neighbor en el espacio de los descriptores locales y no en el espacio de la imagen. De esta forma el Naive Bayes Nearest Neighbor, calcula directamente una distancia Imagen-Clase, sin cuantificar los descriptores. Además demuestran que bajo el supuesto Naive Bayes, el algoritmo propuesto obtiene el clasificador óptimo teórico, para la imagen. El algoritmo de Naive Bayes Nearest Neighbor es sorprendentemente simple, ya que gracias al enfoque de vecinos más cercanos, el supuesto de Naive Bayes y la distribución 11

23 de los descriptores; logra simplificar el clasificador óptimo de imágenes definido por la distribución probabilística p(d C); donde d representa los descriptores de la imagen a clasificar y C la clase. Específicamente, la distribución de probabilidad de los descriptores es modelada por la función kernel de Parzen, la cual es no paramétrica y tiene una distribución donde casi todos los descriptores son más bien aislados en el espacio, por tanto, muy lejos de la mayoría de los descriptores en la base de datos. Finalmente el algoritmo, a partir de un imagen de entrada, calcula todos los descriptores locales d 1...d n. Luego busca la clase C que minimice n i=1 d i NN C (d i ) 2, donde NN C (d i ) representa el descriptor en la clase C específica, más cercano a d i, según vecinos más cercanos. El método puede ser resumido por el algoritmo 1. Algoritmo 1: Naive Bayes Nearest Neighbor (NBNN) Data: imagen a consultar Result: clase estimada Ĉ Computar los descriptores d 1,..., d n de la imagen de entrada; d i C clasificar d i en C a partir de vecinos más cercanos: NN C (d i ); Ĉ = arg min c n i=1 d i NN C (d i ) 2 ; De esta forma, Ĉ representa la clase estimada, a partir de los d 1,..., d n descriptores de la imagen de entrada Online Multiple Instance Boosting (OMB) Babenko et al. (2009) proponen un nuevo algoritmo de Online Boosting para el problema de Multiple Instance Learning o MIL, el cual utiliza un enfoque estadístico de Boosting, que intenta optimizar una función de pérdida (o ganancia) J específica. En este enfoque los clasificadores débiles son seleccionados secuencialmente para optimizar el siguiente criterio: (h k, α k ) = arg max J(H k 1 + αh) (1.9) h H,α 12

24 Donde H k 1 es un clasificador fuerte construido a partir de los (k 1) clasificadores debiles y H es el conjunto de todos los posibles clasificadores débiles. En los algoritmos de Boosting con aprendizaje previo, la función objetivo J es calculada a través de todo el conjunto de datos de entrenamiento. En este caso, para cada cuadro del video, se utiliza un set de entrenamiento {(X 1, y 1 ), (X 2, y 2 ),... }, donde X i = {x i1, x i2... } es una conjunto (bag) de muestras e y i es la clase o etiqueta. Además, el modelo de apariencia incluye un clasificador discriminativo, el cual es capaz de resolver p(y = 1 x), donde x es una región de la imagen e y es una variable binaria que indica la presencia del objeto de interés en la región x. Ahora, para actualizar o estimar p(y = 1 x), se debe maximizar la log verosimilitud de estos datos. De esta forma, la probabilidad se modela como: p(y = 1 x) = σ(h(x)) (1.10) Donde σ = 1 1+e x es la función sigmoidal y las probabilidades del conjunto de muestra p(y i X i ) son modeladas usando la función NOR (1.11). p(y i X i ) = 1 j (1 p(y i x ij )) (1.11) En todo momento el algoritmo mantiene un número M de clasificadores débiles candidatos, los cuales se actualizan todos en paralelo, para actualizar el clasificador. Cabe destacar que, las muestras a pesar de ser traspasadas en conjuntos (bag), los clasificadores débiles de un algoritmo MIL necesitan la clasificación por instancia, es decir y ij. Debido a que está información no está disponible, todas las muestras x ij son etiquetadas a partir de y i. A continuación, se seleccionan K (tal que K < M) clasificadores débiles h desde el conjunto disponible M, utilizando el siguiente criterio. h k = arg max log L(H k 1 + h) (1.12) h {h 1,...,h M } log L = i (log(p(y i X i ))) (1.13) El método puede ser resumido por el algoritmo 2. 13

25 Algoritmo 2: Online Multiple Instance Boosting (OMB) Data: Conjunto {X i, y i } N i=1, donde X i = {x i1, x i2,... }, y i {0, 1} Result: Clasificador H(x) = k h k(x), donde p(y = 1 x) = σ(h(x)) Actualizar los M clasificadores débiles del conjunto, con {x ij, y i }; Inicializar H ij = 0 para todos los i, j; for k = 1 to K do end for m = 1 to M do p m ij = σ(h ij + h m (x ij )); end p m i = 1 j (1 pm ij ); L m = i (y i log(p m i ) + (1 y i )log(1 p m i )); m = arg max m L m ; h k (x) h m (x); H ij = H ij + h k (x); A partir del marco teórico aquí presentado, podemos concluir que usando técnicas de el estado del arte en el área de visión por computador, es posible representar, reconocer y seguir un objeto presente en una imagen. Esto nos permitirá cumplir con los objetivos planteados en esta tesis. 14

26 2. DISEÑO 2.1. Hipótesis La hipótesis de este trabajo es que a partir de técnicas de visión por computador, inteligencia artificial y múltiples vistas; tales como el descriptor de covarianza y el modelo de apariencia Naive Bayes Nearest Neighbor, es posible medir tiempos de esperas, en un cola formada en una caja de servicio de un supermercado Objetivos El objetivo general de este trabajo es medir tiempos de esperas de los clientes, a medida que avanzan a través de una cola de espera, formada en una caja de servicio de un supermercado. Específicamente nuestro objetivo es desarrollar un sistema de seguimiento de rostros suficientemente preciso, tal que nos permita seguir al cliente, a lo largo de la cola de espera; lo cual nos proporcionará el tiempo de espera del cliente. Debido a que las colas son recurrentemente largas, nuestra solución implica un sistema dos cámaras sincronizadas, una a la entrada de la cola y otra a la salida. De esta forma, nuestro sistema deberá ser capaz de asociar la información de ambas cámaras para obtener mediciones precisas. Para esto, construiremos un nuevo modelo de apariencia dinámico, robusto a oclusiones parciales prolongadas y a cambios de apariencia prolongados; basado en el descriptor de covarianza (Tuzel et al., 2006) y en el clasificador Naive Bayes Nearest Neighbor (Boiman et al., 2008). Además deberá tener como principal característica, la capacidad de aprender la apariencia del objeto seguido, a medida que pase el tiempo. Como lo explicamos anteriormente, nuestra solución incluye dos cámaras debido al gran tamaño de las colas; esto quiere decir que a medida que avanza el cliente en la cola, éste hace un recorrido desde la primera cámara hacia la segunda (Figura 2.1). De esta forma, en el momento que el cliente abandona el campo visual de la primera cámara, inmediatamente después, en la segunda cámara el sistema deberá detectar los rostros presentes en la escena y luego reconocer al cliente. 15

27 FIGURA 2.1. Configuración de las dos cámaras de video en una caja de supermercado. La primera cámara controla el ingreso de los clientes a la cola y la segunda controla la salida del cliente. Finalmente, como objetivo secundario, deseamos estudiar empíricamente las ventajas y desventajas de una configuración lateral de las cámaras, en comparación a una configuración top view o vista superior Metodología Con el fin de cumplir nuestros variados objetivos hemos diseñado dos experimentos independientes (2.2). El primero, está divido en tres sub-experimentos y estará dirigido específicamente a medir la precisión y rendimiento del modelo propuesto. De esta forma, el primer sub-experimento estará enfocado en comparar el modelo de apariencia propuesto con un método en el estado del arte en el Online Boosting; el segundo sub-experimento tendrá nuevamente como objetivo comparar modelo de apariencia propuesto, pero con un conjunto siete algoritmos de seguimiento en el estado del arte; y finalmente el tercer sub-experimento tendrá como objetivo probar el modelo propuesto en diferentes escenas 16

28 FIGURA 2.2. Diagrama general del trabajo realizado. y situaciones extremas. Para esto utilizaremos catorce videos, los cuales, para facilitar la explicación, los separaremos en tres grupos. El primer grupo incluye nueve videos públicos utilizados en los principales y más modernos trabajos respecto al seguimiento de objetos, para las pruebas de comparación. Cada video tendrá la información relacionada a la posición real del objeto seguido para cada cuadro (ground truth); además tendrán diferentes resoluciones, frecuencias y podrán ser tanto blanco y negro, como a color. Para la comparación se utilizarán siete algoritmos, en el estado del arte (Grabner et al., 2006; Grabner, Leistner, & Bischof, 2008; Adam et al., 2006; Babenko et al., 2009; Saffari, Leistner, Santner, Godec, & Bischof, 2010; Santner, Leistner, Saffari, Pock, & Bischof, 2010; Gu, Zheng, & Tomasi, 2010), relacionados con el área de seguimiento. El segundo grupo incluye cuatro videos realizados específicamente para esta tesis. Los videos fueron captados en una resolución de , a 30 cuadros por 17

29 segundo, en un supermercado local (Santiago, Chile) con cámaras Point Grey y describen escenas con fondos complejos, peatones y oclusiones extremas. Estos videos no incluyen información respecto a la posición real del objeto seguido para cada cuadro; ni comparación con otros algoritmos. El tercer y último grupo es un video de larga duración capturado desde una perspectiva superior (top view) 1, el cual describe el transito de peatones. Cada peatón incluye información respecto a su posición real para cada cuadro, pero al igual que el segundo conjunto éste no tendrá comparación con otros algoritmos. El segundo experimento estará dirigido a medir la precisión del sistema de seguimiento, con el objetivo de estimar el tiempo de espera de los clientes y compararlos con los tiempos reales medidos. Para esto utilizaremos dos videos, tomados específicamente para esta tesis, de larga duración con una resolución de , captados por dos cámaras sincronizadas (una escena, múltiples vistas) a 30 cuadros por segundo, en un supermercado local (Santiago, Chile) con cámaras Point Grey. 1 BIWI Walking Pedestrians Datasets

30 3. MÉTODO PROPUESTO El sistema de seguimiento propuesto incluye los tres componentes descritos anteriormente, representación de la imagen, modelo de apariencia y modelo de movimiento. Tanto la representación de la imagen, como el modelo de movimiento fueron construidos a partir de pequeñas variaciones de métodos existentes. Sin embargo, el modelo de apariencia propuesto, nuestra principal contribución, es un nuevo modelo llamado Online Naive Bayes Nearest Neighbor, el cual es robusto a oclusiones parciales prolongadas y cambios drásticos de apariencia. Adicionalmente incluiremos un cuarto componente, enfocado específicamente al calcula de tiempos de espera; el cual nos permitirá detectar y reconocer clientes entre una cámara y otra, de tal forma que podamos continuar el seguimiento. Este componente utiliza el detector de rostros propuesto por Viola and Jones (2001) y el modelo propuesto Online Naive Bayes Nearest Neighbor para reconocer al cliente Representación de la Imagen Para representar la imagen, utilizamos el descriptor de covarianza (Tuzel et al., 2006) con un tensor de 12 características, el cual está definido por: F (x, y, i) = [x y R G B I x I y Ix 2 + I y 2 I xx... I yy tan 1 ( Ix I y ) S] T (3.1) donde x e y representan las coordenadas 2D de cada píxel; R, G, B representa el valor de rojo, verde y azul de cada píxel; I x, I y, I xx, I yy representa la primera y segunda derivada, en x e y, de la intensidad de la imagen ; I x 2 + I y 2 representa la magnitud de la segunda derivada; tan 1 ( Ix I y ) reprensenta la orientación de la primera derivada en x e y (fase) y S representa un Saliency Map (Montabone & Soto, 2010). Cabe destacar que Cortez, Undurraga, Mery, and Soto (2009) recomiendan utilizar 11 de las 12 características utilizadas; en nuestro caso además agregamos un Saliency Map debido a los excelentes resultados empíricas obtenidos. 19

31 FIGURA 3.1. Método para normalizar las regiones. Notar que se crea una nueva imagen, de esta forma se pueden utilizar ventanas de búsquedas con transformaciones afines. Cabe destacar que en nuestro caso, no calculamos los tensores de toda la imagen, sino que sólo de las regiones que nos interesan; en contraste al método original propuesto por Tuzel et al. (2006). De esta forma podemos utilizar ventanas de búsqueda rotados o con transformaciones afines. El proceso incluye extraer la región deseada (a fin de calcular el descriptor) desde la imagen original, crear una nueva imagen y transformar la imagen a un tamaño fijo de píxeles, para objetos simétrico (rostros) y píxeles, para casos asimétricos (peatones). Por otra parte, aunque el descriptor de covarianza tiene un grado de invariabilidad a cambios de escala, éste no es suficiente para casos extremos; es por esto que al utilizar un tamaño fijo para la nueva imagen, añadimos un nivel más de normalización a cambios de escala (Figure 3.1). Por último, como lo describimos anteriormente, el descriptor de covarianza no es un elemento del espacio Euclidiano, ya que es una matriz semi definida positiva (SP D + ). Por lo tanto, los clásicos algoritmos de inteligencia de máquina, como por ejemplo PCA (Pearson, 1901), LDA (Abdi, 2007), etc., en su forma original no pueden ser utilizados, ya que utilizan una representación vectorial y el espacio euclidiano para calcular la separación optima de los conjuntos. Las matrices SP D + están incluidas en el álgebra de Lie o el espacio de Riemann (Riemannian Manifolds) (Rossmann, 2002), así que para poder comparar dos descriptores de covarianza, utilizamos una métrica para matrices semi definidas positivas Log-Euclidiana (Ayache, Fillard, Pennec, & Nicholas, 2007), la cual se define 20

32 como: ρ(x, Y) = log(x) log(y) (3.2) Donde log(x) es el mapa logarítmico de la matriz de covarianza, que está definido por la descomposición de valores singulares de la matriz X. Sea la descomposición de valores singulares de X, SV D(X) = UΣU T, donde U es una matriz ortonormal y Σ = Diag(λ 1,..., λ n ) es una matriz diagonal de valores propios. Por lo tanto, el mapa logarítmico se define como: log(x) = U[diag(log(λ 1 ),..., log(λ n ))]U T (3.3) En este trabajo proponemos un nuevo modelo de apariencia conjunto que logra mezclar tanto los modelos adaptivos como por detección, llamado Online Naive Bayes Nearest Neighbor; el cual utiliza un clasificador Naive Bayes Nearest Neighbor (Boiman et al., 2008) y el descriptor de covarianza (Tuzel et al., 2006) Modelo de Apariencia: Online Naive Bayes Nearest Neighbor (ONBNN) A partir de la idea de Boiman et al. (2008), diseñamos un modelo de apariencia que clasifica cada región de una nueva imagen, gracias a un clasificador Naive Bayes Nearest Neighbor. En el método propuesto, el clasificador Naive Bayes Nearest Neighbor es actualizado en cada iteración con nuevas muestras positivas; donde cada muestra es representada por el descriptor de covarianza de la región. De esta manera, construimos una base de datos del objeto seguido, lo cual es necesario para el enfoque de vecinos más cercanos utilizado por el algoritmo Naive Bayes Nearest Neighbor. Cada muestra está representada por cuatro características de covarianza, donde cada descriptor representa uno de los cuatro cuadrantes de la imagen (Figura 3.2). De esta forma el modelo de apariencia se define como M(q, i); donde q = 1, 2, 3, 4 representa uno de los cuatro cuadrantes, i = 1,..., m q es el número de la muestra para el cuadrante q específico, m q es el número de muestras totales almacenadas en modelo para el cuadrante q y M(q, i) es el descriptor de covarianza del cuadrante q para la muestra i. Notar que las muestras son específicas para cada cuadrante, pero éstas deben ser menor o igual a N (Figura 3.3). 21

33 FIGURA 3.2. Distribución de los cuatro cuadrantes a los cuales se le calcula el descriptor de covarianza. FIGURA 3.3. Diagrama del modelo de apariencia A continuación definimos P (q) como una muestra; donde nuevamente q = 1, 2, 3, 4 representa uno de los cuatro cuadrantes y P (q) es el descriptor de covarianza del cuadrante q, calculado a partir de (1.8). Por lo tanto la distancia de una muestra P al modelo M se define como: d(m, P ) = 4 q=1 min i m q ( ) ρ(m(q, i), P (q)) + λ Z M (q, i) Z P (q) (3.4) 22

34 Donde utilizamos la métrica definida en (3.2), ya que M(q, i) y P (k) son matrices de covarianza. Además agregamos información espacial pérdida al utilizar las regiones y no la imagen completa, para calcular la matriz de covarianza, donde Z M (q, i) y Z P (q) son la posición (x, y) del centro de la región, con respecto a la imagen original, que representa M(q, i) y P (q) respectivamente y λ es el factor de relevancia de la distancia euclidiana en el modelo. De esta forma, agregamos la distancia euclidiana relativa a la imagen (distancia en píxeles), entre los centros de los cuadrantes de la muestra y del modelo. Para actualizar el modelo definimos un protocolo, donde el cuadrante, de la última región estimada P (q), con menor distancia promedio al modelo M(q, i) es agregado. La distancia promedio, entre el cuadrante y las muestras del cuadrante para el modelo M(q, i), se define como: ω(m, P, q) = 1 m q m q i=1 ρ(m(q, i), P (q)) (3.5) Donde q es el cuadrante al cual se le está calculando la distancia promedio y m q es la cantidad de muestras para el cuadrante q. Además definimos R(q, j), como una matriz que almacena la distancia promedio al modelo obtenida, al momento de agregar una nueva muestra al modelo (3.9). Por último, el modelo se actualiza de la siguiente manera: j = q = arg min ω(m, P, q) (3.6) q m q + 1 if m q < N arg max R(q, i) i m q if m q = N (3.7) M(q, j) = P (q ) (3.8) R(q, j) = ω(m, P, q ) (3.9) Específicamente, la ecuación (3.6) busca el cuadrante de P con menor distancia promedio al modelo; la ecuación (3.7) describe como es seleccionado el indice donde se agregará 23

35 la muestra (del cuadrante q) en el modelo y la ecuación (3.9) guarda la distancia promedio de la muestra al modelo. Esta información es utilizada para definir el protocolo de actualización (3.7). Debido a que el modelo debe ser online, no es posible agregar infinitas muestras, por lo tanto definimos N, como la memoria del modelo; en nuestras pruebas le asignamos un valor de 30. Con el fin de otorgar cierta flexibilidad, al momento de actualizar un cuadrante con N muestra en memoria, la muestra con mayor distancia promedio es eliminada y la nueva muestra es agregada. La distancia que conforma el ranking de muestras es calculado y almacenado cuando la nueva muestra es agregado al modelo. De esta forma evitamos que el modelo se confunda en oclusiones parciales prolongadas, pero damos un umbral de aprendizaje que otorga estabilidad. Al momento de inicializar el modelo, los cuatro cuadrantes de la región inicial son guardados, con distancia promedio al modelo igual a 0. Para más detalle referirse al algoritmo 3, el cual recibe un conjunto de parámetros que describen un conjunto de ventanas de búsqueda, donde (x k, y k ) representa el centro, (w k, h k ) representa el ancho y el largo y θ l representa la rotación, de la ventana. Finalmente, el algoritmo devuelve la configuración de los parámetros, que obtiene menor distancia al modelo. 24

36 Algoritmo 3: Online Naive Bayes Nearest Neighbor Data: {x k, y k, w k, h k, θ k } K k=1, M, R Result: x k, y k, w k, h k, θ k for k = 1 to K do end I = getimage(x k, y k, w k, h k, θ k ); P k = getcovariancedescriptors(i); // Nueva imagen deformada d k = d(m, P k ); // ecuación (3.4) k = arg min d k ; k P = P k ; q = arg min ω(m, P, q) ; q if m q < N then j = m q + 1 else j = arg max R(q, i) ; i m q end M(q, j) = P (q ); R(q, j) = ω(m, P, q ); 3.3. Modelo de Movimiento Para poder destacar la real contribución del modelo de apariencia propuesto, utilizamos un modelo de movimiento muy simple, que realiza una búsqueda exhaustiva local a múltiples escalas en un área menor incluida en la última posición estimada. Formalmente, sea O t 1 x,y,w,h sea la región seguida en el instante t 1 del video, con centro x, y y dimensiones w, h. Se define el área de búsqueda para el instante t como S t x,y,w,h ; donde: S t x,y,w,h = O t 1 x,y, w α, h α (3.10) 25

37 FIGURA 3.4. Descripción del modelo de movimiento. El rectángulo verde representa la última región seguida O t 1 x,y,w,h, el rectángulo rojo representa el área de búsqueda Sx,y,w,h t y los rectángulos azules representan las muestras T x,y,w,h t En el área Sx,y,w,h t se busca exhaustivamente a partir de la región T x,y,w,h t ; donde los centros T t x,y,w,h son las coordenadas de cada píxel, dentro del área de búsqueda St x,y,w,h y β n es una lista de escalares (Figura 3.4). T t x,y,w,h = S t x p,y p,wβ n,hβ n (3.11) Finalmente, al momento t, se selecciona la región T t x n,y n,w n,h n con menor distancia al modelo de apariencia. Notar que el modelo de movimiento es totalmente independiente al modelo de apariencia Detección y reconocimiento de clientes Para poder aplicar el método de seguimiento propuesto, en un ambiente de múltiples cámaras, es necesario lograr reconocer y detectar el objeto (seguido), entre las cámaras presentes. Específicamente para el problema de estimar tiempos de espera de clientes; el sistema consta de dos módulos; un detector de rostros propuesto por Viola and Jones (2001) y el clasificador Online Naive Bayes Nearest Neighbor para reconocer al cliente (Figura 3.5). El detector de rostros propuesto por Viola and Jones (2001) utiliza las características simples de Haar, la imagen integral y un detector en cascada (Boosting) para detectar todos los rostros presentes en una imagen. En nuestro caso, utilizamos la implementación 26

38 provista por OPENCV 1 y dos conjuntos de pesos para las cascadas; uno para rostros de perfil y otro para rostros frontales, con los siguientes parámetros de configuración: (i) Factor de escala: 1.1. (ii) Número mínimo de vecinos: 3. (iii) Poda de imágenes: a partir del detector de bordes de Canny. (iv) Tamaño mínimo de ventana: píxeles. A continuación, a partir de los rostros detectados, se debe reconocer al cliente (seguido); para esto utilizamos el mismo modelo de apariencia propuesto, con toda la información acumulada durante el trascurso del seguimiento. Finalmente se selecciona el rostro detectado con menor distancia al modelo. Cabe destacar que, luego de detectar y reconocer al cliente en la nueva cámara, el modelo de apariencia es reiniciado con nueva información base del objeto (posición inicial y se borra la memoria). El algoritmo 4 describe el proceso. Algoritmo 4: Detector y Reconocedor de Rostros Data: M, Frame Result: x k, y k, w k, h k {x k, y k, w k, h k } K k=1 = facedetectionv iolaandjones(frame); for k = 1 to K do end I = getimage(x k, y k, w k, h k, 0); // Nueva imagen deformada con θ = 0 P k = getcovariancedescriptors(i); d k = d(m, P k ); // ecuación (3.4) k = arg min k d k ; 1 Open Source Computer Vision Library

39 FIGURA 3.5. Diagrama del proceso de detección y reconocimiento de rostros entre cámaras 28

40 4. EXPERIMENTOS Para alcanzar los objetivos propuestos en este trabajo, hemos diseñado dos experimentos independientes. El primero estará orientado en cuantificar el rendimiento del nuevo modelo de apariencia. El segundo estará dirigido a medir la precisión del cálculo del tiempo de espera de los clientes, a medida que avanzan en una cola Modelo de apariencia Debido a la necesidad cuantificar la precisión, el rendimiento y el real aporte del nuevo modelo de apariencia, se han diseñado un conjunto de experimentos. Específicamente el nuevo algoritmo será probado en una serie de desafiantes videos, tanto públicos como específicos para esta tesis y en comparación utilizaremos siete distintos algoritmos. A continuación se describirán la configuración de los siete algoritmos, más la configuración del modelo propuesto. (i) Online-AdaBoost (OAB): propuesto por Grabner et al. (2006) e implementado en (Babenko et al., 2009); donde el radio de búsqueda se fijo en 35 píxeles. (ii) SemiBoost tracker: descrito por Grabner et al. (2008), utiliza información etiquetada sólo del primer cuadro y luego, en los cuadros posteriores, actualiza el modelo de apariencia vía una metodología online semi-supervised learning. Esto lo hace particularmente robusto a escenarios donde el objeto deja por completo la escena. Sin embargo, el modelo depende estrictamente del clasificador entrenado a partir del primer cuadro. (iii) FragTrack: descrito en (Adam et al., 2006), utiliza un modelo de apariencia estático basado en Integral Histograms, los cuales han demostrado ser muy eficientes. El modelo de apariencia es Parte-based, lo cual lo hace robusto a oclusiones. (iv) Online Multiple Instance Boosting (OMB): propuesto por Babenko et al. (2009), es un algoritmo de seguimiento en el estado del arte del Online Boosting, utiliza una tasa de aprendizaje para clasificadores débiles fijo en 0.85 y un ponderador 29

41 para el muestreo de ejemplares negativas fijo en 50. Además, debido a que el algoritmo tiene una fuerte dependencia a la construcción al azar de las características de Haar utilizaremos cinco intentos con la misma configuración, para cada video. (v) Online Random Forests (ORF): propuesto por Saffari et al. (2010), es un algoritmo que combina las ideas de muestreo online, bosques (forest) extremadamente aleatorios y procedimientos para el crecimiento de árboles de decisión online; además incluye un esquema temporal de pesos para descartar algunos árboles. (vi) Parallel Robust Online Simple Tracking (PROST): propuesto por Santner et al. (2010), es un algoritmo que combina en una cascada, un simple modelo basado en plantillas, un novedoso sistema de optical flow basado en MeanShift y un modelo de apariencia basado en un online Random Forest. (vii) Efficient Visual Object Tracking with Online Nearest Neighbor Classifier (NN): propuesto por Gu et al. (2010), es un algoritmo, con el enfoque de tracking by detection, que combina un clasificador de vecinos más cercanos, búsqueda eficiente de ventanas y un novedoso método de selección y poda de características. (viii) Online Naive Bayes Nearest Neighbor (ONBNN): para nuestro método propuesto, el valor de los parámetros para todos los experimentos son: λ = 0.05, α = 2.5, β n = {0.8, 1, 1.1, 1.3} y N = 30. Inicialmente, realizaremos un experimento con cinco videos públicos 1, Surfer, Occluded Face, Occluded Face 2, Girl y David; frente a cinco intentos distintos del algoritmo Online Multiple Instance Boosting. Luego realizaremos un segundo experimento con ocho videos, los cuales incluirán cuatro de los videos anteriormente descritos (Occluded Face, Occluded Face 2, Girl y David ) más cuatro videos públicos 2 adicionales, Lemming, Board, Liquor y Box; donde comparamos a los siete algoritmos descritos anteriormente, más el 1 Tracking With Online MIL Research Page - bbabenko/project miltrack.shtml 2 PROST Research page

42 mejor intento para cada video especifico, del algoritmo Online Multiple Instance Boosting (obtenida en el primer experimento). Cabe destacar que, la información de la posición real del centro del objeto seguido (ground truth), cada cinco cuadros, será proveída por Babenko et al. (2009) y por (Santner et al., 2010). Adicionalmente realizaremos un tercer experimento con un grupo de videos privados y públicos, sin utilizar algoritmos de comparación. Este conjunto de videos incluye seguimiento de peatones, escenas con complejos fondos o background y videos con vista superior o top view 3. Finalmente, para medir del desempeño, utilizamos un error (en píxeles) promedio de la ubicación del centro; la cual calcula para cada cuadro, la norma euclidiana entre el centro de la posición estimada y la posición real del centro del objeto seguido (4.1). Además, la posición, en el primer cuadro del video, del objeto a seguir será ingresada manualmente, por algún usuario. e = 1 n n O x,y Ox,y g (4.1) i= Tiempos de espera Para corroborar nuestra hipótesis, en síntesis debemos cuantificar la precisión y el rendimiento, de los tiempos de espera estimado, por el sistema de seguimiento propuesto. Para esto, hemos definido un experimento a partir de una escena de larga duración, captada por dos cámaras sincronizadas, donde se debe calcular el tiempo de espera de los clientes que llegan a una caja de servicio específica. Primero diseñamos una distribución específica para las cámaras situadas en la caja de servicio (Figura 4.1), de tal forma que cubra el mayor campo visual posible. Esta configuración consta de dos cámaras; la primera situada en la parte superior final de la caja y la segunda situada aproximadamente a un 1.20 metros de altura, justo antes de comenzar la caja registradora. Esta configuración de dos cámaras permite seguir a través de la fila, al cliente, de tal forma que si sale del campo visual de la primera cámara, el cliente aparecerá 3 BIWI Walking Pedestrians Datasets

43 (a) Vista Superior (b) Vista Lateral FIGURA 4.1. Vista superior y lateral de la configuración de las cámaras. en la segunda. Por otra parte, se privilegió esta distribución, ya que disminuye la oclusión al momento que la cola de espera crece. Algoritmo 5: Criterio entrada y salida Cliente Data: frames, rectestimado Result: estado del cliente en la cámara while frames.next! = NULL do end if frames.next es de la cámara 1 then else end if rectestimado.center.x < inlimit then return cliente entro a la cola de espera; else if rectestimado.topleft.x < outlimit then return cliente salió de la cámara; end if rectestimado.topleft.x < outlimit then return cliente salió de la caja; end Segundo, para poder medir el tiempo de espera de un cliente, fijamos un umbral de entrada y salida de la cámara, en el espacio 2D de la imagen (Figura 2.1). Esto quiere decir que en el caso que la posición estimada del cliente, traspase un umbral (en X ó Y ), se considerará que el cliente entro o salió de la cámara. Además, en el instante que el sistema 32

44 estime que un cliente salió de la primera cámara, comenzara automáticamente a seguirlo en la segunda cámara, sin embargo si el sistema estima que salió de la segunda cámara, se estimará que el cliente salió de la fila. Formalmente el umbral de entrada y salida se define en el Algoritmo 5. Donde rectestimado.center.x representa la coordenada x del centro de la posición estimada del rostro del cliente, rectestimado.topleft.x representa la coordenada x de la esquina superior izquierda de la posición estimada del rostro del cliente, inlimit = 190 (píxeles) y outlimit = 10 (píxeles). Tercero, debido a que el sistema de seguimiento utilizará como base el modelo de a- pariencia propuesto, el sistema deberá regirse a partir de las restricciones de este. Por lo tanto, cada cliente que deba ser seguido por el sistema, se le deberá marcar manualmente su posición inicial, en la primera cámara; no así en la segunda, ya que será detectado automáticamente por el sistema. Finalmente, para comparar los resultados se hará una medición manual de los mismos clientes seguidos por el sistema, utilizando el mismo criterio descrito anteriormente (Algoritmo 5). Esto quiere decir que en el caso que un cliente pase el umbral de salida, se le terminará el tiempo de espera, inclusive si llegara a devolverse a la caja. 33

45 5. RESULTADOS Los resultados de los experimentos, anteriormente descritos, estarán divididos, al igual que los experimentos, en dos grupos. Primero presentaremos los resultados respecto al modelo de apariencia propuesto; a continuación, los relacionados con el cálculo del tiempos de espera en una cola Modelo de apariencia propuesto: Online Naive Bayes Nearest Neighbor (ONBNN) Los resultados obtenido en los experimentos fueron alentadores; nuestro algoritmo Online Naive Bayes Nearest Neighbor siguió correctamente el objeto, en cinco de los ocho videos utilizados; donde en tres de ellos obtuvo el menor error promedio en píxeles (Tabla 5.1). En el video Occluded Face, el algoritmo FragTrack obtiene el mejor desempeño, porque está diseñado específicamente para manejar este tipo de oclusiones, ya que utiliza un parte-base Model. Sin embargo, en videos similares, pero más desafiantes, tal como el video Occluded Face 2, el algoritmo FragTrack obtuvo pobres resultados, debido a que no puede manejar adecuadamente el cambio de apariencia del objeto. Esto destaca las ventajas de utilizar Adaptive Appearance Model. Es más, los modelos de Online Boosting y Semi Boosting tiene problemas con oclusiones parciales prolongadas. Por otra parte, en los videos board, box, lemming y liquor, el algoritmo propuesto obtuvo mediocres resultados; esto se debe principalmente a la existencia de oclusión completa; lo cual debido al pobre modelo de movimiento y búsqueda, provoca la pérdida del objeto seguido. Ahora, en el video board el error promedio obtenido, fue considerablemente mayor en comparación a los otros métodos; esto se debió a la ventana inicial seleccionada, la cual cubre en proporción casi la misma cantidad de fondo que de objeto. Esto es especialmente relevante para el descriptor de covarianza, ya que el algoritmo utiliza todo la ventana para calcular el descriptor, no así otros descriptores (como SIFT) que sólo utilizan áreas relevantes o de interés. Corrigiendo la ventana inicial (se rotó 125 o ) se obtuvo un error promedio de 16.7 píxeles (Figura 5.6), lo cual supera el algoritmo con mejor resultado (error promedio de 20.0 píxeles). 34

46 TABLA 5.1. Error promedio de la ubicación del centro (en píxeles). Los algoritmos comparados son: OAB con r = 1, ORF, PROST, NN, FragTrack, SemiBoost, OMB y ONBNN. Los resultados destacados indican los mejores desempeños y los subrayados los siguientes mejores. Secuencia # Frames OAB ORF OMB SemiBoost Frag PROST NN ONBNN Girl David Faceocc Faceocc Board Box Lemming Liquor TABLA 5.2. Error promedio de la ubicación del centro (en píxeles). Los algoritmos comparados son; OMB (con sus cinco ejecuciones) y ONBNN. Los resultados destacados indican los mejores desempeños y los subrayados los siguientes mejores. Secuencia # Frames OMB 1 OMB 2 OMB 3 OMB 4 OMB 5 ONBNN Surfer , Faceocc Faceocc Girl David TABLA 5.3. Error promedio de la ubicación del centro (en píxeles). Video con vista superior, de larga duración donde se siguieron 100 peatones. ONBNN # Frames 1193 # Peatones 100 Error Prom. (píxel) 5.70 Error Máx. (píxel) Ahora, comparado con un algoritmo en el estado del arte en el área de Online Boosting, tal como el propuesto por Babenko et al. (2009), nuestro modelo obtuvo mejores resultados (Tabla 5.2, Figura 5.1). En resumen, nuestro método logra disminuir un 33.1% el error promedio (en píxeles), en comparación a la mejor combinación de los cinco intentos (para cada video) del algoritmo Online Multiple Instance Boosting (Babenko et al., 2009). 35

47 FIGURA 5.1. Error (en píxeles), cuadro a cuadro, de los centroides para cada secuencia seleccionada. 36

48 FIGURA 5.2. Video Faceocc1; cambios drásticos de apariencia y oclusión parcial. El rectángulo verde representa el método propuesto ONBNN y el rojo representa el método OMB. Por otra parte, la memoria N del modelo fue seleccionada a partir de pruebas empíricas. El modelo de apariencia con N > 30 tiende a resultados promedios similares al modelo con N = 30; no así cuando N < 30, el modelo tiene un comportamiento errático por la poca capacidad de aprender la apariencia del objeto. En nuestros experimentos, cuando N < 30 el modelo utiliza principalmente la última característica seleccionada para hacer la clasificación. Finalmente los resultados fueron satisfactorios. El modelo Online Naive Bayes Nearest Neighbor propuesto, obtuvo un buen desempeño en videos con grandes cambios de apariencia (Figuras 5.2 y 5.5), rápidos movimientos (Figura 5.3) y oclusiones parciales del objeto. Además, obtuvimos excelentes resultados en los videos con vista superior (Figura 5.7), nuestro método obtiene un error promedio de 5.70 píxeles (Tabla 5.3) y logra seguir correctamente 99% de los peatones; lo cual se debe principalmente al descriptor de covarianza y a la nula oclusión inherente a la posición de la cámara. No obstante, obtuvimos pobres resultados en los casos donde existe completa oclusión y movimientos erráticos (Figura 5.4); lo cual se debe principalmente al simple modelo de movimiento utilizado. Para ver todos videos de prueba generados dirigirse a Tiempos de Espera Luego de realizar los experimentos y comparar los tiempos estimados con los reales (sujeto a la restricción planteada en la metodología), los resultados (Figura 2.1 y Tabla 5.4) 37

49 FIGURA 5.3. Video Surfer; movimientos rápidos y cambios drásticos de apariencia. El rectángulo verde representa el método propuesto ONBNN y el rojo representa el método OMB. FIGURA 5.4. Video privado; oclusión total y rápidos movimientos. El rectángulo verde representa el método propuesto ONBNN. FIGURA 5.5. Video Girl; cambios drásticos de apariencia y oclusión parcial. El rectángulo verde representa el método propuesto ONBNN y el rojo representa el método OMB. son los siguientes: de los 36 clientes seguidos, un 61.11% fue correctamente seguido a medida que avanzaba en la cola. A partir del 61.11% correctamente seguido, se obtuvo un tiempo promedio estimado de espera de segundos, lo cual en comparación a los tiempos reales es un error promedio de 2.25 segundos; lo que nos daría un error de 2.93%. Adicionalmente, la desviación estándar del error es de 0.64 y el error máximo es de segundos. 38