Memoria Técnica del Proyecto

Transcripción

1 DEPARTAMENTO DE INFORMÁTICA UNIVERSITAT JAUME I II31 SISTEMAS INFORMÁTICOS INGENIERÍA INFORMÁTICA Curso 2007 / 2008 Memoria Técnica del Proyecto Sistema Semi-Automático de Control de Acceso Basado en Características Biométricas Proyecto presentado por el Alumno: José Juan Sorribes Traver Dirigido por Raúl Montoliu Colás Castellón, a 23 de septiembre de 2008

2

3 Resumen EL objetivo de este proyecto es diseñar e implementar parcialmente una aplicación mediante la cual sea posible determinar quién ha accedido a un espacio concreto y cuándo lo ha hecho, usando técnicas de reconocimiento de patrones y visión por computador. Existen sistemas similares en los que el usuario debe detenerse frente a una máquina y pulsar un botón para que la máquina le realice una foto de su cara o introducir un dedo en un sensor de captura de huellas digitales. En ambos casos la participación del usuario es fundamental para controlar el acceso. En este proyecto se propone, en cambio, que el sistema tome imágenes en vivo usando una cámara para, de esta forma, detectar, sin la participación del usuario, su entrada y salida de la zona a controlar. El sistema detectará del video en vivo las caras de los posibles usuarios y comprobará si dichas caras pertenecen a las personas que están autorizadas para estar en la zona de control. En el caso afirmativo, el sistema deberá registrar el evento de entrada/salida. En el caso negativo, el sistema mostrará una alarma de usuario desconocido. Será el administrador del sistema, de forma manual, el que determinará si la persona detectada está o no autorizada. Si la persona está autorizada pero el sistema no la ha reconocido, se actualizará la base de datos para evitar dicha situación en el futuro. Si la persona ha sido correctamente identificada como intruso, dependiendo de la aplicación final, el administrador tomará las medidas que se establezcan oportunas. Palabras Clave Visión por Computador, Control de acceso, Caracteristicas Biométricas, OpenCv

4

5 Índice general 1. Introducción Motivación Conceptos Clave Objetivos Descripción General del Entorno Planificación Descripción del Proyecto Análisis Requisitos del proyecto Análisis de las Especificaciones del Proyecto Diseño Diseño de Funcionamiento Diseño de Reconocimiento Facial: Puntos de Interés Diseño de Criterios de Búsqueda Diseño de la Base de Datos Diseño de la Interfaz Gráfica Implementación Tarea 1: Captura de video desde una cámara y toma de contacto Tarea 2: Detección de caras en imágenes y video Tarea 3: Comparación de caras por pixeles Tarea 4: Búsqueda de puntos de interés de una imagen Tarea 5: Normalización de Intensidad de Imágenes Tarea 6: Comparación de caras por puntos de interés

6 José Juan Sorribes Traver Tarea 7: Captura de video desde dos cámaras Tarea 8: Detección de caras desde dos cámaras simultáneamente Tarea 9: Creación de Clases Experimentación: Pruebas y Resultados Pruebas a Realizar Resultados Comparación de Métodos Extracción de Parámetros Conclusiones Mejoras y Ampliaciones Mejoras y Ampliaciones Cambio de organización de la Base de Datos Base de Datos Relacional Sistema de Detección Continuo Sistema de Fichaje Implementación de la Interfaz Gráfica Sensibilidad al movimiento con grabación de secuencias de vídeo Conexión Vía Web Envío de Alarmas Bibliografía 73 A. Gráficas de Resultados 75 II31 Proyecto Fin de Carrera Página 4

7 Índice de figuras 1.1. Imagen de un pasillo donde se controla el paso de personas Ejemplo de detección de una cara Ejemplo de reconocimiento de una cara Diagrama Gantt desde el inicio del proyecto hasta la primera semana de mayo Diagrama Gantt desde la primera semana de mayo hasta el fin del proyecto Esquema del funcionamiento de la aplicación, a nivel de módulos Diagrama de funcionamiento básico Diagrama de funcionamiento de la lista de Fallos Diagrama de funcionamiento del Reentrenamiento Tablero de ajedrez en el que se detectan Puntos de Interés Imagen de ejemplo donde se detectan Corners Diagrama detallado de criterios de búsqueda Boceto de la pestaña Detección Boceto de la pestaña Fallos Boceto de la pestaña Reentrenar Boceto de la pestaña Base de Datos Imagen cargada desde memoria Imágenes por pantalla de la webcam Reproducción del video guardado desde el reproductor de Windows Imagen con varias personas para ser detectadas Funcionamiento con el código modificado de Detección con imágenes. 39 5

8 José Juan Sorribes Traver Imagen comparada e Imagen de la Base de Datos, de las que se ha encontrado mayor coincidencia Imágenes de prueba del algoritmo de Lucas-Kanade Imagen de la ventana de 9x9 pixeles Captura desde dos cámaras en el mismo instante de tiempo Detección de caras desde una de las cámaras Detección de caras desde las dos cámaras Imágenes de Ejemplo que se han utilizado en las pruebas Imágenes de Ejemplo para entrenar la base de datos Imágenes de Ejemplo para realizar las pruebas Imágenes empleadas para realizar las pruebas Imágenes empleadas para la segunda parte de las pruebas Fallos en la 1 a Votación Fallos en la 2 a Votación Fallos en la 3 a Votación A.1. Imágenes empleadas para realizar las pruebas A.2. Votación 1, Azul Aciertos, Verde Fallos A.3. Votación 2, Azul Aciertos, Verde Fallos A.4. Votación 3, Azul Aciertos, Verde Fallos II31 Proyecto Fin de Carrera Página 6

9 Índice de cuadros 1.1. Lista de Tareas planificadas Fichero de la lista de personas Fichero de la lista de imágenes de cada persona Fichero de la fecha y hora del último acceso Fichero de la Base de Datos Fichero de Correspondencias entre imágenes Fichero de Reentrenamiento Fichero de fallos Fichero de Anotación Aciertos y porcentaje correspondiente para cada uno de los casos Aciertos para las tres votaciones Fallos para las tres votaciones Posición de los resultados

10

11 Capítulo 1 Introducción EL objetivo de este capítulo es abordar los fundamentos de la realización del proyecto, esto es, en que se basa el mismo, cual es su cometido, hacia donde está enfocado, así como el entorno y como esta planificada su realización. Índice 1.1. Motivación Conceptos Clave Objetivos Descripción General del Entorno Planificación

12 José Juan Sorribes Traver 1.1. Motivación El objetivo de este proyecto es la realización de un sistema que permita el control de acceso a un área determinada que sea semi-automático, y que además prescinda de la interacción de los usuarios para tal fin. A la hora de realizar el proyecto, temas como la vigilancia, la detección o el reconocimiento facial, han servido de motivación para implementar parcialmente una aplicación que cumpla el objetivo anteriormente nombrado Uno de los temas que motivan el proyecto es la Vigilancia. Es el proceso de observar personas, objetos o evoluciones dentro de sistemas para la conformidad de normas esperadas o deseadas en sistemas confiables para control de seguridad o social. Figura 1.1: Imagen de un pasillo donde se controla el paso de personas En muchos casos, dicha vigilancia emplea un Circuito Cerrado de Televisión 1 (o CCTV), con lo que se consigue tener controlado varios espacios desde una misma posición visualizando las cámaras desde un monitor o un ordenador. Es decir, podemos tener controlada una o más zonas sabiendo la gente que se encuentra en dicho momento, o el paso de personas no autorizadas a través de la zona (como el caso de la figura 1.1), o incluso saber en que dependencias de un edificio se encuentran personas en un determinado momento. Sin embargo, dicho sistema requiere que alguien permanezca atento a las pantallas de televisión para saber si se produce un incidente, como por ejemplo, una intrusión. Otro tema que motiva el proyecto es la Detección Facial, es decir, dada una imagen poder detectar y obtener la imagen del rostro de la persona o personas que se puedan encontrar en una zona vigilada. Si tenemos un software al que le pasamos una sucesión de imágenes y éste devuelve la imagen de los rostros que se encuentran, podremos emplear dichos rostros para ser debidamente reconocidos e identificados por 1 Tecnología de vídeo vigilancia visual diseñada para supervisar una diversidad de ambientes y actividades II31 Proyecto Fin de Carrera Página 10

13 CAPÍTULO 1. INTRODUCCIÓN otra aplicación. Por ejemplo, en la imagen 1.2, una aplicación ha detectado el rostro de una persona que, si conseguimos extraer, podrá ser empleada para hacer un reconocimiento facial. Figura 1.2: Ejemplo de detección de una cara El último tema que motiva la realización del proyecto es el Reconocimiento Facial mediante el uso de una aplicación dirigida por ordenador para identificar automáticamente a una persona en una imagen digital, mediante comparación de determinadas características faciales a partir de una imagen digital o un fotograma de una fuente de vídeo. Por ejemplo, una determinada aplicación puede detectar rasgos faciales como los ojos, la nariz o la boca de una imagen, como se puede ver en la imagen 1.3 Figura 1.3: Ejemplo de reconocimiento de una cara Una de las maneras de utilizar el reconocimiento facial es mediante la comparación de determinados rasgos en la imagen y una base de datos. Con esta idea no solo II31 Proyecto Fin de Carrera Página 11

14 José Juan Sorribes Traver se puede conocer en todo momento la cantidad de personas que se encuentran dentro de una zona vigilada, sino que además, se conocerá su identidad. En torno a estos temas se va a analizar, diseñar e implementar parcialmente una aplicación que se encargue de controlar una zona determinada sin la necesidad de intervención humana, tanto en sistema de seguridad como por parte del usuario. Solamente se necesitará esta intervención en los casos precisos, tales como una alarma en el sistema o la introducción de datos de un usuario Conceptos Clave A continuación, se definen los conceptos clave sobre los que se ha trabajado en el proyecto: Visión por Computador.[4] La Visión artificial, también conocida como Visión por Computador (del inglés Computer Vision) o Visión técnica, es un subcampo de la inteligencia artificial. El propósito de la visión artificial es programar un computador para que entienda una escena o las características de una imagen. Algunos de los objetivos que la visión por computador suele incluir: La detección, segmentación, localización y reconocimiento de ciertos objetos en imágenes (por ejemplo, caras humanas). La evaluación de los resultados (ej.: segmentación, registro). Registro de diferentes imágenes de una misma escena u objeto, hacer concordar un mismo objeto en diversas imágenes. Seguimiento de un objeto en una secuencia de imágenes. Mapeo de una escena para generar un modelo tridimensional; tal modelo podría ser usado por un robot para navegar por dicha escena. Estimación de las posturas tridimensionales de humanos. Búsqueda de imágenes digitales por su contenido. Estos objetivos se consiguen por medio de reconocimiento de patrones, aprendizaje estadístico, geometría de proyección, procesado de imágenes, teoría de gráficos y otros campos. La visión artificial cognitiva está muy relacionada con la psicología cognitiva y la computación biológica. Biometría.[6] La biometría es el estudio de métodos automáticos para el reconocimiento único de humanos basados en uno o más rasgos conductuales o físicos intrínsecos. El término se deriva de las palabras griegas bios de vida y metron de medida. II31 Proyecto Fin de Carrera Página 12

15 CAPÍTULO 1. INTRODUCCIÓN La biometría informática es la aplicación de técnicas matemáticas y estadísticas sobre los rasgos físicos o de conducta de un individuo, para verificar identidades o para identificar individuos. En las tecnologías de la información (TI), la autentificación biométrica se refiere a las tecnologías para medir y analizar las características físicas y del comportamiento humanas con propósito de autentificación. Las huellas dactilares, las retinas, el iris, los patrones faciales,las venas de la mano o la geometría de la palma de la mano, representan ejemplos de características físicas (estáticas), mientras que entre los ejemplos de características del comportamiento se incluye la firma, el paso y el tecleo (dinámicas), pero todos los rasgos biométricos comparten aspectos físicos y del comportamiento. La voz se considera una mezcla de estas dos características. En el proceso de identificación los rasgos biométricos se comparan con los de un conjunto de patrones ya guardados, este proceso se conoce también como unopara-muchos ( 1:N ), el cual implica no conocer la identidad presunta del individuo. La nueva muestra de datos biométricos es tomada del usuario y comparada una a una con los patrones ya existentes en el banco de datos registrados. El resultado es la identidad del individuo, mientras que en el proceso de autentificación es un valor verdadero o falso. OpenCv.[5, 7, 8] OpenCV es una librería de visión artificial desarrollada por Intel. Su licencia BSD permite que sea usada libremente para propósitos comerciales y de investigación con las condiciones en ella expresadas. La librería es multiplataforma, y puede ser usada en Mac OS X, Windows y Linux. Está orientada al tratamiento de imágenes en tiempo real, lo que es posible si están instaladas en el sistema las Primitivas de Rendimiento Integradas de Intel Objetivos En este proyecto se analiza, diseña e implementa parcialmente una herramienta informática que permita registrar automáticamente todos los accesos de entrada/salida que se realizan en un determinado lugar. En el caso de detectar a una persona en la zona vigilada y ésta no sea reconocida por el sistema, el encargado de seguridad deberá trabajar con la aplicación, por lo que la herramienta permitirá trabajar de forma sencilla, intuitiva y ágil, subsanando el error en el momento en el que se produzca el acceso. El sistema empleará características biométricas faciales de los usuarios que serán extraídas a partir de una serie de imágenes de éstos. A partir de dichas características, buscarán coincidencias en la base de datos de los usuarios, para dar como resultado los datos de la persona que esta entrando en ese momento en la zona vigilada. II31 Proyecto Fin de Carrera Página 13

16 José Juan Sorribes Traver Además, como los datos con los que se trabaje serán almacenados en el sistema, podrán extraerse estadísticas: horas que permanece cada uno de los empleados en la zona vigilada, máxima cantidad de personas trabajando en cierta hora del día y otros datos de interés, tales como saber que persona o personas se encuentran en un momento determinado en la zona en caso de que ocurra algún suceso que deba ser recriminado. Como es una herramienta que se implementará parcialmente, se marcan una serie de objetivos para que la aplicación pueda ser una base y facilitar la implementación de un proyecto completo y más complejo. Los objetivos a cumplir son los siguientes: Crear una función o serie de funciones que se encarguen de capturar imágenes y/o grabar vídeos de forma sencilla a través de las librerías de OpenCV y se pueda trabajar con ellas cuando sea necesario. Crear una función o serie de funciones que se encarguen de extraer de una imagen una región de interés que pueda ser empleada para otros objetivos. Crear una función o serie de funciones que se encarguen de manejar una compleja estructura de datos, interaccionando también con un sistema de ficheros que puedan ser fácilmente escalablen. Crear una función o serie de funciones que dada una imagen, puedan extraer la información necesaria para ser almacenada en la base de datos y poder ser empleada para compararla con otras imágenes. Crear una función o serie de funciones que con la información de una imagen, se pueda comparar con otras imágenes y se pueda determinar un grado de similitud respecto a dichas imágenes. Analizar y diseñar una Interfaz gráfica que permita tener la información de la aplicación necesaria a la vista, que además sea intuitiva y de fácil uso, y que permita su manejo sin tener conocimientos avanzados de informática. El esquema servirá como orientación para un diseño completo de la interfaz gráfica. En resumen, en este proyecto se implementa una aplicación que cumpla con los objetivos propuestos y que pueda servir como base para realizar una aplicación completa y funcional Descripción General del Entorno Este proyecto se ha ideado con la intención de situar la aplicación final en un entorno laboral, en el que el personal de la zona de vigilada 2 entrará y saldrá varias 2 A lo largo de este documento, las referencias al lugar donde situar el sistema de vigilancia se conocerán como zona vigilada, o simplemente zona II31 Proyecto Fin de Carrera Página 14

17 CAPÍTULO 1. INTRODUCCIÓN veces al día, de forma que la aplicación tendrá un control sobre las personas que se encuentran en dicha zona, además de personas no autorizadas. Hasta el momento, los sistemas de control de acceso que se utilizan más comúnmente son mediante el uso de tarjetas con chip identificativo, haciendo que pueda ser una tarea lenta y tediosa en algunos casos. Por esta razón, el Director de Proyecto propuso un sistema en el que no deban intervenir los usuarios, sino que se produzca este hecho (el registro de entrada) de forma automática y totalmente transparente a dichos usuarios. El hecho de que sea transparente supone: 1. Es más cómodo para fichar. 2. No se sabe que se está vigilando la seguridad de la zona. Durante el funcionamiento de la aplicación, es posible que se produzca alguna incidencia, debido a que puede que no se reconozca a la persona que se haya detectado en un momento determinado. Para subsanar ésta incidencia, una persona de seguridad se encargará de controlar el sistema para mirar si se detectan estos errores. Dicho encargado de seguridad vigilará el sistema cada cierto tiempo, dado que la aplicación está ideada para que funcione de forma semi-automática y no deba haber una persona vigilando siempre la actividad de las cámaras Planificación Durante el curso, el horario de trabajo se establece de Lunes a Viernes con un periodo laboral de 3 horas diarias. Posteriormente, durante el periodo de exámenes se para el proyecto hasta la finalización de dicho periodo. Entrado el mes de Julio, la dedicación pasa a ser de 8 horas diarias hasta la finalización del proyecto. Para empezar, la siguiente tabla (Cuadro 1.1) muestra la lista de tareas que se han planificado para la realización del proyecto: II31 Proyecto Fin de Carrera Página 15

18 José Juan Sorribes Traver Lista de Tareas 1 Definición del Proyecto 2 Conceptos Clave 2.1 Estudio de OpenCv 2.2 Estudio de Trabajos Similares 2.3 Estudio de las necesidades requeridas 3 Análisis 3.1 Requisitos del Proyecto 3.2 Especificaciones del Proyecto 4 Diseño 4.1 Diseño de Funcionamiento 4.2 Diseño de Entrenamiento 4.3 Diseño de Criterios de Búsqueda 4.4 Diseño de Base de Datos 4.5 Diseño de la Interfaz Gráfica 5 Implementación 5.1 Captura desde Cámara 5.2 Detección de caras 5.3 Comparación por píxeles 5.4 Búsqueda de puntos de Interés 5.5 Normalización de Intensidad 5.6 Comparación por puntos de interés 5.7 Captura desde dos cámaras 5.8 Detección de caras desde dos cámaras 5.9 Creación de clases 6 Pruebas del Sistema 6.1 Crear Bancos de pruebas Crear escenarios de éxito Crear escenarios de fracaso 6.2 Realizar las pruebas 6.3 Corrección de posibles fallos del sistema 7 Documentación del Proyecto 8 Finalización del Proyecto Cuadro 1.1: Lista de Tareas planificadas Y a continuación, se muestra el diagrama de Gantt con la planificación temporal del proyecto. II31 Proyecto Fin de Carrera Página 16

19 CAPÍTULO 1. INTRODUCCIÓN Figura 1.4: Diagrama Gantt desde el inicio del proyecto hasta la primera semana de mayo II31 Proyecto Fin de Carrera Página 17

20 José Juan Sorribes Traver Figura 1.5: Diagrama Gantt desde la primera semana de mayo hasta el fin del proyecto II31 Proyecto Fin de Carrera Página 18

21 Capítulo 2 Descripción del Proyecto EN este capítulo se detallan todas las actividades realizadas para completar el proyecto. Es decir, el análisis sobre la arquitectura, diseño de la base de datos, diseño de clases, diseño de la interfaz, así como las tareas realizadas. Índice 2.1. Análisis Requisitos del proyecto Análisis de las Especificaciones del Proyecto Diseño Diseño de Funcionamiento Diseño de Reconocimiento Facial: Puntos de Interés Diseño de Criterios de Búsqueda Diseño de la Base de Datos Diseño de la Interfaz Gráfica Implementación Tarea 1: Captura de video desde una cámara y toma de contacto Tarea 2: Detección de caras en imágenes y video Tarea 3: Comparación de caras por pixeles Tarea 4: Búsqueda de puntos de interés de una imagen Tarea 5: Normalización de Intensidad de Imágenes Tarea 6: Comparación de caras por puntos de interés Tarea 7: Captura de video desde dos cámaras Tarea 8: Detección de caras desde dos cámaras simultáneamente Tarea 9: Creación de Clases

22 José Juan Sorribes Traver 2.1. Análisis Requisitos del proyecto La aplicación está dirigida para ser un proyecto multiplataforma, es decir, podrá ser ejecutada en diversas plataformas tales como Microsoft Windows, Unix/Linux, Mac OSX. El objetivo es emplear librerías y herramientas de carácter libre, como C++ y OpenCv para tratar las imágenes de forma que el proyecto, que se realizará sobre windows, pueda ser exportado a otro sistema operativo sin ningún problema con las librerías anteriormente nombradas. El proyecto supone la realización de una aplicación de escritorio que emplee una base de datos realizada con una serie de ficheros de carácter temporal que se irán borrando en la medida que ya no sean necesarios. El proyecto final resultará un software de bajo coste, dado que se empleará para su desarrollo librerías de carácter libre. Para la parte hardware, solamente se requerirán los siguientes elementos: Ordenador de Sobremesa: Dos Cámaras tipo Webcam Análisis de las Especificaciones del Proyecto Para diseñar la aplicación, se han analizado individualmente las partes de las que se compondrá la implementación para determinar cuál necesita un diseño específico: Módulo de captura: Encargado de capturar imágenes de la cámara y enviarlas al módulo de detección. Se usará la librería cvcam incluida en la librería opencv. Módulo de detección: Encargado de comprobar si en la imagen de entrada existen caras. En caso positivo, cada cara detectada será enviada al módulo de reconocimiento. Se usa el algoritmo de Viola & Jones[1] incluido en la opencv. Módulo de reconocimiento: Se encargará de dada una cara detectada, buscar en la base de datos, si pertenece a algunas de las personas autorizadas. En caso positivo, se enviará la información de que persona ha sido reconocida al modulo de anotación. En caso negativo, se activará el módulo de alerta. Previamente al reconocimiento, se habrá ejecutado el módulo de entrenamiento. Se usará un algoritmo de búsqueda k-nn. Módulo de entrenamiento: Encargado de, dadas unas muestras de las personas autorizadas, crear los modelos de cada usuario, los cuales serán consultados por el módulo de reconocimiento. También se encargará de reentrenar los modelos II31 Proyecto Fin de Carrera Página 20

23 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO cuando se introduzcan nuevas muestras de las personas autorizadas. Se usarán técnicas de extracción de características de entre las más comunes en la literatura, así como técnicas de editado y condensado, así como de selección de características para obtener un clasificador de gran fiabilidad y con un tiempo de consulta muy rápido. Módulo de anotación: Es el encargado de anotar el registro de entradas/salidas el evento correspondiente a la persona reconocida. Módulo de alerta: Este módulo se encarga de realizar las acciones establecidas por la aplicación concreta. En este proyecto (como un ejemplo), si la persona no ha sido reconocida la imagen será visualizada por un experto humano para determinar si el sistema se ha equivocado o no. En caso afirmativo (falso negativo), se enviará la imagen al módulo de entrenamiento para incluirla en la base de datos. La figura 2.1 muestra un esquema del funcionamiento de la aplicación. Figura 2.1: Esquema del funcionamiento de la aplicación, a nivel de módulos Además de los módulos anteriores, se deberá implementar un entorno de usuario donde el administrador del sistema pueda comprobar el funcionamiento de la aplicación. En concreto el administrador podrá consultar: II31 Proyecto Fin de Carrera Página 21

24 José Juan Sorribes Traver El registro de eventos de entrada/salida. La lista de alertas. El entorno también deberá permitir las siguientes acciones al administrador: Seleccionar la base de datos de muestras de personas autorizadas (suponiendo que exista más de una versión) En el caso que, al comprobar una alerta, ésta sea negativa, es decir, cuando el sistema se ha equivocado, el administrador podrá enviar la foto erróneamente reconocida al modulo de entrenamiento para mejorar la base de datos. Si la alerta es positiva, el administrador pulsará el botón de alerta de intruso. En este proyecto, simplemente se incluirá una entrada en un registro de alerta grave Diseño Diseño de Funcionamiento El funcionamiento básico, o descrito de forma de general del proyecto a nivel de estados, será el mostrado por el siguiente diagrama: Figura 2.2: Diagrama de funcionamiento básico II31 Proyecto Fin de Carrera Página 22

25 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Como se puede ver en la Figura 2.2, el funcionamiento se plantea situando como centro de la aplicación la detección de caras. A partir de ahí, se construye alrededor una serie de estados dependiendo del resultado de la detección. En el caso de que una cara no sea reconocida por la aplicación, se debe diseñar una función que pueda tratar este error. Este error, se irá anotando en un fichero para posteriormente ser revisado, de forma que se determinará la acción a realizar dependiendo de una de estas posibilidades: La cara pertenece a una persona de la base de datos. La cara pertenece a una persona que es nueva y se deben introducir sus datos. La cara no pertenece a nadie conocido y no se van a introducir sus datos. Para explicar mejor esto, se ha generado el siguiente diagrama: Figura 2.3: Diagrama de funcionamiento de la lista de Fallos Los fallos detectados durante el proceso de búsqueda de parecidos serán anotados en un fichero, con sus correspondencias más cercanas 1 y la fecha en la que se ha detectado. Pues bien, dicho fichero será tratado por otro proceso con el fin de buscar visualmente y determinar en que persona se ha detectado el fallo. Este proceso será ejecutado por la persona encargada del sistema y su misión será determinar visualmente si una persona existe en la base de datos o no. Para ello 1 Las personas con el porcentaje más elevado de similitud II31 Proyecto Fin de Carrera Página 23

26 José Juan Sorribes Traver puede determinarlo directamente(si conoce al todo el equipo) y enviar una alarma o insertar sus datos en el caso de que sea una persona nueva en la zona vigilada. En el caso de que no conozca a la persona, realizará una búsqueda en dos fases: Buscará en la lista de personas más parecidas y determinará la identidad del sujeto. En caso contrario, realizará la segunda fase: Buscará en la lista de personas de la base de datos y determinará la identidad del sujeto. En caso contrario, se pasará al proceso de comprobar si una persona es nueva en la zona. En los casos de que se haya determinado la identidad del sujeto, o se hayan introducido sus datos, se anotará en un fichero la imagen, los datos de la persona y la fecha de acceso para que la base de datos sea reentrenada por otro proceso. Este proceso puede ser lanzado en cualquier momento del día o la semana siempre que haya alguna imagen de la cual no se haya determinado la identidad. Las imágenes se revisarán y se anotarán en el fichero de reentrenamiento (Cuadro 2.6) para que el proceso correspondiente trate con todas sus entradas al final del día o de la semana, según lo establecido. Figura 2.4: Diagrama de funcionamiento del Reentrenamiento II31 Proyecto Fin de Carrera Página 24

27 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Por último, la función de reentrenamiento es automática. Cada cierto tiempo se comprobará la existencia de entradas en el fichero creado al revisar la lista de fallos. Como puede verse en el diagrama 2.4 las tareas son sencillas, dado que solamente debe encargarse de reentrenar la imagen y crear o modificar ficheros, según sea una nueva persona y se deban añadir sus datos y crear nuevos ficheros, o bien si es una persona ya existente y se deba añadir la imagen a su lista Diseño de Reconocimiento Facial: Puntos de Interés Cuando se detecta la cara de una persona, se envía a la función de entrenamiento para, o bien almacenarla en la base de datos, o bien compararla con la misma base para encontrar la persona a la que pertenece. Dicha función de entrenamiento, es muy importante dentro de la aplicación debido a que su funcionamiento puede determinar un elevado grado de aciertos a la hora de comparar imágenes. Figura 2.5: Tablero de ajedrez en el que se detectan Puntos de Interés La función de entrenamiento debe encargarse de encontrar y almacenar una serie de características de cada imagen para que estas puedan ser comparadas. En esta aplicación emplearemos la búsqueda de una serie de puntos, los Puntos de Interés. Como puede verse en la imagen 2.5, en el tablero de ajedrez se han detectado una serie de puntos de interés, en este caso, las esquinas de los cuadros negros. A la hora de buscar puntos de interés en un rostro, existen múltiples posibilidades, entre las cuales: Detectar la geometría de ojos, nariz y boca. Detectar las distancias entre ojos, nariz y boca. Detectar puntos característicos a lo largo de todo el rostro. etc. II31 Proyecto Fin de Carrera Página 25

28 José Juan Sorribes Traver Entre todas las posibilidades, se descartaron las que se fijan solamente en una parte de la cara(como ojos, boca, etc.) debido a que puede llegar la cara de una persona que lleve gafas de sol, por ejemplo, y como no se determinan los ojos, no ser válido el método. Por eso, la opción escogida es la que detecta puntos característicos a lo largo de todo el rostro, debido a que se puede extraer más información que con los otros casos. Estos puntos se buscarán en las esquinas (del inglés corners) fuertes. Estos corners[9] pueden definirse como una intersección de dos bordes. Un corner también puede ser definido como un punto para el cual hay dos bordes dominantes en diferentes direcciones en los vecinos relativos a un determinado punto. Figura 2.6: Imagen de ejemplo donde se detectan Corners. En definitiva, un punto de interés es un punto en una imagen que tiene una posición bien definida y puede ser detectado con firmeza. Esto significa que un punto de interés puede ser un corner pero también puede ser, por ejemplo, un punto aislado de intensidad local máxima o mínima, terminaciones de líneas, o un punto en una curva donde la curvatura es máxima a nivel local Diseño de Criterios de Búsqueda Cuando la aplicación detecta a una persona, se recorta la imagen de su cara y se extraen una serie de puntos característicos para poder buscar en la base de datos. Dicha búsqueda, debe diseñarse de forma que no permita errores, es decir, que no seleccione una persona si realmente no es la que se ha detectado. Para dicho proceso se ha diseñado el diagrama 2.7, en el que se puede ver que no solo se hace una búsqueda, sino tres. A través del análisis del funcionamiento de la aplicación final, se ha determinado 2 que la forma de resolver si una persona tiene acceso o no son los siguientes: 2 Los porcentajes que se establecen en las distintas búsquedas, se han determinado a partir de lo obtenido en los resultados(sección 3.2.2) II31 Proyecto Fin de Carrera Página 26

29 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Figura 2.7: Diagrama detallado de criterios de búsqueda Búsqueda 1: Por el método establecido en la Comparación de Caras(sección 2.3.6), cada una de las caras de la base de datos recibirá un porcentaje 3 de aproximación con la cara comparada. Si dicho porcentaje supera el 60 % para una de ellas, se ha establecido que dicha persona será la que acaba de ser detectada por el sistema, se anotará en el log 4 y se continuará con el proceso de Detección. En caso de no ser superada, se pasará al siguiente criterio de búsqueda. Búsqueda 2: En este caso, se partirá de la premisa de que cada persona puede tener una o más imágenes almacenadas en la base de datos, por lo que la cara que se ha detectado puede haber dividido su porcentaje de aproximación entre las imágenes de la persona en cuestión. En este caso, se creará un algoritmo que sea capaz de hacer un recuento de votos para cada una de las personas de la base de datos. Cuando ya esté hecho el recuento, en el caso de que alguna de las personas en la base de datos haya obtenido un porcentaje mayor o igual al 60 % de aproximación, se determinará que la imagen detectada corresponderá a esa persona, se anotará en un fichero log y se continuará con el proceso de Detección. En caso de no ser superada, se pasará al siguiente criterio de búsqueda. Búsqueda 3: En este caso, se parte de los resultados del caso anterior. Es decir, con la lista de porcentajes de aproximación por persona de la base de datos, establecemos que si una de estas personas no ha obtenido la mayoría establecida en los 3 Cada corner detectado, suma un punto a la imagen que posee el punto más parecido. Una vez repartidos todos los puntos de una imagen, se divide cada una por el número total de puntos para extraer dicho porcentaje 4 Archivo donde se guardarán los registros de entrada/salida II31 Proyecto Fin de Carrera Página 27

30 José Juan Sorribes Traver criterios anteriores, no se sabe con seguridad que persona es la que se ha detectado, pero que dicha persona ha obtenido con certeza uno de los porcentajes más altos 5 en la votación anterior. Por eso, se creará un algoritmo que sea capaz de, dadas esas personas, realice la comparación de la imagen detectada con solamente sus imágenes. Posteriormente, se volverá a hacer el recuento según el criterio de Búsqueda 2, y si alguna de dichas dos personas pasa del 70 % de aproximación, se considerará que se ha encontrado coincidencia, se anotará en el fichero log y se continuará con el proceso de Detección. En caso contrario, se lanzará una alarma, y se anotará en otro fichero como fallo, apuntando la imagen de la que se trata, los datos de la entrada/salida, y las personas con las que se las ha comparado. En este último caso, el porcentaje es mayor, para evitar que se registre la entrada a una persona que realmente no es. En este caso, habrá que tener absoluta certeza de quien es la persona que entra, para que no se produzca ningún fallo. Como hemos comentado pues, este porcentaje se situará en el 70 % de aproximación a las personas que se las compare. En este proceso de búsqueda se generan una serie de archivos destinados, o bien a anotar las personas que se han detectado, o bien las que no se sabe seguro de quien se trata Diseño de la Base de Datos En el funcionamiento del sistema, se van a ver implicados una serie de ficheros que servirán, o bien como anotación de eventos, o bien como archivos auxiliares. Cada uno tiene una misión bien definida, que se detalla a continuación: Listado de Personas: En este fichero se guardarán los datos de cada una de las personas que se encuentran en la base de datos. Simplemente serán algunos datos identificativos, de forma que de cada persona se guardarán los siguientes datos: Nombre y apellidos Ruta de la imagen que identifica a la persona Ruta de la lista de sus imágenes Ruta del Archivo donde se guarda el último acceso Cuadro 2.1: Fichero de la lista de personas 5 La cantidad de personas que se considera que obtienen los porcentajes más altos se establece en las pruebas realizadas (sección 3.2.2) II31 Proyecto Fin de Carrera Página 28

31 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Listado de Imágenes: Cada uno de los ficheros de este tipo, corresponderá a una persona de la base de datos. En dicho fichero, se guardará una lista de valores enteros que indicarán que imágenes de la lista de correspondencias (Cuadro 2.5) y la base de datos (Cuadro 2.4) corresponden al individuo al cual representa el fichero. Imagen 1 Imagen 2 Imagen 3 Cuadro 2.2: Fichero de la lista de imágenes de cada persona Listado de Último Acceso: Este fichero guardará en una línea los datos del último acceso de la persona a la cual representa el fichero, que como en el caso anterior, se generará un fichero por cada persona. En dicha linea se guardarán los siguientes datos: día mes año hora minuto Cuadro 2.3: Fichero de la fecha y hora del último acceso La Base de Datos: Este fichero es el más importante. En este, se almacenan uno por uno todos los puntos de interés (sección 2.2.2) que detectan de las caras que se van a añadir a la base de datos. Cada línea estará formada por una serie de números (Píxels que se van a guardar de cada punto de interés), que en nuestro caso, inicialmente será de 81 números más otro valor que representará la imagen que se introduce (el número estará referenciado en el fichero de Correspondencias, Cuadro 2.5). Así pues, cada una de las lineas del fichero contendrá la siguiente información: Pixels N o Imagen pix1 pix2 pix3... pix81 N imagen Cuadro 2.4: Fichero de la Base de Datos Donde pixa indica el valor del pixel en la posición A de uno de los puntos de la imagen y N imagen indica un número entero que representa la imagen a la cual pertenece el punto. Fichero de Correspondencias: Este fichero contendrá en cada una de sus líneas un número entero, que es el N imagen que aparece en la base de datos (Cuadro 2.4), y la ruta de la imagen a la II31 Proyecto Fin de Carrera Página 29

32 José Juan Sorribes Traver cual pertenecen los puntos indicados por el número anterior. Es decir, el fichero contendrá una lista como la siguiente: N o Imagen Ruta Imagen 0 /ruta/img 1.jpg 1 /ruta/img 2.jpg 2 /ruta/img 3.jpg Cuadro 2.5: Fichero de Correspondencias entre imágenes Fichero de Reentrenamiento: Este fichero contiene en cada una de sus líneas una serie de anotaciones de forma que sea empleado para que el sistema entre en modo reentrenamiento. Aquí se encuentran almacenados los datos más característicos necesarios para introducir la imagen de una persona en la base de datos, y su nuevo acceso. En la siguiente tabla, se muestra una línea con la información que almacena y una línea de ejemplo, de como sería rellenado el fichero: Tipo Nombre imagen día mes año hora minuto N JoseJuanSorribes./ruta/img 54.jpg E JoseJuanSorribes./ruta/img 55.jpg Cuadro 2.6: Fichero de Reentrenamiento Cada una de sus lineas contiene: Tipo de Entrada: Indica si la persona anotada es nueva en la base de datos o existe, de forma que en el caso de ser nueva debe crearse un registro de entrada, o en caso de existir, agregar los nuevos datos de acceso y la nueva imagen a la base de datos. Nombre: Cada una de las lineas corresponde a un usuario, y en cada una de ellas debe estar su nombre identificativo ya que se tratarán individualmente. El nombre y los apellidos estarán unidos para facilitar su lectura al cargar desde el programa, pero se diferenciarán en que la primera letra de cada nombre está escrita en mayúscula, así visualmente se puede distinguir claramente, o por el contrario, se puede escribir una pequeña parte de código que se encargue de hacer esta separación. Imagen: Indica la ruta donde se encuentra la imagen para ser reentrenada, así cuando se lea la línea, se enviará la ruta del fichero donde corresponda para que sea insertada en la base de datos. II31 Proyecto Fin de Carrera Página 30

33 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Fecha: En este último ítem se indica la fecha en la que ha sido registrada la entrada/salida, para que una vez se tenga constancia de la persona en la base de datos, pueda ser anotada en el log registro de entrada. La fecha será desglosada de la misma forma que se encontrará en el programa, en este caso, se deja indicado como ejemplo que se anota el día, mes, año, hora y minuto, que señalarán unívocamente el acceso. Adicionalmente, en este fichero se pueden añadir otros datos, según convenga, como por ejemplo, si el registro ha sido de entrada o de salida de la zona vigilada, etc. Para la creación de este fichero, es necesario el empleo de otro fichero, la lista de fallos, así como la participación de un administrador debido a que se debe revisar dicha lista. Lista de Fallos: Este fichero se ira creando automáticamente a medida que se produzcan fallos en el reconocimiento de las personas que accedan al área zona vigilada. En cada una de las lineas del fichero se guardará la siguiente información: I. detectada P. similar 1 P. similar 2 Fecha./ruta/img 70.jpg Persona 1 Persona 2 día mes año hora minuto Cuadro 2.7: Fichero de fallos Este fichero contiene la ruta de la imagen de la cual no se ha encontrada una coincidencia, luego una lista de nombres 6 de personas a las que más se parecen, y la fecha y hora en la que se ha producido la detección. A partir de éste, un proceso semiautomático generará el fichero de reentrenamiento, dado que la persona autorizada se encargará de reconocer a las personas que se encuentran en la lista. Fichero de Anotación Log: Este fichero contiene todas las anotaciones de entrada/salida que se hayan podido realizar en la zona vigilada. En el fichero se guardará la información más relevante, como por ejemplo, la persona detectada, la fecha, etc. Un ejemplo del archivo sería el siguiente: Persona Entrada/Salida Fecha JoseJuanSorribesTraver E JoseJuanSorribesTraver S JoseJuanSorribesTraver E JoseJuanSorribesTraver S Cuadro 2.8: Fichero de Anotación 6 La cantidad de nombres dependerá de lo que se determine en búsqueda 3(Figura 2.7). II31 Proyecto Fin de Carrera Página 31

34 José Juan Sorribes Traver Un punto a destacar es que existirá un fichero de anotación para anotar semanalmente el movimiento en la zona, y al final de la semana al revisar los fallos y reentrenar el sistema se copiará en otro fichero y se eliminará. Es decir, habrá un fichero temporal para cada semana y luego ya habrá uno o más, o bien uno mensual, o trimestral, etc. Como se puede comprobar, el diseño de los ficheros de la base de datos es realmente sencillo, dado que la aplicación se centra en la detección y reconocimiento más que en la información que se pueda almacenar Diseño de la Interfaz Gráfica Como se describe en los objetivos propuestos para el proyecto (sección 1.3), se ha realizado un diseño a bajo nivel de forma que pueda servir de esquema para la realización de la misma. En el boceto, se ha buscado situar todos los datos de relevancia visibles en todo momento y antetodo, que sea simple y fácil de usar. Por ello, se ha diseñado una aplicación donde la información se encuentre agrupada en pestañas: Detección Fallos Reentrenar Base de Datos Para la primera pestaña, Detección ( figura 2.8 ), el diseño tiene como objetivo ofrecer al usuario información más importante. Es por ello, que se ha situado los vídeos de entrada y salida de la zona vigilada para poder ver el movimiento de paso. Además, bajo cada uno de los vídeos se encuentra una lista con las últimas personas que han sido reconocidas por la cámara correspondiente. A la derecha de la ventana, se sitúa un cuadro que tiene por objetivo no tener que cambiar de pestaña para ver la última cara con la que ha habido un fallo. En dicho recuadro, aparece la imagen que no ha sido reconocida y las más similares, de forma que la persona encargada pueda pulsar sobre la más similar y sea anotada para reentrenar. En la parte inferior, se situarían otros datos de interés, como la cantidad de personas en la zona vigilada, la cantidad de fallos que hay, imágenes por reentrenar, personas en la base de datos, etc. II31 Proyecto Fin de Carrera Página 32

35 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Figura 2.8: Boceto de la pestaña Detección En la pestaña de Fallos ( figura 2.9 ), la intencion es plasmar en un diseño sencillo las actividades a realizar por el usuario. Así pues, se muestra la lista imágenes con las que ha habido conflicto y al pinchar sobre una, aparecerá en el centro la imagen elegida. Para poder elegir la persona de que se trata existen 3 opciones: Pinchar sobre una de las dos más parecidas, en caso de que sea una de ellas. Buscar en la lista de personas, en las cuales aparece una imagen en miniatura y pinchar sobre la elegida. O bien, que no exista en la base de datos, y sea una nueva persona (botón Nuevo) o que no deba estar en la zona vigilada (botón Alarma) Al elegir una de estas acciones, de la lista se borraría la entrada correspondiente y pasaría a la lista de imágenes por reentrenar. II31 Proyecto Fin de Carrera Página 33

36 José Juan Sorribes Traver Figura 2.9: Boceto de la pestaña Fallos En la pestaña de Reentrenamiento (figura 2.10), como esta acción es automática, simplemente se muestra la lista con la cantidad de personas que hay por reentrenar, y si se selecciona alguna de las imágenes, se muestra en el cuadro situado en la derecha. En la parte superior, se muestra el momento en que está planificado el siguiente reentrenamiento, pero en el caso de que la lista sea muy extensa se da la opción de pinchar sobre Reentrenar Ahora para que se pueda reentrenar la base de datos, obteniendo el usuario la opción de elegir cuando realizar esta acción. Figura 2.10: Boceto de la pestaña Reentrenar II31 Proyecto Fin de Carrera Página 34

37 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Por último, en la pestaña de Base de datos (figura 2.11) se muestra la lista de personas que se encuentran en la base en la parte izquierda, con la información que sea relevante a cada una de las personas, como por ejemplo, la fecha de la última vez que se ha accedido a la zona vigilada. Esta información puede variar dependiendo del uso que se le vaya a dar al proyecto. En la parte derecha, se mostraría la imagen de la persona que se haya seleccionado. Figura 2.11: Boceto de la pestaña Base de Datos 2.3. Implementación Para la implementación del proyecto, se ha dividido toda la aplicación en Tareas o Bloques de manera que se pudiese desarrollar por separado y ser unido posteriormente para formar la aplicación. Dichas tareas están enfocadas a aprender y comprender los distintos módulos(sección 2.1.2) y los posibles problemas que puedan surgir en la realización de cada uno de ellos. En los siguientes apartados se describen las tareas realizadas y su cometido en el proyecto. La siguiente lista representa las tareas que se han planificado: 1. Captura de video desde una cámara y toma de contacto. 2. Detección de caras en imágenes y video. 3. Comparación de caras por pixeles. 4. Búsqueda de puntos de interés de una imagen. II31 Proyecto Fin de Carrera Página 35

38 José Juan Sorribes Traver 5. Normalización de imágenes. 6. Comparación de caras por puntos de interés. 7. Captura de video desde dos cámaras. 8. Detección de caras desde dos cámaras simultáneamente. 9. Creación de Clases Tarea 1: Captura de video desde una cámara y toma de contacto El primer paso consiste en obtener una función que se encargue de obtener cada una de las imágenes que registra alguna de las cámaras o webcams que se emplean para el proyecto, y almacenar cada una de esas imágenes en un fichero. Éste, al finalizar el programa, formará un archivo de video reproducible en cualquier ordenador y podrá emplearse para realizar pruebas en alguna de los siguientes tareas. Además, este paso tiene un doble objetivo: Obtener un capturador de video para el proyecto. Primera toma de contacto con la librería de OpenCv y las funciones necesarias. Se debe revisar la documentación de la librería para buscar las funciones más idóneas para el manejo de las imágenes, tales como contenedores y/o punteros que permitan el paso de imágenes entre funciones. Una vez se haya visto como se manejan las imágenes, lo siguiente es aprender a cargarlas desde memoria, es decir, que se puedan estar almacenadas en el ordenador, y también como almacenar una imagen en concreto. Figura 2.12: Imagen cargada desde memoria II31 Proyecto Fin de Carrera Página 36

39 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO Ahora solo falta saber como mostrar las imágenes elegidas por pantalla para tener el primer código de prueba. Así, se podrá cargar desde memoria una imagen, mostrarla por pantalla y almacenarla con otro nombre. Figura 2.13: Imágenes por pantalla de la webcam El siguiente objetivo es poder extraer la información que la cámara manda al sistema. Para ello se modifica el código anteriormente generado para que, con un bucle, muestre por pantalla las imágenes que se reciben, obteniendo así un visor de la cámara. Es decir, a partir de ahora se puede ver lo captura la cámara, como se puede ver en la imagen Figura 2.14: Reproducción del video guardado desde el reproductor de Windows El último paso es buscar una función que cree un archivo de video y guarde una a una todas las imágenes que se extraen desde la cámara. Obteniendo este hito, se finaliza la tarea, es decir, se consigue un programa que sirve de ejemplo de como se II31 Proyecto Fin de Carrera Página 37

40 Jose Juan Sorribes Traver graba en video la entrada de la ca mara. Como se puede ver en la imagen 2.14, el video es reproducible en el Reproductor de Windows Tarea 2: Deteccio n de caras en ima genes y video El siguiente paso es detectar el rostro de las personas a partir de una serie de ima genes o un video. Para este fin, hay un ejemplo en la librerı a de Opencv, el Facedetect7. Facedetect tiene varias opciones de funcionamiento: puede detectar las caras desde una imagen o desde la entrada de video. En cualquiera de los dos casos el funcionamiento interno es el mismo: Desde imagen: El sistema carga una imagen y se la pasa a una funcio n llamada Detect and draw que es la que se encarga de detectar las caras en la imagen a partir de un clasificador. Desde video o ca mara: El sistema va extrayendo todas las ima genes frame a frame, o bien de la ca mara, o bien desde video, y las envı a una a una a la misma funcio n. Es decir, comprueba imagen a imagen si existe alguna cara en ellas. Una ventaja de Facedetect es que puede detectar todas las caras que se encuentran en una imagen (imagen 2.15). Este detalle es muy importante, dado que significa que si situamos una ca mara en una zona de paso de personas con el fin de detectar quien se encuentra en dicha zona, se detectara n todas las caras que aparezcan en la imagen devueltas por la ca mara. Es decir, el funcionamiento no se limita a detectar una cara en una imagen, sino que la recorre entera para detectarlas todas. Figura 2.15: Imagen con varias personas para ser detectadas 7 El ejemplo de Facedetect se encarga de sen alar en una determinada imagen las caras que encuentra mediante el uso de clasificadores II31 Proyecto Fin de Carrera Pa gina 38

41 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO El código del ejemplo de Facedetect encuentra las caras situadas en la imagen y dibuja sobre la misma una circunferencia remarcando el resultado de la detección. Éste código ha sido modificado con el objetivo de poder aprovecharlo para el proyecto (imagen 2.16): A partir de ahora, solamente leerá las imágenes desde la cámara porque no le vamos a pasar imágenes fijas. En vez de dibujar una circunferencia, dibujará un rectángulo. Se recortará el rectángulo dibujado y se almacenará la imagen para poder emplearla en otros tareas, como por ejemplo, para entrenar. Las siguientes imágenes corresponden al funcionamiento de la modificación, en la que se capturan las imágenes desde la cámara para su posterior tratamiento. (a) Imagen Original desde cámara (b) Imagen Resultado desde cámara Figura 2.16: Funcionamiento con el código modificado de Detección con imágenes Al conseguir que se guarden las imágenes de las caras que detecta, finaliza la segunda tarea, dado que el código modificado sirve tanto para aprender su funcionamiento y avanzar un poco más con Opencv y también para aprovecharlo para el proyecto Tarea 3: Comparación de caras por pixeles Esta tarea tiene como objetivo servir de toma de contacto con lo que es la identificación de imágenes. Aunque para el proyecto se ha pensado otro método de búsqueda para identificar a las personas, la comparación por píxeles es útil para aprender a emplear algunas estructuras y funciones de opencv, como por ejemplo, a la hora de extraer los pixeles de una imagen. II31 Proyecto Fin de Carrera Página 39

42 José Juan Sorribes Traver En esta tarea, se aprovechará la salida que produce la ejecución de las tareas anteriores, dado que se grabó un video de prueba con el código de captura de video (sección 2.3.1) y a partir de dicho video, se buscaron las caras que en él aparecen con el código de detección (sección 2.3.2). Con esto creamos una pequeña base de datos de caras para poder hacer pruebas en la realización de esta pequeña aplicación. La única complejidad que presenta el código es cargar las imágenes de la base de datos en una estructura de tipo array de imágenes a partir de la librería se la STL. Una vez las imágenes en memoria, se carga la imagen a comparar y se envía a una función que la convierte a escala de grises y extrae todos los pixeles uno a uno de la imagen elegida además de las imágenes de la base para compararlos. Posteriormente extrae la mínima diferencia de pixeles con cada una de las imágenes y determina cual es la más similar de ellas. Por último, muestra por pantalla las dos imágenes (imagen 2.17): la imagen objetivo a comparar, y la imagen de la base de datos con el mayor indice de similitud. Figura 2.17: Imagen comparada e Imagen de la Base de Datos, de las que se ha encontrado mayor coincidencia. Dentro de las pruebas realizadas para esta parte, teniendo una base de datos con 12 imágenes de 5 personas distintas, se ha obtenido una tasa de acierto elevada, en torno al 85 % aproximadamente. Hay que tener en cuenta que la base de datos es reducida, y como consecuencia se produce una elevada tasa de acierto. Por último, comentar que esta tarea puede llegar a formar parte de la aplicación, dado que serviría como utilidad para descartar y eliminar imágenes que se han tomado de una misma persona en un espacio de tiempo muy corto, ahorrando el tiempo que le pueda costar hacer la comparación entera con la base de datos Tarea 4: Búsqueda de puntos de interés de una imagen Esta tarea trata sobre la búsqueda de puntos de interés, con el objetivo de realizar el entrenamiento de imágenes (sección 2.2.2). Para ello, se buscará un tipo especial de puntos, las denominadas esquinas (del inglés corners). Para este caso, también nos ayudamos de los ejemplos que lleva la librería de Opencv, el algoritmo modificado de Lucas-Kanade[2] de flujo óptico. Su II31 Proyecto Fin de Carrera Página 40

43 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO funcionamiento se basa en encontrar una serie de puntos o corners en las imágenes que devuelve la cámara, para posteriormente hacer un seguimiento de los objetos en movimiento que aparecen en ésta. Este ejemplo también permite situar manualmente los puntos a seguir, que como se puede en las siguientes imágenes, situando un objeto y moviéndolo a través de la pantalla, los puntos siguen a dicho objeto (imagen 2.18). (a) Imagen 1 (b) Imagen 2 (c) Imagen 3 (d) Imagen 4 Figura 2.18: Imágenes de prueba del algoritmo de Lucas-Kanade En el ejemplo, el algoritmo busca puntos de interés que sean fuertes, para ser más fáciles de volver a encontrar en las siguientes imágenes. En éstas, ya no se encarga de buscar los puntos, sino que simplemente las compara cada una con su anterior, calcula el flujo óptico y sitúa de nuevo los puntos que había con anterioridad. Pues bien, para realizar esta tarea se aprovecharán las funciones que se utilizan en el ejemplo proporcionado por OpenCV para encontrar los puntos. Se modificará dicho código implementado para que admita una lista de imágenes en las que buscar los II31 Proyecto Fin de Carrera Página 41

44 José Juan Sorribes Traver puntos de interés de cada una de ellas, y de los puntos se extraerá información para la base de datos. Sabiendo las coordenadas que poseen cada uno de estos puntos de interés se coge un pequeño cuadro de cierto tamaño de pixeles con el punto en su centro. De ese recuadro, se almacenan los valores en escala de grises 8, es decir, cada uno de los pixeles se guarda en un fichero, en una misma línea, con un número identificativo de la imagen al final de la secuencia de números (cuadro 2.4). Por ejemplo, si de una imagen se almacenan sus puntos de interés en cuadros de 9x9 pixeles, se guardará una linea,con 81 números (9x9) separados por espacios con un número al final identificando a la imagen. Es decir, si se extrae un punto de interés de la imagen 2.16 en el ojo, la ventana de 9x9 se vería como la imagen Figura 2.19: Imagen de la ventana de 9x9 pixeles Al finalizar esta tarea se consigue extraer de una imagen cualquiera, todos sus puntos de interés para poder entrenar la imagen y añadirla a la base de datos, o bien compararla con otra para detectar de quien se trata la persona en cuestión Tarea 5: Normalización de Intensidad de Imágenes La iluminación que recibe un rostro al ser fotografiado puede variar dependiendo de algunos factores como la luz ambiental, la posición del objeto que se fotografía, etc. por tanto, una misma persona podría no parecerse a si misma dependiendo de dichos factores. Por ello, se ha elegido una implementación para MatLab que normaliza la intensidad de las imágenes, y ha sido traducida a C++ para poder utilizarla en la aplicación con el fin de entrenar las imágenes entrantes. 8 Una imagen cuyos pixeles estén en el rango de valores entre 0 y 255 (blanco y negro), se dice que esta en Escala de Grises. II31 Proyecto Fin de Carrera Página 42

45 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO En este caso, se ha programado una clase que se encarga de convertir una imagen de niveles de gris a valores normalizados por medio de matrices y funciones que normalizan una imagen objetivo, de forma que se aceleran el cálculo de los valores media y desviación típica de la imagen. La clase, posee como elementos dos matrices esta formada por dos matrices, la primera obtenida como: Px(0,0) (0,0) + Px(0,1)... (0,j-1) Px(0,j) (0,0) + Px(1,0) (1, 0) + (0, 1) (0, 0) + P x(1, 1)... (i,j-1) + (i-1,j) - (i-1,j-1) + Px(i,j).... (i-1,0)+px(i,0) (i,j-1) + (i-1,j) - (i-1,j-1) + Px(i,j) Esta matriz se crea para hallar la media. Siendo Px(i,j) el valor del pixel en la posición i y j en la imagen, y siendo la dupla (i,j) el valor de la celda de posición i y j en la matriz, una posición determinada se extrae como: Sumar el valor de la posición en la fila anterior ( i-1 ), Sumar el valor de la posición en la columna anterior ( j-1), Restar el valor de la posición diagonal anterior ( i -1, j-1 ), Y sumar el valor del Pixel en la posición ( i, j ) de la imagen. El funcionamiento de la matriz para calcular la desviación típica es el mismo que en este caso anterior, pero la diferencia está en que en éste caso el valor del pixel que se va a sumar es elevado al cuadrado ( P x(i, j) 2 ). Por último, las funciones Mean y Std ya se encargan de calcular los valores de la Media y Desviación Típica respectivamente, en un tiempo mínimo Tarea 6: Comparación de caras por puntos de interés Esta tarea consiste en que se debe determinar si una persona detectada está en la base de datos, y por tanto, tiene acceso al lugar que estemos vigilando. Para ello se dispone de dos ficheros, la base de datos(sección 2.2.4) y un fichero temporal (con la misma estructura) generado también con la función de entrenamiento. Con estos dos ficheros, con los puntos de interés almacenados de las personas que tienen acceso y de la persona que acaba de acceder, aplicaremos el algoritmo k-nn 9 [3]. 9 En el método k-nn (K nearest neighbors Fix y Hodges, 1951) es un método de clasificación supervisada. Este un método de clasificación no paramétrico, que estima el valor de la función de densidad de probabilidad o directamente la probabilidad a posteriori de que un elemento X pertenezca a la clase Cj a partir de la información proporcionada por el conjunto de prototipos. II31 Proyecto Fin de Carrera Página 43

46 José Juan Sorribes Traver Es decir, se va a comparar el fichero temporal línea a línea (punto por punto) con cada una de las líneas de la base de datos mediante la Distancia euclídea. Una vez calculada la distancia euclídea de un punto del fichero temporal con un punto de la base de datos, se almacena el valor que devuelve. Al mismo tiempo que se va calculando punto por punto, se va hallando también cual es el que devuelve el mínimo. Posteriormente, sabiendo la posición que ocupa la imagen que devuelve el valor mínimo, se suma en un vector un punto en la posición correspondiente. Cuando finaliza el cálculo de todos los puntos del fichero temporal, se busca la lista con las puntuaciones, cual ha sido la imagen que más se le parece. Para la realización de esta tarea se deben tener conocimientos de c++, estructuras de datos y tratamiento de ficheros, dado que no se emplea ninguna función de Opencv para hacer los cálculos. Hay que añadir que, dado que de cada una de las caras, se localizan muchos puntos (entre 200 y 400), cuantas más caras haya en la base de datos, más lento se volverá el proceso de comparación del fichero temporal, dado que cada una de sus filas debe compararse con todas las filas de la base de datos, y puede volverse un proceso costoso Tarea 7: Captura de video desde dos cámaras El objetivo en esta tarea, es lograr una serie de funciones que hagan que se pueda ver imágenes y capturarlas en un archivo de video desde dos cámaras al mismo tiempo. El funcionamiento es el mismo que en la Tarea 1 (sección 2.3.1), por lo que se aprovechará el código generado en dicho apartado. Como se puede ver en las imágenes de la figura 2.20, las dos cámaras están capturando una misma acción en el mismo instante de tiempo, pero desde dos posiciones distintas. Esto hace que trabajar con dos cámaras para este proyecto sea viable, dado que el objetivo es poder emplear dichas cámaras para controlar la entrada y salida de un determinado lugar simultaneamente. (a) Imagen desde cámara 1 (b) Imagen desde cámara 2 Figura 2.20: Captura desde dos cámaras en el mismo instante de tiempo II31 Proyecto Fin de Carrera Página 44

47 CAPÍTULO 2. DESCRIPCIÓN DEL PROYECTO El único inconveniente aparecido es poder realizar una grabación en condiciones, dado que al haber dos cámaras hay que escribir el mismo número de fps, y por ello se debe controlar el tiempo de espera entre que las dos cámaras sacan una imagen y otra Tarea 8: Detección de caras desde dos cámaras simultáneamente Como la Tarea 7, ésta es una derivación de otra Tarea anterior, la Tarea 2 (sección 2.3.2), en el que se detecta la cara de las personas que pasan por delante de la cámara y se almacena. También, como en el caso anterior, se trabajará con las dos cámaras simultáneamente se modificarán las funciones del tratamiento de la imagen, pero solamente se va a emplear una función de detección que se empleará para las dos cámaras. (a) Imagen original cámara 1 (b) Resultado detección cámara 1 Figura 2.21: Detección de caras desde una de las cámaras (a) Imagen original cámara 2 (b) Resultado detección cámara 2 Figura 2.22: Detección de caras desde las dos cámaras Como se puede ver en las imágenes de la figura??, se captura frames desde las II31 Proyecto Fin de Carrera Página 45