Estudios de Métodos para Estimación de Género Basado en Caras

Transcripción

1 Universidad de Buenos Aires Facultad de Ciencias Exactas y Naturales Departamento de Computación Estudios de Métodos para Estimación de Género Basado en Caras Tesis presentada para optar al título de Licenciado en Ciencias de la Computación Florencia Soledad Iglesias LU: 120/06 Director: Buemi María Elena Buenos Aires, 2013

2 RESUMEN La clasificación demográfica, y en particular el reconocimiento de género es uno de los problemas de clasificación estudiados en los últimos años, debido a su potencial de aplicación en áreas como sistemas de interacción humano-máquina, vigilancia, indexación y búsqueda basada en contenido, biometría, estudios demográficos, estudios de mercado y construcción de propagandas dirigidas. A diferencia de la mayoría de los sistemas biométricos, la utilización de caras para realizar el reconocimiento, no requieren ningún contacto físico. Las nuevas tecnologías, como por ejemplo las actuales cámaras de vigilancia, permiten obtener imágenes de caras con buena resolución y sin que el individuo se percate de ello. El objetivo de esta tesis es la implementación de un sistema de reconocimiento de género en tiempo real basado en imágenes de caras frontales, que permita discriminar entre hombres y mujeres. Se analizan y comparan diversas técnicas de extracción de características y algoritmos de clasificación con el objeto de determinar cuáles presentan la mejor solución. Los reconocedores generados a partir de estos métodos son evaluados según su tolerancia a transformaciones habituales de las imágenes presentes en un ambiente no controlado, como rotación y cambio de brillo, y en función de su tiempo de respuesta. Con el objeto de facilitar estos estudios, se implementa RGC, un software que permite entrenar y testear reconocedores de género y estimar el género de imágenes desde una interfaz de usuario. ReGen es el software de reconocimiento de género en tiempo real generado con el reconocedor que se considera mejor, según los estudios. La localización de caras en el video se realiza con el algoritmo Viola-Jones, que permite detectar objetos en tiempo real a un costo computacional bajo. Palabras claves: Reconocimiento de género, Extracción de características, Algoritmos de clasificación. i

3 ABSTRACT Demographic classification, and in particular gender recognition, is a research topic with a high application potential in areas such as human-computer interaction systems, surveillance, content-based indexing and searching, biometrics, demographic collection, marketing surveys and targeted advertising. Unlike other biometric systems, using faces for recognition requires no physical contact. With the technology available, such as the new security cameras, images can be obtained with good resolution and without the individual realizing it. The aim of this thesis is to build a real time gender recognition system based on frontal face images, which allows discrimination between men and women. A variety of image features extraction techniques and classification algorithms are analyzed and compared in order to determine which provide the best solution. Recognizers generated from these methods are evaluated according to their tolerance to common image transformations present in an uncontrolled environment, such as rotation and change of brightness, and according to their time response. In order to facilitate these studies, RGC is implemented; this software allows to train and test gender recognizers and estimate the gender of images from a user interface. ReGen is the real-time gender recognition software generated with the recognizer which is considered the best, according to the studies. TViola-Jones algorithm, a method to detect objects in real time at low computational cost, is used to detect the faces present in the video. Keywords: Gender recognition, Features extraction techniques, classification algorithms. ii

4 ÍNDICE GENERAL Indice de figuras Indice de tablas vi ix 1.. Introducción Objetivo Aplicaciones Estructura de un reconocedor de género Detección de caras Extracción de Características Clasificación Organización de esta tesis Estado del Arte Trabajos sobre el reconocimiento de género Reconocedores basados en valores de intensidad de los píxeles Reconocedores basados en métodos de reducción de dimensionalidad Reconocedores basados en Haar-like features Reconocedores basados en Local Binary Pattern Reconocedores basados en Gabor Wavelets Reconocedores basados en Scale Invariant Feature Transform Influencia de la edad y de la etnia Detección de caras Viola-Jones Haar-Like Features (HLF) Imagen integral Clasificación usando boosting Clasificador en cascada Detección de caras Extracción de características Tipos de extractores LBP (Local Binary Pattern) LBP básico LBP U (LBP uniforme) Descriptor basado en LBP Descriptores LBP invariantes a rotación Descriptor LBP aplicado a imágenes de caras CenSurE (Center Surround Extrema) Filtros bi-level Cálculo de los filtros bi-level iii

5 Detección de puntos claves FAST (Features from Accelerated Segment Test) Detección de esquinas Supresión de no máximos BRIEF (Binary Robust Independent Elementary Features) Descriptor BRIEF Núcleo de suavizado Disposición espacial de los test binarios ORB (Oriented FAST y rotated BRIEF) Detector ORB Descriptor ORB BRISK (Binary Robust Invariant Scalable Keypoint) Detector BRISK Descriptor BRISK BRIEF, BRISK y ORB densos Propiedades Propiedades de LBP Propiedades de CenSurE, BRIEF, BRISK y BRIEF Extracción de Descriptores en esta tesis Clasificación Qué es un clasificador? Support vector machine (SVM) Cálculo del hiperplano óptimo Kernels Adaboost Clasificador débil Construcción del clasificador fuerte Aplicación al reconocimiento de género RGC Reconocedor de Género basado en Caras Instanciación de los reconocedores de género Restricciones del input Funcionalidad Estimar género de una imagen Testear reconocedor de género Entrenar reconocedor de género Diseño de RGC Detalles de implementación Extractores de características basados en LBP Extractores de características basados en el esquema detector-descriptor Algoritmos de clasificación Reconocedores de género

6 7.. Análisis de Distintos Reconocedores Datasets Los reconocedores de género Tasas de acierto y tolerancia a rotaciones pequeñas Detalles del experimento Resultados Tolerancia a cambio de brillo Detalles del experimento Resultados Tiempo de respuesta Detalles del experimento Resultados Comparación de los reconocedores ReGen El software Captura del frame y cámara soportada Detección de Caras Reconocimiento de género Visualización del género en el frame Diseño de ReGen Detalles de implementación de las clases Análisis de ReGen Funcionamiento de ReGen en tiempo real Niveles de acierto de ReGen al analizar imágenes fijas Conclusiones y trabajos futuros

7 ÍNDICE DE FIGURAS 1.1. Símbolos que representan los géneros mujer y hombre Estructura de un reconocedor de género Ejemplos de Haar-Like Features Cálculo de la imagen integral Cómputo de la suma de todos los píxeles de la imagen original dentro de una zona rectangular Esquema de detección en cascada Extracción de cara en un frame de un video Transformación de una cara a escala de grises y redimensión de la misma Ejemplo de 3 vecindades diferentes: (8, 1), (16, 2), (24, 3)) Ejemplo del operador LBP, utilizando la vecindad (8, 1) Diferentes texturas primitivas detectadas por LBP 8,R Los 58 patrones uniformes diferentes obtenidos con la vecindad (8,R) Efecto de la rotación de una imagen en los puntos de una vecindad Mecanismo de obtención del descriptor LBP de una cara, dividiendo la imagen en bloques Progresión de filtros envolventes bi-level Segment-test del detector de esquinas FAST en un patch de la imagen Diferentes enfoques para seleccionar los n pares (x i, y i ) de los test ne BRIEF Detección de puntos claves en el espacio-scala usando BRISK Patrón de muestreo BRISK con N = 60 puntos Cara utilizada en los estudios de propiedades de los métodos Histograma LBP uniforme no invariante a rotación y descriptor LBP-HF, de 3 rotaciones de una imagen (0 o, 90 o y 180 o ) LBP uri 8,1 de 3 rotaciones de una imagen (0o, 90 o y 180 o ) Histograma LBP uniforme no invariante a rotación y descriptor LBP-HF, de 3 rotaciones de una imagen (0 o, 90 o y 180 o ) LBP8,1 uri de 3 rotaciones de una imagen (0o, 3 o y 5 o ) Diferencias entre los bloques extraídos en dos rotaciones de una imagen Descriptor LBP-HF de 3 rotaciones de una imagen, dividiendo la misma en bloques de píxeles Descriptor LBP8,1 uri de 3 rotaciones de una imagen, dividiendo la misma en bloques de píxeles Histogramas LBP uniformes obtenidos al variar los niveles de brillo de una cara Descriptores BRIEF de 3 rotaciones de una imagen; los ángulos son 0 o, 3 o y 5 o Histogramas de los descriptores BRISK de 3 rotaciones de una imagen; los ángulos son 0 o, 3 o y 5 o Histogramas de los descriptores ORB de 3 rotaciones de una imagen; los ángulos son 0 o, 3 o y 5 o vi

8 4.24. Descriptores BRIEF obtenidos al variar los niveles de brillo de una cara Histogramas de los descriptores BRISK obtenidos al variar los niveles de brillo de una cara Histogramas de los descriptores ORB obtenidos al variar los niveles de brillo de una cara Ejemplo de posibles hiperplanos de separación entre dos clases Hiperplano óptimo de separación entre dos clases Ilustración del esquema de boosting Salida del software al estimar el género de una cara de mujer Salida del software al estimar el género de una cara de hombre Diseño de los reconocedores de género Diseño de los extractores de características Diseño de los extractores de características basados en LBP Diseño de los extractores de características que respetan el esquema detectordescriptor Tasas de acierto brindadas por diferentes reconocedores de género, con las bases FEI y FERET Tasas de acierto brindadas por diferentes reconocedores de género al rotar las imágenes de testeo; la base de caras utilizada es FEI Tasas de acierto brindadas por diferentes reconocedores de género al rotar las imágenes de testeo; la base de caras utilizada es FERET Tasas de acierto brindadas por diferentes reconocedores de género al variar el brillo de las imágenes de testeo; la base utilizada es FEI Tasas de acierto brindadas por diferentes reconocedores de género al variar el brillo de las imágenes de testeo; la base utilizada es FERET Tiempo de respuesta de distintos reconocedores al estimar el género de una imagen Esquema del funcionamiento de ReGen Salida tentativa de ReGen previa a la implementación actual Salida de ReGen Diseño de ReGen Captura de la salida de ReGen al trabajar en tiempo real. Frame 1 de la secuencia que presentan una cara variando el ángulo de rotación de la misma con respecto al fondo Captura de la salida de ReGen al trabajar en tiempo real. Frame 2 de la secuencia que presentan una cara variando el ángulo de rotación de la misma con respecto al fondo Captura de la salida de ReGen al trabajar en tiempo real. Frame 3 de la secuencia que presentan una cara variando el ángulo de rotación de la misma con respecto al fondo Captura de la salida de ReGen al trabajar en tiempo real. Frame 1 de la secuencia que varia la distancia de la cara a la cámara Captura de la salida de ReGen al trabajar en tiempo real. Frame 2 de la secuencia que varia la distancia de la cara a la cámara

9 8.10. Captura de la salida de ReGen al trabajar en tiempo real. Frame 3 de la secuencia que varia la distancia de la cara a la cámara Salida de ReGen al estimar correctamente el género de dos mujeres y un hombre en una imagen Salida de ReGen al estimar incorrectamente el género de una mujer en una imagen de 3 personas Salida de ReGen al estimar incorrectamente el género de un hombre en una imagen de 4 personas Salida de ReGen al estimar correctamente el género de dos mujeres y un hombre en una imagen

10 ÍNDICE DE TABLAS 5.1. kernels estándar utilizados por SVM Análisis de distintas combinaciones de valores para los párametros de STAR Análisis de distintas combinaciones de valores para los párametros de BRISK Análisis de distintas combinaciones de valores para los párametros de ORB Tasas de acierto de los reconocedores de género SV M + LBP uri 8,1, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género Adaboost + LBP uri 8,1, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género SV M + LBP HF, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género Adaboost + LBP HF, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género SV M + LBP HF C, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género Adaboost + LBP HF C, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género SV M +detector descriptor, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género Adaboost + detector descriptor, considerando distintos ángulos de inclinación de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género SV M + LBP uri 8,1, considerando distintos niveles de brillo de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género Adaboost + LBP uri 8,1, considerando distintos niveles de brillo de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género SV M + LBP HF, considerando distintos niveles de brillo de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género Adaboost + LBP HF, considerando distintos niveles de brillo de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género SV M + LBP HF C, considerando distintos niveles de brillo de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género Adaboost + LBP HF C, considerando distintos niveles de brillo de las caras utilizadas para el testeo Tasas de acierto de los reconocedores de género SV M +detector descriptor, considerando distintos niveles de brillo de las caras utilizadas para el testeo. 80 ix

11 7.16. Tasas de acierto de los reconocedores de género Adaboost + detector descriptor, considerando distintos niveles de brillo de las caras utilizadas para el testeo Tiempo de respuesta de los reconocedores SV M + LBP8,1 uri para estimar el género de imágenes Tiempo de respuesta de los reconocedores Adaboost + LBP8,1 uri para estimar el género de imágenes Tiempo de respuesta de los reconocedores SV M + LBP HF para estimar el género de imágenes Tiempo de respuesta de los reconocedores Adaboost + LBP HF para estimar el género de imágenes Tiempo de respuesta de los reconocedores SV M +LBP HF C para estimar el género de imágenes Tiempo de respuesta de los reconocedores Adaboost + LBP HF C para estimar el género de imágenes Tiempo de respuesta de los reconocedores SV M + detector descriptor para estimar el género de imágenes Tiempo de respuesta de los reconocedores Adaboost + detector descriptor para estimar el género de imágenes Matriz de confusión de ReGen al analizar las imágenes de FERETtest Matriz de confusión de ReGen al analizar las imágenes de Wed3atest

12 1. INTRODUCCIÓN La identificación de características demográficas en seres humanos como la edad, el género, la etnia, por medio de procesamiento de imágenes y visión por computadoras, ha tomado relevancia en los últimos años. Estos atributos juegan roles importantes en aplicaciones que requieren información confiable del usuario para ofrecer su servicio correctamente. Para dichas aplicaciones, la utilización de partes del cuerpo como las manos, las huellas digitales o el iris, requieren la cooperación del sujeto, el contacto físico o la atención del mismo, lo cual limita su aplicabilidad; por este motivo, es deseable que los sistemas no sean invasivos. Las imágenes de caras se encuentran probablemente entre las características biométricas más comunes y menos invasivas utilizadas por los seres humanos para hacer un reconocimiento personal Objetivo En esta tesis se aborda el tema del reconocimiento de género en humanos a partir de imágenes de caras frontales; este puede verse como un problema de clasificación entre clases. En la bibliografia existente se consideran sólo dos géneros: Mujer y hombre; los mismos se representan en Fig Fig. 1.1: Símbolos que representan los géneros mujer y hombre. El objetivo de este trabajo es la implementación de un sistema de reconocimiento de género en tiempo real, que permita discriminar entre hombres y mujeres; para ello se propone analizar y comparar distintas técnicas, tanto para extraer las características de una imagen como para realizar la clasificación Aplicaciones El reconocimiento de género puede ser utilizado en varias aplicaciones, como se describe en [1]: Sistemas de interacción humano-máquina: el reconocer este atributo en un individuo permite al software realizar una interacción más humana; por ejemplo referirse a una persona como Sr. o Sra. según corresponda. 1

13 1. Introducción 2 Vigilancia: esta característica demográfica se puede utilizar para dar prioridad o restringir el acceso a ciertas áreas a un género específico. Indexación y búsqueda basada en contenido: Indexar o anotar información sobre las personas presentes en imágenes, como la edad y el género, puede ser utilizado, en un dataset, para facilitar el acceso a ciertos datos por diversas aplicaciones. Por ejemplo en la búsqueda de una foto de una persona, el género permite reducir la cantidad de imágenes que se deben analizar. Biometría: los sistemas biométricos que utilizan reconocimiento de rostro, pueden aumentar su eficiencia durante la búsqueda si se utilizan dos subsistemas diferentes según el género. Estudios demográficos: la información demográfica, como el género, se puede utilizar para realizar estudios estadísticos sobre poblaciones. Estudios de mercado: el reconocimiento de este atributo permite realizar estudios demográficos sobre clientes; por ejemplo estimar el género que accede con mayor frecuencia a un negocio o compran un cierto producto. Construcción de propagandas dirigidas: el género se puede utilizar para brindar, en monitores y televisores, publicidades relevantes para la persona que la está mirando; por ejemplo mostrar propagandas de carteras en el caso de una mujer o billeteras si es un hombre Estructura de un reconocedor de género En la mayoría de los casos, el reconocimiento de género puede ser dividido en 3 etapas, como lo ilustra Fig. 1.2: Fig. 1.2: Estructura de un reconocedor de género Detección de caras Consiste en determinar la ubicación de caras humanas en imágenes. Uno de los algoritmos de detección de objetos más utilizados es Viola-Jones [2], dado que brinda una alta tasa de acierto, a un costo computacional bajo, y permite detectar caras en tiempo real Extracción de Características Consiste en encontrar valores numéricos que describan el objeto en estudio; estos descriptores deben permitir discriminar entre sujetos pertenecientes a géneros diferentes. Este paso es probablemente la etapa más importante para lograr alcanzar elevadas tasas de acierto en el reconocimiento.

14 1. Introducción Clasificación Consiste en estimar el género de una persona mediante técnicas basadas en entrenamiento. Los clasificadores más ampliamente utilizados para resolver esta etapa son Support Vector Machine (SVM) y Adaboost; redes neuronales y clasificadores bayesianos también fueron considerados Organización de esta tesis Esta tesis se encuentra dividida de la siguiente manera: En el capítulo 2 se resumen los trabajos más relevantes sobre el reconocimiento del género basado en caras. En el capítulo 3 se describe el método utilizado para la detección y extracción de caras de personas en imágenes. La localización se realiza por medio del algoritmo Viola-Jones y las caras encontradas son procesadas para su utilización. En el capítulo 4 se presentan distintas técnicas de extracción de características y se analizan sus propiedades. En el capítulo 5 se describen los algoritmos de clasificación considerados: SVM y Adaboost; y su utilización en el reconocimiento de género. En el capítulo 6 se detalla RGC : aplicación que permite combinar los distintos extractores de características y los algoritmos de clasificación para entrenar y testear reconocedores de género, y estimar el género de una cara; se describe su funcionalidad, diseño y detalles de implementación. RGC es utilizada para facilitar la realización de los experimentos presentados en el capítulo 7. En el capítulo 7 se analizan distintos reconocedores de género estudiando su tasas de acierto al realizar el reconocimiento, su tolerancia a la rotación y al cambio en el brillo de las imágenes, y su tiempo de respuesta. El capítulo 8 describe ReGen : software de reconocimiento de género en tiempo real basado en caras frontales, generado a partir del reconocedor considerado mejor según los estudios del capítulo 7. Se detalla su diseño, implementación y características. Finalmente, en el capítulo 9, se exponen las conclusiones y las posibles líneas de trabajo futuro.

15 2. ESTADO DEL ARTE En los últimos años se han estudiado diferentes métodos de extracción de características y algoritmos de clasificación para generar reconocedores de género. En este capítulo se resumen algunas de las principales investigaciones realizadas combinando las diferentes técnicas, y se presentan trabajos orientados a analizar la influencia de la etnia y la edad en la clasificación; todos ellos utilizando datasets de caras humanas Trabajos sobre el reconocimiento de género Los estudios sobre el reconocimiento de género se pueden dividir según los métodos utilizados para extraer las características de las imágenes. Los primeros trabajos utilizaban la distancia fiducial, el valor de intensidad de los píxeles y/o el análisis de componentes principales. La mayoría de los métodos modernos generan descriptores realizando operaciones en los píxeles de las imágenes y aplicando técnicas para brindar invarianza a algunas transformaciones, como por ejemplo a rotación y a variación de brillo; la técnica más utilizada es Local Binary Pattern (LBP). Ng et al. [1] describen los principales trabajos realizados en los últimos 20 años Reconocedores basados en valores de intensidad de los píxeles En estos trabajos se utilizan los valores de intensidad de los píxeles directamente como input de un algoritmo de clasificación; las imágenes suelen ser redimensionadas y normalizadas para compensar las variaciones geométricas y de iluminación. Moghaddam et al. [3] combinaron estos descriptores con Support Vector Machines (SVM) y Radial Basis Function (RBF). Según los autores, la tasa de acierto obtenida es superior a las alcanzadas por reconocedores de patrones tradicionales (Lineales, Quadráticos, Fisher Linear Discriminant) y por los que utilizan técnicas más modernas, como los basados sólo en RBF. Experimentaron con 1775 imágenes de píxeles de la base FERET [4], y obtuvieron un nivel de acierto del 96.6 %. Phung et al. [5] utiliza una arquitectura piramidal de redes neuronales para clasificar imágenes de FERET [4], obteniendo 96.4 % de acierto; concluyeron que el tiempo de demora es similar al calculado al utilizar SVM [3]. El reconocedor presentado por Fok et al. [6] usa Shunting Inhibitory Convolutional Neural Networks con FERET [4], alcanzando 97.2 % de acierto. Baluja et al. [7] propusieron utilizar los descriptores obtenidos a partir de los valores de intensidad de los píxeles y Adaboost; en sus estudios se analizan 2409 caras de de la base FERET [4], logrando un nivel de acierto de 94.3 %. Los autores afirman que el reconocedor presentado es 50 veces más rápido que los generados con SVM [3] Reconocedores basados en métodos de reducción de dimensionalidad Debido a la cantidad de características que es posible extraer de las imágenes, por ejemplo al utilizar los valores de intensidad de los píxeles, se aplican métodos de 4

16 2. Estado del Arte 5 reducción de dimensionalidad, como Análisis de Componentes Principales (PCA) y Análisis de Componentes Independientes (ICA), para generar los descriptores. Sun et al. [8] representaron cada imagen como un vector generado por PCA, y utilizaron algoritmos genéticos (GA) para remover los autovectores que no codificaban información de género. En el estudio utilizaron 4 clasificadores: SVM, redes neuronales, clasificador de Bayes y un clasificador basado en análisis de discriminante lineal (LDA). Según los autores, los porcentajes de acierto más elevados se obtuvieron con SVM, alcanzando 95.3 %. En 2003, Castrillón et al. [9] presentaron ENCARA, un sistema de reconocimiento de género en tiempo real que combina las técnicas PCA y SVM obteniéndose niveles de acierto similares a los otros trabajos, como por ejemplo [8]. Los estudios realizados por Buchala et al. [10] mostraron que diferentes componentes de PCA codifican diferentes propiedades de las caras, como género, etnia y edad. PCA de dos dimensiones también fue utilizado para reducir la dimensionalidad de los datos. Lu et al. [11] utilizaron este método con SVM y RBF para estimar el género de imágenes de caras, alcanzando niveles cercanos al 95 % de acierto. Entre los trabajos referentes a reconocedores basados en ICA, se encuentra Jain et al. [12] que utiliza SVM para clasificar 300 imágenes de la base FERET [4], alcanzando % de acierto. Bekios-Calfa et al. [13] presentaron clasificadores basados en PCA, ICA, LDA y Bayes, obteniendo niveles de acierto comparables con los resultados obtenidos con los mejores clasificadores basados en SVM [3]. Iglesias [14] análizó uno de los reconocedores presentados en [13]; los estudios se realizaron con el objeto de observar las tasas de acierto obtenidas al utilizar una base compuesta de sólo 8 imágenes (Subconjunto del dataset de caras de la Universidad de Cambridge) [15] y con el dataset FEI [16], conformado por caras de personas de nacionalidad brasilera. La implementación reduce la cantidad de ciclos realizados por el algoritmo original y muestra tasas de acierto superiores al 80 %, incluso con la base más chica Reconocedores basados en Haar-like features Las Haar-like features fueron introducidas por Viola y Jones [2] para localizar caras en imágenes. Shakharovich et al. [17] usa estas características y Adaboost para reconocimiento de género y etnia en imágenes web y en videos en tiempo real, logrando en el primer caso 79 % de acierto y en el segundo 90 %. Xu et al. [18] las combina con distancias fiduciales (distancia entre puntos importantes en la imagen que marcan características de la misma; por ejemplo, que indican la nariz, la boca, el pelo, las orejas y ojos en una cara) y SVM+RBF; estudiando varias bases de caras, entre ellas FERET [4], obtuvieron % de acierto. El esquema Appearance-based Average Face Difference (AAFD) para la extracción de características fue presentado por Guo et al. [19]; su implementación está basada en las Haar-like features y genera descriptores para imágenes no alineadas y con baja resolución. Con SVM y un subconjunto de la base FERET [4] informaron un porcentaje de % de acierto; el estudio compara este métodos con otros más ampliamente difundidos, mostrando que la tasa brindada es mayor con esta técnica. Los autores informan un tiempo de respuesta de reconocimiento de aproximadamente 2.5 ms por imagen.

17 2. Estado del Arte Reconocedores basados en Local Binary Pattern Local Binary Pattern (LBP) es un método para generar descriptores de texturas introducido por Ojala et al. [20], que etiqueta los píxeles de una imagen a partir de comparaciones entre ellos. Lian et al. [21] utilizaron los histogramas LBP de las imágenes y SVM con núcleo polinomial para clasificar, según el género, caras ubicadas en distintas posiciones, obteniendo una tasa de acierto de %. En los estudios realizados por Yang et al. [22] se utilizaron estos descriptores y Adaboost para reconocer diferentes características demográficas: género, edad y etnia. El entrenamiento fue realizado con caras de personas de nacionalidad china. El testeo del género alcanzó con dicha base un porcentaje de acierto de % y con FERET [4] 93 %. Wang et al. [23] implementaron un sistema de tiempo real de reconocimiento de género, basado en Local Binary Pattern Histogram Fourier features (LBP HF), Gabor y Adaboost. Alexandre [24] combina LBP con características de intensidad y la forma de la cara, para realizar una clasificación de género multi-escala mediante SVM. Las bases utilizadas brindaron tasas de acierto superiores al 90 %. La información de contraste también fue utiliza con LBP para generar descriptores. Ylioinas et al [25] utiliza este método y Adaboost para realizar la clasificación de género de imágenes de varias bases de datos. Entre las conclusiones observadas, se afirma que las distintas variantes de LBP, debido a su simplicidad computacional, puede ser utilizadas para generar sistemas de reconocimento en tiempo real. Shan [26] utiliza histogramas LBP y SVM con RBF para clasificar utilizando 5-fold cross-validation imágenes de caras frontales sin alinear, tomadas en un ambiente no controlado; el autor indica que el porcentaje de acierto obtenido fue de %. La influencia de trabajar con bases grandes en el reconocimiento fue estudiada por Ramón-Balmaseda et al. [27]. En su trabajo se extrajeron descriptores con LBP y se clasificaron con SVM las imágenes de 2 bases de caras. También realizaron un estudio con el objeto de observar el efecto que provoca en las tasas de acierto el entrenar y testear los reconocedores con bases diferentes. Los autores concluyen que los resultados obtenidos son dependientes de los datasets utilizados y de la cantidad de imágenes presentes en ellos. Iglesias et al. [28] implementaron un sistema de género en tiempo real, utilizando Local Binary Pattern Histograms Fourier Features (LBP-HF) para realizar la extracción de las características. Compararon distintos reconocedores de género automáticos construidos clasificando con SVM y Adaboost las imágenes, y estudiaron su tolerancia a rotaciones pequeñas. Los autores concluyeron que el reconocedor más robusto utiliza LBP-HF dividiendo las imágenes en bloques de píxeles y Adaboost. Otras versiones de LBP también fueron estudiadas para generar reconocedores de género. Por ejemplo, los trabajos [29] y [30] utilizan Local Gabor Binary Mapping Pattern para realizar la clasificación de género de imágenes ubicadas en diferentes posiciones y direcciones. Jabid et al. [31] utilizan Local Directional Pattern y SVM para analizar caras del dataset de FERET [4], comparando los resultados con reconocedores generados mediante LBP y los clasificadores Adaboost y Chi-cuadrado; los estudios mostraron que con su método se obtiene tasas de acierto más elevadas que con los otros.

18 2. Estado del Arte Reconocedores basados en Gabor Wavelets Las wavelets de Gabor se definen por su frecuencia, orientación y escala. Leng et al. [32] las aplicó al reconocimiento de género extrayendo descriptores mediante wavelets con cinco escalas y 8 orientaciones diferentes para cada píxel de las imágenes; clasificando con SVM difuso (FSVM) obtuvieron niveles de acierto similares a los obtenidos con los mejores reconocedores de género [3]. Scalzo et al. [33] combina Gabor con filtros de Laplace para extraer las características de las imágenes, y utiliza núcleos espectrales de regresión; los autores informaron un porcentaje de acierto de 96.2 % Reconocedores basados en Scale Invariant Feature Transform Scale Invariant Feature Transform (SIFT) es una técnica para generar descriptores a partir de un conjunto de puntos claves identificados en la imagen. Wang et al. [34] aplicaron una variación de este método, donde los puntos son extraídos a partir de una grilla regular, para el reconocimiento de género; y en [35] combinan dicha técnica con Gabor. Las clasificaciones fueron realizas mediante Adaboost logrando una tasa de acierto cercana al 97 % de acierto combinando varias bases de caras Influencia de la edad y de la etnia Se realizaron diferentes trabajos con el objeto de estudiar el impacto de la edad y la etnia en el nivel de acierto de los reconocedores de género. Benabdeelkader et al. [36] al realizar sus estudios con imágenes, descubrieron que fueron clasificadas incorrectamente una cantidad importante de hombres pre-adolescentes y mujeres mayores a 50 años. Guo et al. [37] analizaron diversos métodos para clasificar datasets con gran cantidad de caras. Los autores encontraron que la edad afecta significativamente la precisión de los reconocedores al estimar el género, mostrando que el error de clasificación es menor con adultos que con jóvenes y personas mayores. El trabajo llevado a cabo por Gao et al. [38] mostró que, al trabajar con caras pertenecientes a una etnia, un reconocedor de género específico para la etnia brinda tasas de acierto más elevadas que un reconocedor general.

19 3. DETECCIÓN DE CARAS La detección de caras consiste en determinar la ubicación de caras humanas en imágenes, ignorando todo aquello que no lo es. Uno de los algoritmos de detección de caras más utilizados es Viola-Jones [2], el cual permite detección en tiempo real. En este capítulo se describe este método, que es el utilizado en la tesis para localizar y extraer las caras presentes en imágenes Viola-Jones Viola-Jones [2] [39] [40] es un algoritmo de detección de caras en tiempo real, el cual brinda una alta tasa de acierto, a un costo computacional bajo. La versión original, presentada por Viola et al. [41] en 2001, detecta caras frontales. En 2003 fue extendido para localizar caras con distintos grados de rotación [42]. El método utiliza Haar-Like features y un mecanismo de detección en cascada basado en Adaboost para realiza la búsqueda Haar-Like Features (HLF) Las HLF permiten codificar de manera ad-hoc conocimiento del dominio del problema que es difícil aprender utilizando una cantidad limitada de datos; además es más eficiente trabajar con estas características que con los píxeles directamente [2]. Para realizar el cálculo de las mismas, se consideran regiones rectangulares adyacentes en una ubicación específica de la imagen según una ventana de detección, se realiza la suma de las intensidades de los píxeles en cada región y se calcula la diferencia entre las sumas. Estas restas son utilizadas para clasificar subsecciones de la imagen. Viola-Jones utiliza 3 tipos de HLF: two-rectangle, three-rectangle y four-rectangle features. El valor de two-rectangle features se obtiene realizando la resta entre las sumas de dos áreas adyacentes; three-rectangle feature se computa como la diferencia entre la suma del área central y la suma de las regiones exteriores; y four-rectangle features se calcula como la resta entre las sumas de las regiones ubicadas en diagonal. Fig. 3.1 ilustra distintos tipos de HLF y el cálculo de las mismas. Para extraer estas características, Viola-Jones desliza varias veces una ventana sobre la imagen, reescalando el tamaño de la misma en cada iteración; el tamaño base que toma el algoritmo es píxeles. Una representación especial de la imagen, llamada imagen integral es utilizada para extraer las características rápidamente. 8

20 3. Detección de caras 9 Fig. 3.1: Ejemplo de HLF [2]. La suma de los píxeles de las regiones blancas son substraídas de la sumas de las áreas grises. (A) y (B) muestran two-rectangle features, (C) three-rectangle feature y (D) four-rectangle feature Imagen integral La imagen integral II en la posición (x, y) contiene la suma de todos los píxeles de la imagen original I que se encuentran arriba y a la izquierda de (x, y), inclusive: II (x, y) = x x I(x, y ) (3.1) y y Fig. 3.2 ilustra el cómputo de la imagen integral. Fig. 3.2: Cálculo de la imagen integral El cálculo se puede realizar iterando 1 sola vez sobre la imagen I mediante las siguientes funciones recursivas: s(x, y) = s(x, y 1) + I(x, y) (3.2) II(x, y) = II(x 1, y) + s(x, y) (3.3) donde s(x, y) es la acumulación por columna, s(x, 1) = 0 y II( 1, y) = 0.

21 3. Detección de caras 10 Utilizando esta representación, la suma de todos los píxeles de la imagen original Σ dentro de cualquier zona rectangular D se puede calcular utilizando sólo 4 valores (ver Fig. 3.3): Σ (D) = II (4) + II (1) II (2) II (3) (3.4) Fig. 3.3: Cómputo de la suma de todos los píxeles de la imagen original dentro de una zona rectangular [2]: La suma de los píxeles dentro del área D se puede computar con 4 referencias a memoria; el valor de la imagen integral en 1 es la suma de los píxeles de A; el valor en la posición 2 es A + B; en 3 es A + C y en 4 es A+B+C+D; la suma de D se puede calcular como (2 + 3) Clasificación usando boosting Viola-Jones utiliza una versión modificada de Adaboost, donde cada HLF es considerada un potencial clasificador débil, definido mediante: { 1, pf(x) pθ h (x) f = 0, sino (3.5) donde x es una subventana de la imagen, f(x) el resultado del HLF sobre la ventana x, θ umbral y p { 1, 1}. Sólo algunas de las características generadas se espera que sean potenciales clasificadores débiles, por lo tanto el clasificador Adaboost es modificado para seleccionar sólo las que se consideren mejores; para encontrarlas se evalúa cada HLF en todas las imágenes de entrenamiento y se determinan las mejores según un peso de error que depende de los datos. Sean X el conjunto de datos de entrenamiento, n la cantidad de elementos de X, (x i, y i ) pares ordenados de entrada con x i X, y i {0, 1} según sea un caso negativo o positivo respectivamente, y 1 i n, el Algoritmo 1 presenta el pseudocódigo del entrenamiento de la versión de Adaboost utilizada en Viola-Jones.

22 3. Detección de caras 11 Algoritmo 1 Algoritmo de entrenamiento de Adaboost modificado entrada: (x 1, y 1 ),... (x n, y n ) Se inicializan los pesos w 1,i = 1 2m, 1 2l para los casos positivos y negativos respectivamente; // m = cantidad de casos positivos, l = cantidad de casos negativos. para cada t = 1,..., T hacer Se normalizan los pesos w t,i = w t,i n j=1 w t,j // Se selecciona el mejor clasificador débil ɛ t = min f,p,θ i w i h(x i, f, p, θ) y i h t (x) = h(x, f t, p t, θ t ) // Se actualizan los pesos para cada (x i, y i ) β t = ɛt 1 ɛ t { 0, xi fue clasificado correctamente e i = 1, en otro caso w t+1,i = w t,i β 1 e i t fin para // Se define el clasificador fuerte α t = log 1 β t { 1, T C(x) = t=1 α th t (x) 1 T 2 t=1 α t 0, en otro caso // donde f t, p t y θ t son los valores que minimizan ɛ t Clasificador en cascada Para que el reconocimiento de caras en imágenes sea más rápido y eficiente, y pueda ser utilizado en tiempo real, Viola-Jones utiliza una estructura en cascada. Cada etapa de la misma contiene un clasificador Adaboost, definido según se explica en la sección 3.1.3, más restrictivo que el perteneciente al nivel anterior; estos analizan la región en estudio y la descartan inmediatamente si determinan que no corresponde a una cara; en caso contrario se continúa con la etapa siguiente. La idea es desechar todo aquello que no representa una cara lo más rápido posible ya que la mayoría de los objetos presentes en una imagen no lo son. Se considera una cara toda región que supere la última etapa de la cascada. Fig. 3.4 muestra el mecanismo mencionado. Fig. 3.4: Esquema de detección en cascada.

23 3. Detección de caras Detección de caras En esta tesis, se utiliza el detector de caras disponible en OpenCV [43], basado en Viola-Jones, para localizar caras frontales. Mediante dicha información se realiza la extracción de las caras. Fig. 3.5 muestra el resultado de aplicar este método a una imagen. Fig. 3.5: Extracción de cara en un frame de un video. Las caras extraídas están en colores y poseen tamaños diferentes; estas son procesadas aplicando las siguientes transformaciones: 1. Conversión a escala de grises. 2. Redimensión a un tamaño fijo; se ha optado por transformar las imágenes a píxeles. Fig. 3.6 muestra el proceso de conversión. Fig. 3.6: Transformación de una cara a escala de grises y redimensión de la misma.

24 4. EXTRACCIÓN DE CARACTERÍSTICAS La extracción de características o construcción de un descriptor consiste en encontrar valores numéricos que describan el objeto en estudio y que puedan ser usadas en la clasificación de los datos. En este capítulo se presentan diferentes métodos de extracción de características. El objetivo es describir las técnicas utilizadas en la tesis y analizar sus propiedades Tipos de extractores Las técnicas de extracción de características utilizadas para el reconocimiento de género, pueden ser categorizadas en dos grupos: Basadas en la geometría, que realizan mediciones a partir de marcas faciales, y Basadas en la apariencia, que generan los descriptores aplicando operaciones o transformaciones a los píxeles de las imágenes de manera global o local. La mayoría de las técnicas modernas pertenecen a este último. Todos los métodos estudiados en esta tesis son Basados en la apariencia; estos pueden dividirse en dos grupos: Los que utilizan todos los píxeles de las imágenes para generar el descriptor, como LBP. Los que siguen el esquema detector-descriptor: la etapa de detección consiste en identificar puntos de interés en las imágenes, para ser utilizados en la etapa siguiente durante la construcción del descriptor; BRISK, BRIEF y ORB son algunos ejemplos LBP (Local Binary Pattern) LBP es un operador que aplicado a todos los píxeles de una imagen, genera una matriz de etiquetas que describen los aspecto de la imagen original. El método LBP básico fue presentado por Ojala et al [44] en 1996; existen varias variantes de esta técnica, como por ejemplo LBP-HF (Local Binary Pattern Histogram Fourier Features) [45] [46] y CS-LBP (Center-Symmetric Local Binary Pattern) [47] [46], ambos propuestos en LBP se encuentra entre los métodos más usados actualmente en el reconocimiento de género LBP básico El operador LBP original es un eficiente descriptor de texturas que etiqueta los píxeles de una imagen aplicando un umbral a una vecindad de 3 3 respecto al valor del píxel central y considerando el resultado como un número binario [20] [46]. Este operador puede ser extendido para trabajar con diferentes tamaños de vecindades [20] [46], cada una definida por el par ordenado (P, R), donde P es la cantidad de píxeles vecinos y R es el radio de la vecindad; Fig. 4.1 ejemplifica tres vecindades diferentes. 13

25 4. Extracción de características 14 Fig. 4.1: Ejemplo de 3 vecindades diferentes: (8, 1), (16, 2), (24, 3)) [45]. Dada una imagen I, la etiqueta LBP para el píxel central I(x, y), utilizando la vecindad (P, R), se obtiene calculando: LBP P,R (x, y) = P 1 n=0 S(I n I(x, y)) 2 n (4.1) donde I n con n = 0, 1,..., P 1 son los vecinos de I(x, y) y la función de umbral S (z) está definida como: S (z) = { 1, z 0 0, z < 0 (4.2) La Fig. 4.2 ilustra el funcionamiento del operador LBP básico. Fig. 4.2: Ejemplo del operador LBP, utilizando la vecindad (8, 1). Cada patrón LBP puede ser visto como una micro-textura. Las primitivas locales detectadas incluyen puntos, zonas planas, bordes, finales de bordes, curvas, entre otros [46]. Algunos ejemplos pueden observarse en Fig. 4.3; en ella, los círculos negros representan los unos y los blancos los ceros.

26 4. Extracción de características 15 Fig. 4.3: Diferentes texturas primitivas detectadas por LBP 8,R [46] LBP U (LBP uniforme) Una variación del método, es considerar los patrones uniformes [20] [46]. La medida de uniformidad, correspondiente a la cantidad de transiciones 0 1 o 1 0 presentes en un patrón LBP, se define mediante: P 1 Unif(LBP P,R (x, y)) = S(I P 1 I(x, y)) S(I 0 I(x, y)) + S(I n I(x, y)) S(I n 1 I(x, y)) n=1 (4.3) donde S se calcula por medio de la ecuación (4.2). Un patrón LBP P,R (x, y) se considera uniforme si el número binario tiene a lo sumo 2 transiciones 0 1 o 1 0, es decir si cumple con la condición: Unif(LBP P,R (x, y)) 2 (4.4) Por ejemplo, , , son patrones uniformes; mientras que , , no lo son. Para obtener la codificación de una imagen usando esta versión de LBP, a cada píxel se le asigna el código del correspondiente patrón uniforme o un label único para patrones no uniformes: { LBPP,R(x, U LBPP,R (x, y) si Unif(LBP y) = P,R (x, y)) 2 E no unif orme en caso contrario (4.5) donde E no unif orme es la etiqueta correspondientes a los patrones no uniformes. La utilización de este método no provoca una pérdida importante de información debido a que la mayoría de los patrones presentes en una imagen son uniformes; por ejemplo, tomando vecindades de 3 3, aproximadamente el 90 % de los patrones pertenecen a esta clase [20] [48]. Además, la utilización de los patrones uniformes en lugar de todos los posibles produce mejores resultados ya que son más robustos al ruido [46]. Se denomina U P (n, r) a un patrón LBP uniforme específico, donde n es la cantidad de bits que valen 1 en la secuencia binaria (con 0 n P ), y r es la rotación del patrón (posición de los 1-bits en la secuencia binaria, con 0 r P 1); por ejemplo U 8 (0, 0)