Detector de emociones mediante análisis de fotografías

Transcripción

1 Máster universitario en Ingeniería Computacional y Matemática Detector de emociones mediante análisis de fotografías Miguel Canteras Trabajo Final de Máster Visión por Computador y reconocimiento estadístico de Cañizares Dirigido por: Àgata Lapedriza Garcia David Masip Rodó

2 Introducción Detector, ra Del ingl. detector.. adj. Que detecta o sirve para detectar. Emoción Del lat. emotio, -ōnis.. f. Alteración del ánimo intensa y pasajera, agradable o penosa, que va acompañada de cierta conmoción somática.

3 Introducción Educación: grado de atención a clases Marketing: percepción de productos Psicología: estado emocional de pacientes con autismo, Parkinson, etc. Medicina: dolor en pacientes con problemas de comunicación Seguridad vial: estado emocional del conductor, cansancio, etc.

4 Ekman y las expresiones faciales Listado de emociones alegría ira miedo asco sorpresa tristeza desprecio

5 Ekman y las expresiones faciales Facial Action Coding System A Rastro B Leve C Pronunciado D Severo o extremo E Máximo

6 Ekman y las expresiones faciales Listado de emociones y sus AUs felicidad disgusto miedo coraje sorpresa B + 26 tristeza desprecio R2A + R4A

7 Arquitectura del detector Funcionalidades: Cliente web Carga de fotografía (desde dispositivo, desde Internet, ejemplo) Obtener puntos característicos (landmarks) Normalizar cara Extraer vector de características Clasificar fotografía

8 Arquitectura del detector

9 Arquitectura del detector Microservicios REST Cliente: HTML CSS Javascript Servidor: Python C++

10 Arquitectura del detector

11 Algoritmos Eileen Collins, astronauta de la NASA.

12 Obtención de puntos característicos Facetracker diseñado por Jason Saragih Active Shape Model (ASM)

13 Algoritmos Eileen Collins, astronauta de la NASA.

14 Normalización de la cara Cálculo del centro de los ojos Obtención del ángulo de rotación Escalado Recortado de la cara Distancia entre ojos = 5px Ancho de la imagen normalizada = px Alto de la imagen normalizada = 2px Altura de los ojos en la imagen = 25%

15 Extracción del vector de características Local Binary Patterns (LBP)

16 Local Binary Patterns

17 Local Binary Patterns Vecindario P Radio R

18 Extracción del vector de características Descriptor de 256 * 4 = 24 valores

19 Clasificación Support Vector Machines (SVM)

20 Support Vector Machines Polinomial-homogénea K(xi, xj) = (xi xj)n Perceptron: K(xi, xj) = xi-xj Función de base radial Gaussiana K(xi, xj)=exp(-(xi-xj)2/2(sigma)2) Sigmoid K(xi, xj)=tanh(xi xj θ)

21 Support Vector Machines

22 Support Vector Machines

23 Bases de datos Cohn Kanade extendida (CK+)

24 Bases de datos Cohn Kanade extendida (CK+) 593 secuencias de 23 sujetos Entre 8 y 5 años 69% mujeres, 3% hombres 8% euroamericanos, 3% afroamericanos, 6% otros grupos Imágenes de cara y frontales

25 Entrenamiento emociones Muestras por emoción en CK+ Muestras Ira Desprecio Asco Miedo Alegría Tristeza Sorpresa Muestras por emoción en cada conjunto Ira Desprecio Asco Miedo Alegría Tristeza Sorpresa Training Test

26 Entrenamiento emociones LBP(8, ) Exactitud: 65.62% Ira Desprecio Asco Miedo Alegría Tristeza Sorpresa Ira 2 Desprecio Asco 5 Miedo Alegría 6 Tristeza 2 Sorpresa 8

27 Entrenamiento Exactitud por radio LBP,9,8,7,6,5,4,3,2, 2 3 Radio LBP 4 5

28 Entrenamiento emociones LBP(8, 4) Exactitud: 84.38% Ira Desprecio Asco Miedo Alegría Tristeza Sorpresa Ira 3 Desprecio Asco 6 Miedo 2 Alegría 6 Tristeza Sorpresa 8

29 Entrenamiento emociones Exactitud por radio LBP,9,8,7,6,5,4,3,2, Radio LBP

30 Entrenamiento emociones LBP(8, 4) sin desprecio Exactitud: 9.3% Ira Asco Miedo Alegría Tristeza Sorpresa Ira Asco Miedo Alegría Tristeza Sorpresa 8 92

31 Entrenamiento AUs LBP(8, 4) Exactitud: 83.97% AU Exactitud AU Exactitud 8.67% % % 5 85% 4 7% % % % 6 95% % % % 98.33%

32 Demo disponible

33 Conclusiones Detector de emociones Web y servidor Algoritmos (Landmarks, LBP, SVM) Ajuste de parámetros (radio LBP) 88% de exactitud (7 emociones) 9% de exactitud (6 emociones) 83% de exactitud (Action Units)

34 Futuro Mejorar exactitud con fotos naturales Mejorar detección de AUs Bases de datos más grande Nuevos vectores de características Nuevos algoritmos clasificadores Tiempo real

35 Detector de emociones Gracias