KinBehR KINect for human BEHaviour Recognition

Transcripción

1 KinBehR KINect for human BEHaviour Recognition Tecnologías y Sistemas de la Información Alumno: Rubén Cantarero Navarro Directores: María José Santofimia Romero y Juan Carlos López López

2 Contexto 2

3 KinBehR 3 Motivado por la necesidad de desarrollar un sistema de reconocimiento de acciones poco intrusivo y más flexible que los existentes en el Estado del Arte.

4 Hipótesis de trabajo 4 El uso de cámaras de profundidad pueden ayudar mejorar la tasa de reconocimiento de acciones en la cuales los movimientos no están predefinidos.

5 General objective 5 Develop a basic system for the recognition of actions: Incorporate analysis of intensity and depth images. Kinect. IA support algorithms for the process of them. Initially and to validate the system Bag of Words (BoW) and Support Vector Machine (SVM) are considered.

6 Metodología de trabajo 6 SCRUM Roles: Product Owner. Scrum Master. Scrum Team. Planificación: Seis iteraciones.

7 7 Iteración 0: Evaluación de mercado Kinect: Controlador de juego libre y entretenimiento para Xbox 360.

8 8 Iteración 0: Evaluación de mercado Características técnicas: Cámara RGB. Sensor de infrarrojos (IR) y sensor de profundidad IR. Micrófono de múltiples matrices. Acelerómetro de 3 ejes. Motor.

9 9 Iteración 0: Evaluación de mercado Por qué Kinect e imágenes de profundidad? Cámaras RGB tradicionales VS Cámaras de profundidad

10 10 Iteración 0: Análisis de las librerías disponibles SDK Windows. OpenKinect. OpenNI.

11 11 Iteración 0: Análisis de las librerías disponibles SDK Windows. OpenKinect. OpenNI.

12 12 Iteración 1: Consideraciones Consideraciones: Reflexión. Oclusión. Desalineamiento entre cámaras. Nube de puntos.

13 13 Iteración 2 y 3: Módulo captura de imágenes v1-v2 Captura y visualización del flujo de datos de la cámara RGB. Captura y visualización del flujo de datos del sensor de profundidad. Almacenamiento en ficheros de imágenes y metadatos. Integración de NiTE.

14 14 Iteración 3: Módulo captura de imágenes v3-v4 Resolución de problemas: Pérdida de frames. Consumo excesivo de memoria.

15 15 Iteración 4: Módulo de reconocimiento de acciones Por qué Bag of Words? Método preciso para el reconocimiento de acciones. Capaz de actuar en una gran variedad de escenarios. Coste computacional realmente bajo. No requiere ningún algoritmo adicional de segmentación. [KB10] [LAS08] [LP07]

16 16 Iteración 4: Módulo de reconocimiento de acciones Bag of Words Dos etapas: Entrenamiento. Clasificación.

17 17 Iteración 4: Módulo de reconocimiento de acciones Etapa de entrenamiento: Paso 1: Extracción de las características en cada vídeo previamente etiquetado perteneciente al dataset de entrenamiento.

18 18 Iteración 4: Módulo de reconocimiento de acciones Etapa de entrenamiento: Paso 2: Creación de un codebook de descriptores de características.

19 19 Iteración 4: Módulo de reconocimiento de acciones Etapa de entrenamiento: Paso 3: Realizar el proceso de entrenamiento de un clasificador lineal Support Vector Machines (SVM).

20 20 Iteración 4: Módulo de reconocimiento de acciones Etapa de clasificación: Paso 1: Obtener los conjuntos de características más significativas de cada secuencia de vídeo. Paso 2: Cuantificar estos conjuntos usando el diccionario (codebook) para generar los descriptores que caracterizan a cada secuencia de vídeo.

21 21 Iteración 4: Módulo de reconocimiento de acciones Etapa de clasificación: Paso 3: Procesar los descriptores generados mediante el clasificador SVM.

22 22 Iteración 4: Módulo de reconocimiento de acciones Acciones identificadas (0) Nada. (8) Saludar. (1) Mirar reloj. (9) Dar puñetazo. (2) Cruzarse de brazos. (10) Dar patada. (3) Rascarse la cabeza. (11) Señalar. (4) Sentarse. (12) Coger. (5) Levantarse. (13) Lanzar. (6) Darse la vuelta. (14) Lanzar. (7) Caminar.

23 Iteración 5: Interfaz gráfica 23 Funcionalidades: Vídeo. Etiquetado. Clasificación. Inspector de resultados.

24 Resultados 24

25 25 Resultados: Validación del sistema Dataset empleados: Entrenamiento: IXMAS. Evaluación: KinbehrDataset.

26 26 Contribuciones del proyecto El artículo KinBehR: KINect for human BEHaviour Recognition acerca del proyecto será presentado en The 2014 International Conference on Active Media Technology.

27 Conclusions 27 This system based on depth and intensity images, and composed of a Support Vector Machines (SVM) and the model Bag of Words (BoW) provides the basis for future research on the recognition of human actions with more advanced algorithms.

28 Future work 28 Develop a classifier that uses the joint information of users. Give the system the ability to reason the results obtained in the classification stage. Incorporate information from mobile sensors to the system. Incorporate the labeling and automatic segmentation of videos.

29 Agradecimientos 29 Al Departamento de Tecnologías y Sistemas de la Información de la Universidad de Castilla-La Mancha por darme la oportunidad de disfrutar de una beca de colaboración en el departamento otorgada por el Ministerio de Educación, Cultura y Deporte durante la cual se ha desarrollado este proyecto.

30 Referencias 30 [LAS08] Jingen Liu, Saad Ali, y Mubarak Shah. Recognizing human actions using multiple features IEEE Conference on Computer Vision and Pattern Recognition, 0:18, [LP07] Ivan Laptev y Patrick Pérez. Retrieving actions in movies. En IEEE 11th International Conference on Computer Vision, ICCV 2007, Rio de Janeiro, Brazil, October 14-20, 2007, páginas 18. IEEE, [KB10] Mohamed-Bécha Kaâniche y François Bremond. Gesture Recognition by Learning Local Motion Signatures. En CVPR 2010: IEEE Conference on Computer Vision and Pattern Recognition, San Franscico, CA, United States, IEEE Computer Society Press.

31 Preguntas 31

32 32 Challenges in video analysis Variability in performance on the recognition of human actions. Changing nature of the environment. Temporal variations.

33 Ventajas 33 Se requiere únicamente una cámara. Sin cálculos manuales para obtener la profundidad. Adquisición de la geometría en 3D de las escenas en tiempo real. Dependencia de la iluminación reducida. Baja dependencia de la textura de las superficies. Múltiples plataformas de soporte para el desarrollo SW para Kinect.

34 OpenNI 34 Ventajas: Soporta las últimas generaciones de sensores 3D. API clara y en continua mejora. Amplia portabilidad y soporte multiplataforma. Código open source. Documentación muy extensa y detallada. Permite programación orientada a eventos. Gran variedad de librerías middleware de terceros. Compatible con otros SDKs.

35 Incorporación de NiTE 35 Seguimiento de manos y detección de gestos. Sólo reconoce dos poses. Seguimiento del cuerpo. Esqueleto. Estado. Articulaciones. Orientación y confidence. Posición y confidence.

36 36 Módulo captura de imágenes v3 Causas: Retrasos debidos a la comunicación entre Kinect y el ordenador. Las características técnicas del ordenador y otros procesos que se encuentren ejecutando en ese momento. OpenNI y NiTE introducen carga computacional. El procesamiento secuencial. y almacenamiento de manera

37 37 Módulo captura de imágenes v3 Sí No Inicio Recuperar datos Kinect Procesar datos FIN? Mostrar por pantalla Generar PPM RGB PPM Generar PPM Profundidad PPM

38 38 Módulo captura de imágenes v3 Esperar hijos Sí No Inicio Recuperar datos Kinect Procesar datos FIN? Mostrar por pantalla Generar PPM RGB PPM Generar PPM Profundidad PPM

39 Solución propuesta 39 Fases: Configuración inicial. Segmentación de vídeos. Extracción de características. Clustering. Proceso de reconocimiento/clasificación. Etapas: Training. Testing.

40 Solución propuesta 40 Fase 1: Configuración inicial. Preparar el entorno del sistema para llevar a cabo las siguientes fases. Se borran los archivos generados en anteriores ejecuciones. Se crean los directorios correspondientes para la nueva ejecución.

41 Solución propuesta 41 Fase 2: Segmentación de vídeos. Segmenta los vídeos disponibles en vídeos que contengan una sola acción. Hace uso de ficheros truth y de FFmpeg

42 Resultados 42 Dataset de entrenamiento empleado. IXMAS: Compuesto por trece tipos de acciones. Participan doce actores diferentes. Cada acción se encuentra grabada de forma simultanea por cinco cámaras diferentes.

43 Resultados 43 Recogida de datos de prueba. Objetivo: creación de un dataset propio para realizar las pruebas del sistema. KinbehrDataset : Creado mediante el módulo de captura de imágenes. Disponible al resto de la comunidad científica. Dos tipos de grabaciones. Preparación del escenario. Quince actores de diferentes estaturas, peso y sexo para obtener la mayor variedad posible. Formulario de consentimiento de acuerdo a la legislación vigente

44 Resultados 44 Recogida de datos de prueba. Objetivo: creación de un dataset propio para realizar las pruebas del sistema. KinbehrDataset : Creado mediante el módulo de captura de imágenes. Disponible al resto de la comunidad científica. Dos tipos de grabaciones. Preparación del escenario. Quince actores de diferentes estaturas, peso y sexo para obtener la mayor variedad posible. Formulario de consentimiento de acuerdo a la legislación vigente

45 Resultados 45 Aspectos a tener en cuenta: En ciertas ocasiones el middleware NiTE identifica al saco de boxeo como una persona.

46 Resultados 46 Aspectos a tener en cuenta: En ciertas ocasiones el middleware NiTE identifica el saco de boxeo como una persona.

47 Resultados 47 Aspectos a tener en cuenta: El dataset IXMAS etiqueta ciertas acciones de una manera muy particular permitiendo un margen muy pequeño en algunas acciones de las secuencias de vídeos capturadas. Eg.: Acción sentarse.

48 Diagrama de clases 48

49 BoW: Diagrama general 49

50 BoW: Diagrama general 50

51 51 BoW: Diagrama de procesamiento

52 52 BoW: Diagrama de procesamiento

53 53 BoW: Diagrama de procesamiento

54 54 BoW: Diagrama de procesamiento

55 BoW: Estructura directorios 55

56 56 BoW: Diagrama segmentación (fase 2)

57 BoW: submódulos 57

58 Batería musical 58

59 Albúm de fotos 59

60 Dibujando con Kinect 60