Reconocimiento visual de ademanes usando MS Kinect - Introducción. Dr. Héctor Avilés Escuela de Invierno de Robótica 2015

Transcripción

1 Reconocimiento visual de ademanes usando MS Kinect - Introducción Dr. Héctor Avilés Escuela de Invierno de Robótica 2015

2 Contenido Motivación Dispositivos de captura Reconocimiento visual de ademanes Resumen

3 Contenido Motivación Dispositivos de captura Reconocimiento visual de ademanes Resumen

4 Motivación Qué es un ademán?

5 Motivación Un ademán es un acto o movimiento que se realiza con la(s) mano(s) y/o brazo(s)

6 Motivación Para qué nos sirven?

7 Motivación Comunicar información

8 Motivación Manipular objetos

9 Motivación Conocer el mundo

10 Motivación Los ademanes son importantes porque: Complementan el lenguaje hablado Son una alternativa de comunicación a la distancia o en ambientes ruidosos Se cree que es previo a la comunicación oral

11 Motivación Igualmente los ademanes son importantes en comunicación humanorobot: Para conversaciones más naturales Para mostrar cómo, dónde y con qué debe realizar sus tareas Complementar o eliminar ambigüedad en instrucciones habladas, e.g., múevete para allá

12 Contenido Motivación Dispositivos de captura Reconocimiento visual de ademanes Resumen

13 Dispositivos de captura Dispositivos usables Dispositivos táctiles Sistemas visuales

14 Dispositivos de captura Ventajas de los sistemas visuales: No requieren manipulación o uso de objetos Son menos intrusivos Menos problemáticos para personas discapacitadas Permiten explorar mecanismos que emulen a la visión humana

15 Dispositivos de captura Sin embargo: Mayor cantidad de datos (e.g., en captura de video RGB de 640x480 pixeles a 30Hz 27Mb) Requiere algoritmos más sofisticados para extracción de información Usualmente se realiza un compromiso precisión-velocidad de procesamiento

16 Contenido Motivación Dispositivos de captura Reconocimiento visual de ademanes: Definición Decisiones de diseño Resumen

17 Definición Reconocimiento visual de ademanes Proceso de análisis para asignar a un ademán capturado en una o más imágenes un concepto o significado previamente conocido

18 Definición

19 Definición

20 Definición Video Teleoperación de un robot móvil

21 Contenido Motivación Dispositivos de captura Reconocimiento visual de ademanes: Definición Decisiones de diseño Resumen

22 Decisiones de diseño El reconocimiento visual de ademanes requiere conocer la aplicación y de ahi definir: Ademanes Dispositivo de captura de imágenes Algoritmos para análisis visual Atributos de los gestos Método de clasificación

23 Aplicaciones Operación de equipos de cómputo (e.g., dispositivos móviles) Sistemas de seguridad Control de la TV Análisis de actividades en ambientes inteligentes (casas, aulas) Evaluación automático de interfaces gráficas Apoyo a personas discapacitadas Cuidado de niños y adultos mayores Interacción por videoconferencia Evaluación de desempeño deportivo Animación de avatares (e.g., en películas animadas) Juego de videojuegos... Instrucción de robots

24 Aplicaciones Sin embargo, de acuerdo a M. Turk: No hay una aplicación definitoria de esta área de estudio!

25 Selección de ademanes Diversas clasificaciones de ademanes: De la mano, del brazo, del cuerpo Naturales (e.g., espontáneos), codificados Estáticos (e.g., posturas), dinámicos Gesticulación, pantomima, emblemáticos, lenguaje de signos Icónicos, metafóricos, deícticos, simbólicos, golpe En general, la aplicación influye en las decisiones a tomar

26 Dispositivos de captura Cámaras RGB Cámaras Time of Flight Cámara stereo Cámaras termales Cámaras RGB-D Escáner láser

27 Análisis visual Tres tareas principales: Localización del objeto de interés (i.e., aislarlo dentro de la imagen) Seguimiento a través de la secuencia de imágenes (localización y predicción) Descripción interna del objeto Usualmente se requiere forma, pose, profundidad, color, movimiento

28 Análisis visual Estas tareas no son simples en ambientes poco restringidos No existen algoritmos que resuelvan estos problemas completamente

29 Análisis visual - Localización Cuántos rostros hay en las imágenes de O. Ocampo?

30 Análisis visual - Seguimiento Cambios de iluminación Oclusión parcial Cambios en orientación y distancia Objetos similares

31 Análisis visual - Descripción de la mano Modelo volumétrico texturizado Modelo de Contorno Modelo de esqueleto Silueta Modelo de alambre Formas geométricas simples

32 Atributos de los ademanes Objetivo esencial con múltiples propuestas de tres tipos principales: Postura Movimiento Combinación postura-movimiento

33 Atributos de los ademanes Postura ó posición específica en un momento determinado Desplazamiento en la secuencia de video

34 Clasificadores de ademanes Múltiples alternativas: Plantillas de postura/movimiento Redes neuronales Árboles de decisión Modelos difusos Modelos ocultos de Markov y redes Bayesianas (dinámicas)... Los modelos probabilistas aparecen comúnmente en la literatura

35 Decisiones de diseño Las decisiones anteriores forman parte de una teoría al reconocimiento visual de ademanes todavía en desarrollo

36 Decisiones de diseño Aproximación computacional de D. Marr al problema de visión: Modelo computacional: Qué ademanes?, para qué usarlos? Algoritmos: Qué información extraer de los ademanes?, cómo reconocerlos? Implementación: Qué dispositivos de captura?, qué estructuras de datos?, lenguajes?

37 Contenido Motivación Dispositivos de captura Reconocimiento visual de ademanes: Definición Decisiones de diseño Resumen

38 Resumen Los ademanes son importantes en comunicación natural humano-humano, hombre-máquina y humano-robot Múltiples aproximaciones (aplicaciones, dispositivos, algoritmos de análisis visual, descripciones, atributos, clasificadores) Ninguna solución definitiva todavía para cada etapa ni para el problema en general

39 Preguntas?