I Jornadas Sobre Tecnologías Aplicadas a la Accesibilidad: e-accesibilidad

Transcripción

1 I Jornadas Sobre Tecnologías Aplicadas a la Accesibilidad: e-accesibilidad Reconocimiento de gestos mediante técnicas de visión artificial: estado actual y Javier Molina javier.molina@uam.es Video Processing & Understanding Lab. (VPU-Lab) Organiza: Patrocina:

2 Contenido Introducción Captura y modelado Tecnologías de captura Detección de regiones de Interés Descripción de bajo Nivel Reconocimiento de Signos Signos de índole general Lenguas de Signos Conclusiones Separación de patrones Complejidad del problema Entrenamiento y validación Limitaciones 2

3 Introducción Aplicaciones Gestos Enum1, Enum2, Ok Separación de Patrones y Análisis Temporal Detección de ROI y Descripción Manos, cabeza, cuerpo Captura y Segmentación Regiones sin significado [Yang, 2010] 3

4 Tecnologías de captura Cámara tradicional El problema de la segmentación es un problema irresuelto, uno de los caballos de batalla de la visión artificial. El ojo ve, el cerebro entiende, pero una cámara solo ve. Se adoptan dos aproximaciones para conseguir una buena segmentación a partir de captura de color: Entorno controlado. Utilización de guantes o marcadores. [Starner, 98] [Keskin, 2009] 4

5 Tecnologías de captura Visión estereoscópica Segmentación basada en combinación a nivel de píxel de las N imágenes o mediante información 3D. Los resultados son muy buenos, pero la complejidad de la configuración necesaria es muy elevada: Montaje tedioso del sistema. Elevado coste computacional. [Yi, 2009] 5

6 Tecnologías de captura Dispositivos intrusivos 6

7 Tecnologías de captura Cámara de profundidad I Cámaras TOF (Time-Of-Flight) Las cámaras TOF obtienen una imagen de profundidad de lo que capturan. Para ello emiten un señal infrarroja, midiendo después el retardo con el que llega el reflejo. Esto permite la estimación de un mapa de profundidad. A día de hoy no se encuentra ningún modelo comercializado en el mercado. Tan solo existen prototipos con precios muy elevados, utilizados a día de hoy, con propósitos de investigación. 7

8 Tecnologías de captura Cámara de profundidad II Impresionante calidad en la segmentación, además de dar también información de profundidad. [Li, 2009] 8

9 Detección de regiones de Interés - Qué son ROI? Dependiendo de la complejidad de los signos a detectar varía lo que se considera región de interés. Casi cualquier sistema de reconocimiento de gestos contempla las manos como regiones de interés. En algunos casos, se torna también importante la detección de cabeza y cuerpo, así como las posiciones relativas. [Yang, 2010] [Han, 2009] 9

10 Detección de regiones de Interés - Aproximaciones Descriptores SIFT [Jiang,2009]: Se buscan puntos característicos dentro de la imagen, comprobando que una mano, en la mayoría de los casos tiene un determinado patrón de incidencia de los mismos. Por profundidad: Partiendo de las imágenes capturadas por una cámara de profundidad y, sencillamente, definiendo un umbral para definir la zona de interacción. Imagen tomada en el ámbito del proyecto CENIT-VISION 10

11 Descripción de bajo Nivel Consideraciones Generales Supondremos que contamos con la localización espacio-temporal de manos, cuerpo y cabeza, dependiendo de las capacidades del sistema. Cómo traducir estos conjuntos de pixeles en descripciones separables mediante reglas explicitas o machine learning? Nos interesa independencia de la escala, de la localización y de las posibles rotaciones. Esto es, queremos que la descripción sea independiente a la distancia de la cámara, de la zona del cuadro en el que la ejecución del gesto tenga lugar, y de la inclinación del mismo. 11

12 Descripción de bajo Nivel Descriptores I Descriptores de forma: Distintas formas de representar la información referente a la forma. [Tenibata, 2002] [Aran, 2009] 12

13 Descripción de bajo Nivel Descriptores II Grafos: Curiosa solución basada en la detección de puntos característicos para su posterior unión, etiquetando los segmentos según su orientación. [Flasinki, 2010] 13

14 Descripción de bajo Nivel Descriptores III Descripción 3D [Yi, 2009] 14

15 Separación de Patrones Metodología El esquema básico para evaluar la calidad de un sistema de separación de patrones consta de tres fases: Entrenamiento/aprendizaje: A partir de un contenido de desarrollo anotado se definen reglas o se lleva a cabo un aprendizaje automático. Test: Para evitar el sobreentrenamiento se reserva un porcentaje del contenido de desarrollo para evaluar la medida de calidad y así evitar que las particularidades sean aprendidas como generalidades. Evaluación: Partiendo de contenido no considerado ni en entrenamiento ni en test se evalúa el sistema entrenado o configurado, acreditando así sus capacidades. 15

16 Separación de Patrones Técnicas Existen dos grandes líneas en el ámbito de la separación de patrones, siendo una u otra más recomendable dependiendo de la naturaleza de las descripciones disponibles, así como del cometido del sistema: Reglas explicitas: permite mayor adaptabilidad a un problema concreto pero, por contra, la modificación de los requisitos del sistema necesitan de la redefinición de las reglas con intervención humana. Para hacer viable la definición de reglas útiles, las descripciones han de tener información semántica de utilidad. Aprendizaje automático: mejor funcionamiento para descripciones no interpretables semánticamente, además de no requerir de intervención humana en la representación del conocimiento. 16

17 Separación de Patrones Reglas explícitas Reglas explícitas: [Yi, 2009] 17

18 Separación de Patrones Aprendizaje automático Chih-Chung Chung Chang and Chih-Jen Lin, LIBSVM : a library for support vector machines, Software available at 18

19 Procesamiento Temporal- Localización temporal de signos Si se quiere desarrollar un sistema robusto a distintos entornos se necesita de un detector de actividad gestual. Por ejemplo, si hablamos de una cámara situada en una zona de paso de gente habríamos de saber diferenciar entre gesto y ruido. Dado un flujo continuo de vídeo surge también el problema de detectar el comienzo y final de la ejecución de signos. [Nayak, 2009] plantea el análisis temporal de forma y de movimiento de las regiones segmentadas en la secuencia para diferenciar entre ejecución de signos y la ausencia de ejecuciones. Solución bastante efectiva pero también compleja. Detección de presencia en la zona definida como de interacción. Esta es una solución válida si se dispone de información de profundidad. Por ejemplo, se puede presuponer que aquello que se acerca a la cámara, entrando en la zona de interacción, es un una mano. 19

20 Procesamiento Temporal-HMMs HMMS (Hidden Markov Models) [Keskin, 2009] Se modela el problema asumiendo la condición de Markov: el estado en el instante t solo depende del estado en el t-1. El estado realmente es desconocido (de ahí el Hidden), consiste en una distribución de probabilidad. Históricamente se ha utilizado para el reconocimiento de patrones temporales, por ejemplo, para reconocimiento de voz. 20

21 Procesamiento Temporal- Análisis ventana temporal Para cada posible SHP se calcula la probabilidad de que en una ventana temporal se haya detectado al menos un verdadero positivo. Para cada posible gesto, de los NG que consideramos, contamos con una predicción. Dependiendo del gesto que se trate detectar, su predicción será más o menos fiable. Dentro de una ventana temporal de N imágenes, podremos estimar cual es el gesto que con mayor probabilidad se ha ejecutado. 21

22 Reconocimiento de Signos Vision general Existen varias aproximaciones asociadas al problema de reconocimiento de signos, todos ellas comparten, en mayor o menor medida, ciertas limitaciones: Difícil escalabilidad: El diccionario de gestos es limitado y no fácilmente ampliable. Dependencia del entorno: la segmentación y caracterización de las imágenes suele deteriorarse con cambios de iluminación, orientación de la cámara, posición del usuario Dependencia del usuario: No es lo mismo que realice las pruebas de evaluación alguien familiarizado con el sistema que usuarios inexpertos. 22

23 Reconocimiento de Signos Signos de propósito general To be published 23

24 Reconocimiento de Signos Control de dispositivos I 24

25 Reconocimiento de Signos Control de dispositivos II 25

26 Reconocimiento de Signos Control de dispositivos III 26

27 Reconocimiento de Signos Lengua de Signos I [Starner, 98] 27

28 Reconocimiento de Signos Lengua de Signos II [Aran, 2009] 28

29 Reconocimiento de Signos Lengua de Signos III 29

30 Reconocimiento de Signos Lengua de Signos IV Lengua de signos polaca (posturas de mano para letras y números): Tasa de acierto del 85.4% 123 de 144 imágenes reconocidas correctamente. [Flasinki, 2010] Imagen tomada en el ámbito de 30

31 Conclusiones Los diccionarios planteados en los trabajos de reconocimiento de gestos son muy limitados y la ejecución de los gestos suele estar realizada en entornos controlados y por usuarios no siempre inexpertos. Es importante tener esto presente a la hora de interpretar resultados numéricos. Con el ánimo de desarrollar un sistema de reconocimiento de lengua de signos genérico hay que tener en cuenta que habremos de ser capaces de localizar espacio-temporalmente: manos, cabeza y torso. Las cámaras de profundidad suponen una muy prometedora tecnología para la consecución de este fin. No podemos olvidar la complejidad asociada a la interpretación de una lengua, sea oral o de signos. Aún reconociendo a la perfección los fonemas de la lengua, la interpretación semántica sería, en si misma, un gran reto. 31

32 Referencias [Starner, 98], Real-Time American Sign Language Recognition Using Desk and Wearable Computer Based Video [Tanibata,2002], Extraction of Hand Features for Recognition of Sign Language Words [Jiang,2009], Self-directed-learning for sign language recognition [Yi, 2009], Generating 3D architectural models based on hand motion and gesture [Nayak, 2009], Automated extraction of signs from continuous sign language sentences using Iterated Conditional Modes [Aran, 2009], SignTutor: An Interactive System for Sign Language Tutoring [Li, 2009], Real time Hand Gesture Recognition using a Range Camera [Keskin, 2009], STARS: Sign tracking and recognition system using input output HMMs [Flasinki,2010], On the use of graph parsing for recognition of isolated hand postures of Polish Sign Language [Yang, 2010], Handling Movement Epenthesis and Hand Segmentation Ambiguities in Continuous Sign Language Recognition Using Nested Dynamic Programming 32

33 Gracias por la atención prestada Preguntas y comentarios 33