Entorno Industrial. Control Remoto. Brazo Robótico

Tamaño: px

Comenzar la demostración a partir de la página:

Download "Entorno Industrial. Control Remoto. Brazo Robótico"

Emilio Suárez Hernández
hace 8 años
Vistas:

2 Entorno Industrial Inaccesible Tóxico Control Remoto Brazo Robótico

3 Desarrollo de un sistema de visión artificial que permite el control de un dispositivo remoto a partir de movimientos oculares Desarrollo de un software gráfico de procesamiento de imágenes (MFC) Uso de librerías específicas de tratamiento de imágenes (MIL) Control del robot mediante protocolos de comunicación (RPC)

gráfico de procesamiento de imágenes (MFC) Uso de librerías específicas de

4 Lugares inaccesibles: cadenas de montaje, almacenes, etc Ambiente nocivo: polución, atmósfera tóxica, etc Control remoto

5 El eye tracking o seguimiento ocular consiste en medir el movimiento de uno o dos ojos ante ciertos estímulos Toma de imágenes con una cámara Otras técnicas: electrooculografía Existen dos tipos: 1. Cabeza montada (Head Mounted) 2. Mesa montada (Table Mounted)

imágenes con una cámara Otras técnicas: electrooculografía

6 Cabeza fija en el espacio de trabajo Cámara acoplada a la cabeza Medida del ángulo girado del ojo frente a la cabeza

7 Cabeza con libertad de movimiento Sistema de medida situado en una mesa o un monitor Gaze Tracking: medida del ángulo de visión (objetivo del ojo) mediante señales infrarrojas

8 El sistema de cabeza montada es un método intrusivo molesto para el usuario El sistema de mesa montada es un sistema que no detecta el giro del ojo La interfaz desarrollada evita todas esas incomodidades No es intrusivo No emplea luz infrarroja El usuario puede mover la cabeza libremente

del ojo La interfaz desarrollada evita todas esas incomodidades No es

11 Computador: ejecuta la aplicación y se comunica con el robot Cámara progresiva: Sony XC 56 específica para imágenes en movimiento Iluminación: lámpara fluorescente Robot industrial: Fanuc LR Mate 200iB.

12 El software lo forman: 1. Microsoft Visual C++ 2. Bibliotecas gráficas MFC 3. Bibliotecas de visión MIL 4. Aplicación final del usuario

14 Utilizar la imagen del rostro humano para obtener la dirección del ojo El usuario puede mover la cabeza: Cámara progresiva (Sony XC 56) Selección de una referencia Las características del usuario son factores importantes a estudiar: Algoritmo personalizado a cada tipo de usuario La iluminación afecta a la imagen procesada: Fuente de iluminación estable (lámparas fluorescentes)

usuario son factores importantes a estudiar: Algoritmo personalizado a cada tipo de usuario La

16 Un blob es una región formada por píxeles interconectados (ojos, cejas, etc) El análisis de blobs consiste en separar esos elementos (blobs) de la imagen Se obtienen características de los elementos como la posición, el centro de gravedad, el área, el número, etc

elementos (blobs) de la imagen Se obtienen características de los

17 1. Umbralización: transformación de la imagen en escala de grises a una imagen binaria (blanco y negro) 2. Características: elección de las características de utilidad de la imagen umbralizada 3. Área de interés: elección de las áreas donde se trabajará

Características: elección de las características de utilidad de

19 Área del elemento Centro de gravedad del elemento Excentricidad del elemento Contorno del elemento Extremos del elemento

21 Se plantearon varias alternativas. Finalmente se optó por referenciar al propio extremo del ojo 1. Detección del centro del ojo. 2. Posición respecto a la referencia. 3. Obtención de la dirección

24 1. Detección instantánea: el robot se mueve en la dirección que detecta el algoritmo en cada instante 2. Movimiento con vuelta al centro: el usuario mira en determinada dirección y vuelve a mirar al centro (posición de reposo). El movimiento se mantiene hasta que el usuario no mira en otra dirección.

28 Opción 1: Movimiento usando coordenadas articulares. Sólo se mueven dos ejes: J1 y J3 Opción 2: Movimiento usando coordenadas cartesianas. Se mantiene un plano YZ fijo

32 Se ha implementado un algoritmo robusto Una vez escogidos los parámetros correctos no es necesario recalibrar en posteriores usos El interfaz ocular se puede utilizar con otros elementos distintos a un brazo robótico: 1. Control de puntero en pantalla 2. Manejo de dispositivos externos 3. Dispositivos de selección de objetivos

33 Mejora de funcionalidades Configuración avanzada: menús de configuración más potentes a nivel usuario Optimización de la aplicación en distintos entornos

Documentos relacionados

La Realidad Aumentada en el contexto actual

La Realidad Aumentada en el contexto actual Imagine que su coche se avería en medio de la autopista. Usted sabe muy poco de la mecánica del vehículo, y el siguiente taller está lejos. Hoy en día, arreglar