Robótica de Rehabilitación

Transcripción

1 Robótica de Rehabilitación Prof. Dr. Teodiano Freire Bastos Programa de Posgrado en Ingeniería Eléctrica Universidade Federal do Espírito Santo Vitoria, Brasil

2 Objetivo de la Ponencia Presentar los trabajos sobre Robótica Móvil y Robótica de Rehabilitación en la UFES/Brasil, haciendo hincapié en la Silla de Ruedas Robótica, la cual cuenta con sistema de comunicación de bordo, y puede navegar de forma libre o auto-guiada (siguiendo bandas metálicas) a partir de comandos por: Parpadeos Movimientos del Globo Ocular Movimientos de Cabeza (Acelerómetro o Visión) Señales Cerebrales

3 Trabajos en Robótica Móvil

4 Robot Móvil a Ruedas BRUTUS Robot móvil a ruedas Brutus : 2 ruedas libres y 2 ruedas traccionadas; Tracción Diferencial; 2 baterías; Plataforma Circular; Multisensorial (codificadores ópticos, cámara de video, ultrasonidos, sensor de contacto, infrarrojos, nivel de batería); Posee 4 procesadores: Dos microcontroladores MC68HC11 ; Un PIC16F84 ; Un Pentium 233MHz MMX. Se puede teleoperar por joystick, por voz y por la Internet, o pude navegar de forma autónoma

5 Robot Móvil a Patas ROQUE Cada pata se controla con un microcontrolador INTEL 8096; Cada pata posee dos grados de libertad (dos motores); Camina en línea recta; Video Uno de los cuatro microcontroladores controla el sincronismo entre las patas; Autonomía de cerca de 40 minutos (dos baterías de moto).

6 Robot Móvil a Patas GUARÁ Red CAN a bordo Cada pata se controla con tres procesadores: dos PICs y un microcontrolador INTEL 80196; Cada pata posee cuatro grados de libertad (cuatro motores); Camina en rectas y curvas;

7 Robot Móvil a Ruedas RUG WARRIOR Robot comercial (kit) Tracción Diferencial; Plataforma Circular; Multisensorial (codificadores ópticos, cámara de video, ultrasonidos, sensor de contacto, infrarrojo, células fotoeléctricas, micrófono, emisor piezoeléctrico para reproduzir sonido); Un microcontrolador MC68HC11 ; Se puede teleoperar, inclusive por Internet, o navegar de forma autónoma. Video

8 Robot Móvil a Ruedas PIONEER Robot comercial Tracción diferencial: dos ruedas traccionadas y una libre; Pentium MMX 200 MHz a bordo del robot; 3 baterías; Multisensorial (codificadores ópticos, ultrasonidos, cámara de video); Radio Ethernet.

9 Navegación por Sensor Láser

10 Robot con Visión Omnidireccional Cámara + Espejo = Visión de 360 alrededor del robot

11 Navegación con Visión Omnidireccional

12 Experimentos con Robots Cooperativos con Visión Omnidirecional ci ri cos ~ donde ri i es el error de orientación del i-ésimo seguidor ci ~ i ri f ~ ~ i i l y saturación dada por: f ~ f ~ ~ i ~ i k es una función de 1 tanh 3 k 2 ~ i

13 Robots Cooperativos Cámara PC Estación Maestra Transceiver Robot Celular

14 Trabajos en Robótica de Rehabilitación

15 Desarrollo de Prótesis Multisensorial El miembro artificial es compuesto de un microcontrolador PIC, circuitos electrónicos para comandar la mano artificial, y diferentes sensores: Mioeléctrico Temperatura (sensores KTY y red de linearización) Fuerza y deslizamiento (sensores FSR) Nivel de batería (red de resistores)

16 Desarrollo de Prótesis Multisensorial El microcontrolador PIC recibe información de los sensores y controla la mano artificial Si la temperatura es superior a 45 o C, el usuario es alertado (por vibradores). Si la temperatura supera los 100 o C, el controlador impide el cierre de la mano artificial Si el objeto empieza a deslizar, al ser agarrado, el controlador es comandado a aumentar la fuerza sobre el objeto hasta que pare de deslizar

17 Robots Comandados por Señales Biológicas

18 Silla de Ruedas Robótica de la UFES

19 PDA de la Silla de Ruedas Robótica PDA (Personal Digital Assistant) Necesidades y sentimientos Comandos a la silla de ruedas Composición de texto

20 PDA de la Silla de Ruedas Robótica PDA (Personal Digital Assistant)

21 Silla de Ruedas Auto-Guiada por Seguimiento de Banda Metálica - Utilizando Sensores Magnéticos y RFID -

22 Seguimiento de Láminas Metálicas La Silla de Ruedas Robótica puede seguir bandas metálicas instaladas en el ambiente Se utilizan sensores magnéticos existentes en la silla de ruedas El ambiente posee etiquetas RFID, y la silla posee un lector de RFID que las identifica Colocación de Bandas Metálicas y Etiquetas RFID en el Ambiente: Video Sensor Magnetico Experimentos con la Silla de Ruedas Siguiendo Bandas Metálicas: Video

23 Comando de la Silla de Ruedas por Parpadeos (Señales Electromiográficas EMG)

24 Comando por Parpadeos (semg) Las señales EMG (mioeléctricas) se producen por la suma del potencial de acción generado por cada fibra muscular en la superficie humana, y están relacionadas con las contracciones musculares Las señales EMG presentan corta duración temporal (2 a 10 ms), baja amplitud (0,1 a 50 mv) y ancho de banda de 0 a 35 Hz (energía más concentrada de 0,15 a 5 Hz)

25 Resultados Relacionados a la Detección de Parpadeos por Redes Neuronales Se han utilizado 252 señales de prueba (parpadeos) para evaluar el sistema 84 parpadeos con el ojo izquierdo 84 parpadeos con e ojo derecho 84 señales de ruidos aleatorios Dichas señales son diferentes de las utilizadas durante el entrenamiento del sistema Se ha conseguido éxito de 99,6% en la detección de parpadeos, utilizando o algoritmo RP (Resilient Backpropagation) Algoritmo de Entrenamiento Neuronas en la Capa Oculta Éxito (%)

26 Comando de la Silla de Ruedas Robótica por Parpadeos (semg) Experimentos com la Silla de Ruedas Comandada por Parpadeos: Video

27 Comando de la Silla de Ruedas Robótica por Movimientos de Cabeza (Utilizando Acelerómetro o Cámara de Video)

28 Comando Utilizando Acelerómetro Se utiliza un acelerómetro modelo ADXL322J, de Analog Devices, el cual genera una tensión proporcional a la inclinación en dos ejes La señal se procesa con un microcontrolador PIC16F876A Para eliminar el uso de cable, se utiliza transmisión inalámbrica por bluetooth (transmisor OEMSPA311i de ConnectBlue) Una batería de NiMH alimenta todo el circuito α = acos (Gy/G) Experimentos realizados con silla de ruedas comandada por movimientos de cabeza: Video

29 Comando Utilizando Cámara de Video -por extracción de características- Se utiliza una webcam a bordo de la silla para el reconocimiento facial Se aplican técnicas de procesamiento de imagen para detectar la posición de los ojos y de la boca Se utilizan relaciones geométricas para obtener los ángulos de orientación de la cabeza Original Image (RGB) Histogram equalization Transformation to YCbCr space Extract of the interest region Skin segmentation 2 tan 1 a 1 a 2 1 f a 1 f 2 a 0 a a 2 0 1

30 Comando Utilizando Cámara de Video -por extracción de características-

31 Comando Utilizando Cámara de Video -por flujo óptico- Se utiliza una webcam para obtener la imagen de la cara El flujo óptico es el campo de movimiento bidimensional de velocidades aparentes en el plano de la imagen relacionado a las variaciones de brillo de la misma Se producen cuando: un objeto se mueve en el espacio 3D a medida que transcurre el tiempo; el observador se mueve respecto del objeto; o al movimiento combinado tanto del objeto como del observador Para obtener los valores de flujo óptico se deben obtener las relaciones entre las variaciones en la intensidad del brillo y el movimiento del campo Los ángulos de la cabeza se calculan utilizando el método de mínimos cuadrados recursivos di x t, y dt t, t I x dx dt I y dy dt I t 0 I xu f I yv f I t 0 x tx ty tz f f f

32 Comando Utilizando Cámara de Video -por flujo óptico- Experimentos com la Silla de Ruedas Comandada por Movimientos de Cabeza Obtenidos por Flujo Óptico: Video

33 Comando de la Silla de Ruedas Robótica por Movimientos del Globo Ocular (Señales Electrooculográficas EOG) y (Videooculográficas VOG)

34 Comando por Videooculograma (VOG) Se utiliza una cámara dotada de sensor de luz para capturar los movimientos de los ojos (eye tracking)

35 Comando por Videooculograma (VOG) Se utiliza un umbral para separar las regiones blancas y negras de la imagen del ojo Se utiliza una ROI basada en filtro de Canny y transformada de Hough circular para analizar el iris (no considerando las cejas) Se calcula el centro de masa y se utiliza el filtro de Kalman para detectar las coordenadas de la pupila El software se ha desarrollado en C# Comandos por Movimientos del Globo Ocular Video

36 Comando de la Silla de Ruedas Robótica por Ondas Cerebrales (Señales Electroencefalográficas EEG)

37 Señales EEG El EEG es el registro de cambios de potenciales sobre el cuero cabelludo, producidos por actividad eléctrica de una población de neuronas en el cerebro Las señales EEG se generan a partir de la superposición de diferentes y simultáneos sistemas dinámicos de acción El cerebro humano presenta una capa externa denominada corteza cerebral Las neuronas del cerebro se distribuyen en seis capas paralelas a la superficie de la corteza: células piramidales (capas III y V) y no piramidales (I, II, IV y VI) Las células piramidales de la capa V son las principales responsables por generar señales EEG Ritmos EEG Frecuencia (Hz)

38 Comando de la Silla de Ruedas por Señales Cerebrales (EEG) Uso de Sincronización Relacionada a Eventos (ERD Event Related Synchronization) y Desincronización Relacionada a Eventos (ERS Event Related Desynchronization) Dichos patrones se presentan en la banda alfa (8 a 13 Hz) de la región occipital (información visual: localización O 1 y O 2 del Sistema 10-20) El patrón ERD está relacionado a la concentración o existencia de estímulo visual El patrón ERS está relacionado a la relajación con poco o ausencia de estímulo visual Ritmo Alpha: asociado a personas despiertas y relajadas, pero intenso con ojos cerrados.

39 Detección de los Patrones ERD y ERS Señal EEG Time(s) Señal Filtrada Time(s) Varianza de la Señal EEG Tiempo(s)

40 Experimentos Utilizando Señales EEG para Comandos de Movimiento de la Silla de Ruedas Robótica

41 Eligiendo Destino Uso de la Interfaz para: Selección de Celda de Destino (salón, aseo, cocina, habitación, área de servicios, terraza, etc) para una silla de ruedas

42 Conclusiones Se han presentado los trabajos del grupo de Robótica de la UFES/Brasil, haciendo hincapié en la Silla de Ruedas Robótica desarrollada La Silla de Ruedas Robótica se puede comandar por parpadeos, movimientos del globo ocular, movimientos de cabeza y señales cerebrales para la realización de movimientos, de forma auto-guiada o de forma libre La Silla de Ruedas Robótica cuenta además con Interface de Comunicación