Equipo inalámbrico de adquisición de señales biológicas para el comando del mouse

Transcripción

1 Equipo inalámbrico de adquisición de señales biológicas para el comando del mouse Sergio Bajinay 1, Roberto Zanetti 1, Eugenio Orosco 2, Natalia M. López 1 1- Gabinete de Tecnología Médica, Facultad de Ingeniería, Universidad Nacional de San Juan. 2- Insituto de Automática, Facultad de Ingeniería, Universidad Nacional de San Juan. sbajinay@unsj.edu.ar; nlopez@gateme.unsj.edu.ar Resumen. Las discapacidades severas han motivado el desarrollo de interfaces hombre máquina basadas en señales biológicas de relativa fácil adquisición. En este trabajo se presenta un sistema inalámbrico de adquisición y procesamiento de señales electroculográficas (EOG) y electromiográficas (EMG). Se disponen de dos canales EOG para realizar el movimiento vertical, horizontal y diagonal del puntero del mouse de cualquier computadora de escritorio. Además, una señal de EMG del músculo frontal es usada para realizar la acción de click del mouse. Se presentan el desarrollo del hardware necesario para el acondicionamiento de las señales y el procesamiento por software para controlar el mouse. Los resultados demuestran un control intuitivo y accesible para las personas con discapacidades severas cuyas capacidades residuales hayan quedado restringidas a movimientos faciales y orbiculares. 1. Introducción Existen diversos tipos de parálisis motoras, ya sea por accidentes o como consecuencia de lesiones medulares a distinto nivel y cuyas secuelas dependerán de este último factor. En un caso extremo, la pérdida severa o completa de la función motora en las cuatro extremidades es llamada cuadriplejia, la cual puede originarse por enfermedades cerebrales, de la médula espinal, del sistema nervioso periférico o neuromuscular. Las interfaces hombre-máquina proporcionan a las personas con discapacidades una herramienta alternativa para su comunicación y entretenimiento, mediante señales biológicas tales como electroculograma y electromiograma (EOG y EMG) a partir de sus capacidades residuales. Por este motivo en este trabajo se desarrolló una interfaz de accesibilidad mediante señales voluntarias que pueden encontrarse en este tipo de patologías, para el control del puntero del mouse de una computadora personal y potencialmente de otros dispositivos. Los objetivos principales son el diseño y desarrollo de un circuito de adquisición y acondicionamiento de señales electroculográficas y de electromiografía, y un software de procesamiento de las mismas con el cual el usuario pueda direccionar el puntero del mouse como así también realizar clicks en cualquier computadora personal. La comunicación entre el circuito de adquisición y la PC se llevará a cabo de manera inalámbrica.

2 Este trabajo es una plataforma para diversas aplicaciones que puedan realizarse con dichas señales, de tal forma que un usuario con discapacidad pueda mejorar su calidad de vida al interrelacionarse con su entorno. Las señales se adquieren mediante electrodos superficiales en el rostro del paciente y luego son amplificadas y filtradas en un circuito de acondicionamiento. El circuito de adquisición está constituido por tres canales, uno para la adquisición de señales del movimiento vertical del ojo, otro para la adquisición de señales del movimiento horizontal del ojo y el tercero para la adquisición de señales electromiográficas. En la segunda etapa, las señales de los tres canales son digitalizadas con un conversor analógico digital y luego enviadas inalámbricamente a la PC, a fin de proveer las acciones al puntero del mouse (movimientos horizontales, verticales y diagonales del puntero, y click) Señales biológicas utilizadas La posición del ojo puede establecerse mediante electrodos superficiales periorbitarios midiendo las diferencias de potencial que existe entre ellos, esto es el potencial corneorretinal. El mismo tiene un valor aproximado de 1mV, se debe a la diferencias en la actividad metabólica entre dos puntos y se comporta como un dipolo, con un polo negativo retiniano y otro polo positivo corneal, como se ve en la Figura 1. El eje de este dipolo coincide con el eje visual anteroposterior y es perpendicular a los ejes vertical y transversal de ojo. Figura 1: Dipolo Ocular. Este eje eléctrico crea a su alrededor un campo eléctrico y, al moverse el ojo se modifica en aproximadamente 20µV por cada grado de desplazamiento ocular. Cualquier movimiento activo o pasivo del ojo determina una variación de la posición de este eje eléctrico, la cual es captada por los electrodos periorbitarios [1][2]. Estas señales tienen un rango de frecuencias entre DC (0Hz) y 50Hz y su comportamiento es casi lineal para ángulos de mirada de ±40 grados, para mayores ángulos la linealidad empeora especialmente en el eje vertical, pudiéndose utilizar hasta un rango de ±70 grados [3]. Además se utilizó la señal electromiográfica del músculo frontal, generada por su contracción muscular. La señal EMG tiene su origen debido a las despolarizaciones y repolarizaciones de las membranas de las células musculares (sarcolema). La forma de obtener esta señal EMG es colocando un par de electrodos en la superficie de la piel sobre el músculo, de manera de poder medir las diferencias de potenciales entre ambos, que reflejan la despolarización que se propaga en el tejido subyacente. Las características eléctricas de estas señales son las siguientes; su amplitud varía entre 0 y 5mV y una frecuencia que va desde 1 a 500 Hz, con rango dominante entre los 10 y 100Hz. El acondicionamiento de esta señal debe incluir las etapas de amplificación y filtrado [4]. Este método de obtención de las señales electroculográficas y electromiográficas es uno de los más económicos y relativamente fácil de implementar. Se realiza colocando un sistema de electrodos periorbiculares superficiales descartables, preferiblemente pediátricos para su mejor adherencia, y con gel de conducción como electrolito en la interfaz electrodo-piel en una disposición como la que se

3 muestra en la Figura 2. Con esta configuración de electrodos se pueden conseguir señales en derivaciones independientes tanto horizontal como vertical y combinarlas para así obtener casi cualquier tipo de movimiento ocular. En el caso de la medición vertical se añade además el ruido debido a los parpadeos, por lo que se debe tener en cuenta la señal EMG que estos producen. Debe destacarse entonces, que la señal es de tipo no-lineal y variante en el tiempo, debido a que el EOG es afectado por artefactos producidos a través de otras señales biológicas, cambios en la intensidad luminosa del entorno, estado de ánimo de la persona, artefactos de movimiento de la interfaz electrodo-piel y el nivel de concentración al realizar los movimientos oculares, entre otros. Por todo lo antes mencionado la señal proveniente desde los electrodos debe ser acondicionada en forma adecuada. Figura 2: Localización de los electrodos para el registro de EOG y EMG. Las señales EMG registradas de esta manera son usadas habitualmente como comandos de control para dispositivos de asistencia y prótesis [5], debido al amplio contenido de información que contienen acerca de la fuerza muscular ejercida, la intencionalidad del individuo y fatiga muscular entre otros [6]. Una limitación de estas señales (EOG y EMG) como señales de control a distintos dispositivos radica en el cableado para la conexión a los equipos de registro y digitalización, y la inmunidad al ruido requerida para el trabajo con señales de bajo nivel. 2. Materiales y métodos Para el registro, procesamiento, digitalización y transmisión de las señales se desarrolló un circuito constituido por diversos bloques, los cuales se presentan en la Figura 3. En las secciones siguientes se describirán cada uno de estos bloques.

4 Figura 3. Diagrama en bloques del circuito diseñado, con etapas de adquisición, procesamiento, digitalización y transmisión Módulo I: Adquisición, acondicionamiento y conversión A/D de las señales. La adquisición se realiza mediante tres pares de electrodos superficiales y uno de referencia. Un par para el canal vertical, un par para el canal horizontal y otro para el registro de señales electromiográficas. La alimentación de este módulo se realiza a través de baterías recargables, lo que garantiza la seguridad eléctrica del usuario Desacople y Preamplificación. El desacople en continua junto con la preamplificación se lleva a cabo con un amplificador de instrumentación y un amplificador operacional común conectados como se presenta en la Figura 4, con los valores de componentes necesarios para obtener una frecuencia de corte fc=0,05 Hz. El amplificador de instrumentación utilizado es el INA 128 de Texas Instrument [7]. La ganancia en esta etapa depende del canal, es decir, depende de la señal a amplificar. Para EOG la ganancia es de 500 y la señal es de EMG la ganancia es de 200, esto se logra mediante la variación de la resistencia R G. C 1 =1µF; R 1 =3,3MΩ Figura 4: Esquema circuital de la preamplificación y desacople.

5 Filtros activos. El filtro activo está compuesto por un filtro pasa bajo con una frecuencia de corte de 40Hz para el canal de adquisición de señales tanto oculográficas como electromiográficas, en este último caso se justifica el uso de dicha frecuencia de corte debido a que para la presente aplicación se necesita detectar actividad o reposo de la señal EMG, siendo suficiente la información contenida en dicha banda de frecuencias ( Hz). Para la construcción de estos filtros se utilizó el integrado UAF42 de Texas Instrument [7], configurado como pasa bajo, inversor y con ganancia unitaria Amplificación y offset. Esta etapa se realiza con un amplificador operacional (TL074) y presenta una ganancia de 10 para todos los canales. Se agrega un offset a las señales para compatibilizar los niveles de tensión con el conversor analógico digital, el cual admite sólo tensión positiva. Se utiliza una configuración inversora, anulándose este inversión con la configuración inversora de la etapa de filtrado, y dando como referencia una tensión de Offset, la cual ingresa por la entrada no inversora del amplificador operacional Digitalización y transmisión de la señal. La digitalización se lleva a cabo con un conversor analógico digital, integrado en el microcontrolador Arduino Mini [8]. En esta placa se digitalizan los tres canales en tres entradas distintas e independientes. Estas señales ingresan inicialmente al microcontrolador Arduino donde son digitalizadas con una resolución de 10 bits y agrupadas en bytes para su posterior envío en forma inalámbrica mediante un transreceptor. El microcontrolador es programado durante el desarrollo y por única vez mediante una placa de acceso y programación provista por el fabricante. La frecuencia de muestreo usada para estas señales es de 100Hz, ya que cubre el espectro de las señales de EOG y de EMG preprocesada. La emisión y recepción inalámbrica se realizan mediante módulos emisor y receptor Xbee Módulo II: Recepción de los datos y procesamiento en la PC El receptor Xbee se conecta a la PC mediante un puerto (RS232 o USB) por el cual son transmitidos los datos y recibidos por un software de procesamiento y toma de decisiones. Según las señales recibidas, el software decide mover el puntero en alguna dirección o bien realizar un click. Como se mencionó anteriormente, el módulo I está alimentado mediante un par de baterías recargables y al realizarse la comunicación inalámbricamente con el módulo 2, no es necesaria una opto aislación de la placa de adquisición y del paciente. El software se programó en DEV C++. Dentro de las opciones que tiene el programa, se pueden elegir los umbrales de detección de señales para poder adaptar de esta forma el dispositivo a los distintos niveles de señales de cada operador. Una vez elegidos los umbrales, éstos son guardados para que el operador los pueda cargar directamente en la siguiente sesión. La determinación de los umbrales para cada persona tiene el objetivo de discriminar entre movimientos oculares de lectura de la pantalla y los movimientos oculares para dirigir el puntero del mouse. Esto le permite al usuario poder mirar a distintos puntos de la pantalla como puede ser un determinado punto en algún extremo de la pantalla, y el puntero del mouse no debe moverse o dejar de realizar la tarea que esté realizando. El software tiene una interfaz amigable con el usuario y fácil de utilizar. El proceso de detección de movimiento de los ojos por umbrales consistió en definir ciertos valores de amplitud de la señal electroculográfica, que pueden ser elegidos en un menú inicial por el usuario en forma de sensibilidad de las señales, los cuales sirven de umbrales para comparar con las amplitudes de las señales que se están adquiriendo durante el uso del dispositivo. Dicha comparación se lleva a cabo mediante un software que ejecuta o no una determinada acción del puntero del mouse dependiendo de si la señal adquirida supera o no dicho umbral respectivamente. Esto permite que los

6 movimientos oculares que se realizan para leer no generen señales con amplitudes suficientes como para superar los umbrales y que estas provoquen una determinada acción del puntero del mouse. Para el caso de detección de las señales miográficas se procede de forma similar en cuanto a seleccionar umbrales en un menú inicial. Cuando la amplitud de la señal que se está adquiriendo durante el uso del dispositivo supera dicho umbral, y además se mantiene por encima de este umbral por un determinado tiempo, medido en número de muestras, entonces es que se lleva a cabo una determinada acción, la cual dependerá del estado actual del mouse, esto es, si el mouse se encuentra en movimiento la señal miográfica detectada detendrá el mouse. En el caso de que el mouse se encuentre detenido al momento de detectarse una señal miográfica que supere el umbral preestablecido, se produce un click. Cabe aclarar que en las señales electroculográficas se establecen umbrales por encima y por debajo de una señal de base, lo que permite discriminar según sea el canal vertical u horizontal, los movimientos hacia arriba y hacia abajo, y a la derecha y a la izquierda respectivamente. En el caso de las señales miográficas solo existe umbral por encima de la línea de base, ya que solo se requiere la detección del movimiento de contracción del musculo frontal y no la detección de su relajación. Figura 5: Módulo II: Recepción de los datos y procesamiento en la PC Protocolo de adquisición de señales. Para la toma de señales se creó un protocolo de registro de movimientos, el cual consiste en el seguimiento de un objeto en la pantalla de la computadora. Se llevaron a cabo dos tipos de protocolos que se diferencian en el tipo de movimientos que realiza un objeto blanco sobre un fondo de pantalla negro, diferenciándolos como 1. Protocolo con Movimientos Continuos y 2. Protocolo con Movimientos Extremos. En el primero, los desplazamientos son lentos y continuos en su recorrido mientras que en el segundo los movimientos son instantáneos, es decir, el cuadrado desaparece de una posición y aparece en otra. En ese momento el usuario debe hacer un movimiento ocular extremo en la dirección indicada (Figura 6). Durante el registro de ambos protocolos se lleva a cabo la misma secuencia de movimientos comenzando y finalizando siempre cada ciclo de movimiento en el centro de la pantalla: Centro hacia arriba y vuelta al centro. Centro hacia la derecha y vuelta al centro. Centro hacia abajo y vuelta al centro. Centro hacia la derecha y vuelta al centro.

7 Figura 6: Imagen de las pantallas diseñadas para el protocolo de movimientos. Las señales EMG se registran sobre el músculo frontal, y se acondicionan para obtener una señal de control para el click del mouse mediante rectificación y filtrado pasabajo. El sitio de fijación de los electrodos está determinado por la proximidad con los electrodos de EOG y por comodidad del paciente. Para este registro no es necesaria la etapa de entrenamiento de la contracción del frontal, ya que este movimiento es de fácil ejecución. 3. Resultados En la Figura 7 se presentan las señales registradas durante los Protocolos 1 y 2. Puede observarse que la señal es más suave y semejante a un escalón en el protocolo de movimientos continuo, mientras que para movimientos extremos las señales registradas son de mayor amplitud y corta duración. Se eligió trabajar con las señales extremas para dar la orden de acción al mouse, debido a que son fácilmente detectables debido a su gran amplitud y a su forma acotada en tiempo. Como consigna general, se determinó que cuando las señales en el canal vertical son mayores a una línea media establecida mediante una señal de offset, corresponde a un movimiento de los ojos hacia arriba, mientras que cuando la señal es menor a la línea media corresponde a un movimiento hacia abajo de los ojos. De la misma manera ocurre con el canal horizontal siendo la señal mayor a la línea media con un movimiento de los ojos hacia la derecha y cuando la señal es menor a la línea media el movimiento corresponde hacia la izquierda. Este esquema se utilizó para determinar la dirección del movimiento. En la Figura 8 se presentan las señales utilizadas para el control del mouse, tanto de EOG como de EMG. En la figura superior puede apreciarse el registro de EOG durante un seguimiento del mouse en la pantalla, con las señales superpuestas a los 2V de offset y picos en el momento de los comandos en canal vertical (hacia arriba y luego hacia abajo) y horizontal (derecha e izquierda). En la ilustración inferior se aprecia la señal de EMG procesada (rectificada, filtrada y umbralizada), en ella puede verse que ocasiona interferencia con el canal vertical de EOG, lo cual se discrimina por software, otorgando mayor prioridad a la señal de EMG sobre las EOG del canal vertical. Es decir, si se detecta la presencia de actividad electromiográfica sobre el músculo frontal, la señal de comando del EOG vertical es anulada por el sistema. Por otro lado, los parpadeos que se presentan en el canal EOG como interferencia son rechazados por el software ya que no alcanzan las condiciones necesarias de umbral y ancho de pulso para ser considerados como un comando voluntario (tal como dirigir la mirada hacia arriba).

8 Figura 7: Señales adquiridas con el equipo durante los dos protocolos de registro. Experimentación. A fin de probar el dispositivo desarrollado y obtener información respecto a la adaptación de los usuarios a su manejo se realizaron pruebas con seis usuarios a los cuales se les solicitó escribir en un archivo de texto, previamente abierto, con el Teclado en Pantalla de Windows la frase hola mundo y a continuación cerrar la ventana del archivo de texto. Para cerrar el archivo, el usuario debía presionar la X en la esquina superior derecha de la ventana y luego aceptar guardar los cambios, ya que al archivo.txt inicialmente se lo crea y guarda con el nombre del usuario que realiza la prueba. Cada usuario debió repetir cinco veces la prueba con el objetivo de medir los tiempos que les demandó realizar la tarea en cada caso, y con estos tiempos realizar un estudio para determinar cómo impactan el aprendizaje y entrenamiento en el tiempo de ejecución de una determinada tarea. Aquí el tiempo de ejecución se calcula en función de la velocidad con que se desplaza el puntero del mouse sobre la pantalla, ya que esta velocidad es prefijada para obtener determinada precisión (por ejemplo, para posicionar el puntero sobre un determinado punto de la pantalla). Los resultados obtenidos se presentan en la Tabla 1.

9 XVIII Congreso Argentino de Bioingeniería SABI VII Jornadas de Ingeniería Clínica Figura 8: Registro de las señales EOG y EMG durante el control del mouse en un seguimiento sobre la pantalla. Los datos arrojados en estas pruebas muestran una reducción en aproximadamente un 50% en los tiempos de ejecución de las tareas. Si bien estos tiempos pueden llegar a ser excesivos desde el punto de vista que se trata de escribir tan solo dos palabras y cerrar una ventana de una aplicación, se debe tener en cuenta, y se resalta, la gran reducción en el tiempo de ejecución a medida que se adquiere mayor destreza con el dispositivo, y esto se debe fundamentalmente al mayor tiempo de uso del mismo para llevar a cabo la tarea solicitada.

10 Número de Prueba Promedio de c/ Usuario Usuario N 1 00:14:36 00:12:53 00:13:42 00:10:25 00:07:54 00:11:54 Usuario N 2 00:13:58 00:11:31 00:08:17 00:08:52 00:06:39 00:09:51 Usuario N 3 00:16:52 00:15:48 00:12:34 00:11:56 00:10:27 00:13:31 Usuario N 4 00:11:26 00:09:57 00:06:29 00:07:48 00:06:43 00:08:29 Usuario N 5 00:16:13 00:15:26 00:10:54 00:20:40 00:07:55 00:14:14 Usuario N 6 00:15:29 00:14:36 00:13:21 00:10:28 00:08:39 00:12:31 Promedio General 00:11:45 Tabla 1: Tiempos de ejecución por usuario y por prueba de una tarea determinada 4. Conclusión Se desarrolló un sistema de manejo del mouse con señales EOG y EMG con resultados satisfactorios y cumpliendo con los objetivos planteados en cuanto a desempeño, tamaño, portabilidad y transmisión de los datos. En el mismo, el usuario puede seleccionar el umbral entre cinco opciones según sus requerimientos, debido a que se utiliza el Protocolo de Movimientos Extremos para el control de posición del mouse. Esta elección permite que el usuario pueda realizar movimientos suaves de los ojos para mirar distintos puntos dentro y fuera de la pantalla y que esto no sea interpretado como señal para mover el puntero del mouse, dando más libertad y evitando la fatiga del paciente. El software le permite al usuario cargar, modificar y guardar sus umbrales, los cuales determinan la sensibilidad de las señales que van dar la orden de acción al mouse. La comunicación de los módulos que conforman todo el sistema es de forma inalámbrica, lo cual tiene como ventaja que no se necesita opto-aislación para la protección eléctrica del usuario, además de brindar comodidad respecto a la distancia dentro de los rangos de transmisión de los módulos de comunicación. Esto permite que se pueda ubicar el usuario en cualquier posición respecto a la computadora, pudiendo ser aplicado este sistema no solo a una pantalla de una computadora personal, sino también a una imagen de la pantalla proyectada sobre una superficie a través de un proyector multimedia. En conclusión, este sistema permite el control total del puntero de un mouse en una pantalla de computadora, de manera de acceder no sólo a herramientas informáticas y con ellas a una mejor interacción con el medio, sino también que le permite tener acceso al manejo de diversos software de control de domótica. Referencias [1] Pastor Fernandez. El sistema vestibular y sus alteraciones Tomo 1: Fundamentos y Semiología. Editorial Masson,S.A. Primera Edición [2] M Brown, M. Marmor, Vaegan E. Zrenner M. Brigell, M. Bach, ISCEV Standard for Clinical Electrooculography (EOG),. Doc Ophthalmol (2006) 113: [3] Murillo - Ramírez Jiménez, Diseño E Implementación Del Sistema Para El Control De Movimientos De Una Plataforma Móvil A Partir De Electrooculografía. Grupo de investigación VITAL SIGNAL & CONTROL.Universidad Santo Tomás Tunja Boyacá Colombia [4] C. De Luca, Physiology and Mathematics of Myoelectric Signals. IEEE Trans. Biomed. Eng., Vol. BME- 26, No. 6, pp , June 1979 [5] N. M. López; C. M. Soria; E. C. Orosco; F. A. Di Sciascio; M. E. Valentinuzzi. Two-Dimensional Myoelectric Control of a Robotic Arm for Upper Limb Amputees. Journal of Physics: Conference Series issn [6] M. B. I. Reaz, M. S. Hussain and F. Mohd-Yasin Biol. Techniques of EMG signal analysis: detection, processing, classification and applications Proced. Online 2006; 8(1): March 23, 2006 [7] Texas Instruments - [8] Arduino -