BRAZO HUMANOIDE CONTROLADO VIA IMAGEN PARA MANIPULACIÓN REMOTA DE OBJETOS

Transcripción

1 BRAZO HUMANOIDE CONTROLADO VIA IMAGEN PARA MANIPULACIÓN REMOTA DE OBJETOS Juan Carlos Miguel Ángel Gonzáles Lévano, Renzo Daniel Padilla Montoya, Students Members Ricardo Palma University Perú, {jkma3005, Adviser P.Huamani, member Ricardo Palma University-Perú Abstract The presentation of this project is based on a robotic structure formed by two articulated arms, controlled by computer. This requires a Kinect module is used in conjunction with two software applications that allow sensing of the position of the person, so you can capture the real-time movements made by each user, these are processed in software environments Rhinoceros / Grasshopper and added Firefly. These environments offer us a set of compatible with the Arduino development board, which allows us to perform the interaction of the physical world with the digital, once processed the information, the module sends signals to the respective joint performing the same movement. Additionally, it has a device which allows mapping the position of the fingers so that the robot by servomotors imitates the movement. Keywords Robotic structure, Arduino, articulated arms, Grasshopper, Kinect, Rhinoceros, Firefly, Servomotors. I. NOMENCLATURA MPU: ADC: I2C: ICSP: NURBS: Multiple Process Unit Analogic Digital Conversor Inter-Integrated Circuit In Circuit Serial Programming Non-Uniform Rational B-spline T II. INTRODUCCION eniendo en consideración la realidad de una industria de competencias y riesgos, es que se propone realizar el diseño y control de un brazo articulado con 4 grados de libertad, con una mano robótica con articulaciones de los 5 dedos, capaz de mover objetos, mediante un sistema de control Maestro Esclavo basado en imágenes sistemas maestro-esclavo el operador actúa moviendo el efector final de un manipulador maestro cuyos movimientos deben ser reproducidos por el efector final del manipulador esclavo. [1]. El sistema se compone de una estructura mecánica, que utiliza como mecanismos de actuación de las articulaciones, a servomotores que realizan el movimiento angular. Además, posee una etapa de control electrónico, basado en tarjetas de desarrollo Arduino Uno y Arduino Mega 2560, basadas en los AVR ATmega 328p y ATmega 2560, respectivamente, las cuales se utilizarán como interfaz para enviar las señales de control de posicionamiento de los servomecanismo,,y además realizan la adquisición de datos de los sensores para el control de la mano a través basado en sensores de flexión. Para la toma de imágenes que realiza el usuario se está usando el módulo Microsoft Kinect que es una interfaz basada en una cámara IR, camára RGB y micrófono, que permite reconocer los movimientos y comandos de voz para lograr interactuar con la PC sin necesidad de tener contacto físico [2]. Para el procesamiento de esta imagen se usa el programa Rhinoceros el cual es una herramienta para el modelado de tres dimensiones basado en NURBS. [3, 4]. Es un software agregado para Autodesk es usado normalmente para el diseño industria, la arquitectura, diseño naval, entre otros. Dentro del software Rhinoceros, está instalado su plugin Grasshopper, que entre sus componentes de trabajo se encuentra Firefly que tiene todo un menú dedicado y compatible con la tarjeta Arduino [5], interfaz que va a permitir la manipulación de las articulaciones conectadas a la tarjeta. III. DESARROLLO Para el desarrollo del presente proyecto, se tuvo que tener en cuenta la potencia de alimentación que requerían los servos y el torque necesario para la dinámica del brazo, así como también el reconocimiento espacial de la posición del usuario frente al módulo kinect, A. Diseño Se procedió a realizar el siguiente diagrama de conexiones para poder lograr el control de un solo brazo y luego proceder a la réplica del control para el segundo brazo.

2 Fig. 1 Diagrama de bloques de funcionamiento del proyecto B. Programación La programación se desarrolló en el entorno IDE de arduino mediante lenguaje C para el mapeo y el control de las manos así como la programación de la transmisión inalámbrica mediante los módulos Xbee. Fig. 2 Diagrama de bloques del funcionamiento de la mano robótica mediante la lectura de los sensores de flexión y la comunicación serial entre micro-controladores. Para la kinect Una programación del control mediante la toma de imágenes del se procedió a instalar el SDK v1.8 para poder ser reconocido por la computadora. vez reconocido se utilizó la librería de Rhinoceros, Firefly, en este entorno la programación se realiza de manera gráfica mediante la colocación de bloques donde cada uno cumple funciones independientes. Una vez logrado este reconocimiento procedemos a conectar el kinect y abrir el grasshopper para que mediante la conexión de bloques de programación lograremos el reconocimiento de las articulaciones de una persona (Usuario), la ventaja del programa es que permite graficar las articulaciones en un entorno de 3 dimensiones dándonos las coordenadas de cada articulación, tal como se muestra en la figura 3. El número máximo de articulaciones que detecta el kinect utilizando este programa es de 19, de las cuales para el movimiento de los brazos solo utilizaremos las coordenadas correspondientes a los hombros, codos, y muñecas, Fig. 3 - Diagrama de bloques del reconocimiento de las articulaciones (19 puntos en el espacio tridimensional de articulaciones del cuerpo humano) mediante el programa Rhinoceros y Grasshopper (a) (b)

3 (c) Fig. 4 (a) Imagen captada por la cámara RGB del Kinect. (b) Imagen captada por la cámara IR del Kinect. (c) Imagen tridimensional de las articulaciones obtenida mediante el software Rhinoceros C. Pruebas OBTENCIÓN DEL ÁNGULO DE LA ARTICULACIÓN DEL CODO Para la obtención del ángulo que forma el codo, se crean los vectores que simularán el brazo y antebrazo, a partir de la imagen obtenida con el Kinect y Grasshopper. Para de esta manera, los servomotores que se posicionarán en ese ángulo determinado, emularán los movimientos de los músculos del brazo. La cinemática del brazo del robot trata con el estudio analítico de la geometría del movimiento de un robot con respecto a un sistema de coordenadas de referencia fijo. [6]. Dónde: A: Coordenada cartesiana del Hombro Derecho B: Coordenada cartesiana del Codo Derecho C: Coordenada cartesiana de la Muñeca Derecha Fig. 5 Ángulo de Articulación del codo. Vector del brazo Vector del antebrazo Ángulo formado entre el brazo y antebrazo: R = A B (1) S = C B (2) θ = arccos( R S ) (3) R S Obtención del ángulo de la articulación vertical del hombro Dónde: Fig. 6 Ángulo de articulación vertical del Hombro B: Coordenada cartesiana del Codo Derecho D: Coordenada cartesiana del Cuello E: Coordenada cartesiana de la Cintura Vector del brazo

4 Vector del antebrazo Ángulo formado entre el Brazo y la Columna vertebral: T = B D (4) U = E D (5) θ = arccos( T U ) (6) T U ETAPA DE CONTROL DE LA MANO. Para la lectura de los movimientos de las articulaciones de los dedos, se optó por la utilización de sensores de flexión, los cuales basan su resistividad en propiedades del carbono que al estar curvado, su resistencia varía en relación con el radio de curvatura, a menor radio, mayor será su resistividad [7]. Estos sensores se acoplaron en cada dedo de la mano derecha, montándolos sobre un guante, para así medir el grado de flexión que realiza cada dedo. El sensor de flexión utilizado, el cual es el sensor de flexión de 4.5 pulgadas varía su resistencia de un valor nominal cuando no está curvado que es de 10 KΩ, a un valor máximo, cuando tiene la máxima curvatura (90º) de 20 KΩ. [8]. Fig. 7 Acoplamiento de los sensores de flexión en un guante, y tarjeta de adquisición de datos basada en Arduino MEGA 2560 Para lograr la adquisición del sensor, para su conversión analógica a digital fue mediante un divisor de tensión, de la cual su ecuación de lectura está dada por la siguiente fórmula: V s = 10KΩ+Rs 5xRs V.(7) Una vez sensado el valor de flexión de los dedos, se requiere un sistema de posicionamiento para los dedos de la estructura robótica. Para ellos se tomó en base al movimiento de flexión y extensión [9] de los dedos, que son realizados por los tendones flexores en los cuatro últimos dedos sólo hay un tendón extensor en el pulgar dos tendones [10]. Fig. 8 Músculos de la región posterior del antebrazo y tendones extensores de los dedos. (Latarjet Anatomía Humana 4ta Edición. p.570) Para emular los movimientos de flexión y extensión de cada dedo, se diseñó un sistema basado en hilos de nylon que emulan a los tendones flexors y extensores, conectados a cada estructura mecánica de los dedos articulados, los cuales serán accionados mediante servomotores.

5 (a) (b) Fig. 9 Sistema articulado de las mano robótica, mediante hilos de nylon y servomotores. ETAPA DE GIRO DEL ANTEBRAZO Para realizar los movimientos de Supinación y Pronación que corresponden al giro del antebrazo. En pronación, el antebrazo está exactamente en la prolongación del brazo, siguiendo su eje... En supinación, el antebrazo forma con el brazo un ángulo abierto en sentido lateral. [101] Página 536. M. Latarjet, R, Liard, Anatomía Humana Tomo I, 4ta Edición. Editorial Panamericana, 2004, p Fig. 10 Movimientos de Supinación y Pronación del antebrazo Se sensó dicho movimiento, utilizando un módulo MPU6050, que incorpora un acelerómetro y un giróscopo. Este módulo se situó en la parte superior de cada antebrazo (derecho e izquierdo), teniendo como estado inicial, la posición de pronación. Cada módulo envía los datos sensados a su respectiva tarjeta de interfaz y procesamiento que será constituida por tarjetas Arduino Mega, utilizando el Bus de comunicación I2C [11, 12]. Una vez siendo adquiridos los datos por la tarjeta, se realiza un procesamiento de las señales, utilizando el Filtro de Kalman [13]; esto debido que, tanto los datos del acelerómetro como del giróscopo, poseen ruido y gran sensibilidad a las perturbaciones, lo cual hace necesario realizar un filtrado y predicción de los datos tomados, para corregir las desviaciones. De ambos datos (giróscopo y acelerómetro), se obtienen los ángulos de rotación en cada eje, de los cuales solo se utilizará el ángulo de rotación X (Roll o ángulo de alabeo). Fig. 11 Ángulos de rotación en los ejes X, Y, Z para el módulo MPU6050 Los datos que se obtienen del acelerómetro (medición de las aceleraciones en los ejes X, Y y Z) se introducirán a la siguiente fórmula para obtener la rotación alrededor del eje X:.(8) Asimismo, la ecuación que permitirá determinar el ángulo de rotación en el eje X a partir de los datos del Giróscopo, se basa en la ecuación mostrada a continuación. Cabe resaltar que el giróscopo mide la velocidad angular, por lo cual la determinación del ángulo, depende del ángulo en un instante anterior. Á ngulo X = Á ngulo X anterior + n t (9) Una vez obtenido, los ángulos de rotación alrededor del eje X, tanto a partir del Acelerómetro y a partir del giróscopo, se procesan utilizando el Filtro de Kalman utilizando el procesador de la tarjeta Arduino Mega Fig. 12 Respuesta en el Tiempo de la Señal filtrada (Filtro de Kalman), Señal del Giroscopio y Señal del Acelerómetro. Una vez obtenido los datos filtrados, se envían las señales filtradas a las tarjetas de control, que se encuentran ligadas a la estructura robótica de los brazos; estas tarjeta enviarán las señales de posicionamiento a los servomotores que realizarán el movimiento de los antebrazos. Para realizar esta comunicación de manera inalámbrica, se utilizan módulos Xbee, que se basan en el protocolo de comunicación Zigbee.

6 ETAPA DE RECONOCIMIENTO DE POSICIÓN FRENTE A KINECT Al realizar las pruebas frente al kinect se encontró que este no distingue si la persona se encuentra de frente o de espalda, se optó por utilizar algunas herramientas de procesamiento digital de imágenes. Por lo cual, valiéndonos de la Web Cam de la Laptop utilizada, se capturó una fotografía antes de realizar el procesamiento de movimiento de los brazos robóticos. Una vez capturada la imagen, se procedió a separarla en sus canales de color y posteriormente realizar una segmentación de cada imagen retirando los 2/3 de filas de la parte superior de cada cuadro capturado. Seguidamente, se continuó con la aplicación de una operación de histograma para determinar un posible umbral, y así realizar una búsqueda de pixeles para reconocer la zona de la cabeza (por el tipo de color de cabello).como este procedimiento no permite una completa segmentación, se tuvo que complementar con el uso de operaciones morfológicas de dilatación y erosión, utilizando elementos estructurantes en forma de líneas verticales y horizontales. Esto permitió atenuar aquellos pixeles correspondientes a aquellas zonas de marcos o líneas encontradas en el fondo de la imagen capturada. Una vez realizada la segmentación completa, se finalizó con un condicional que permitió realizar una cuenta de pixeles mayor, siempre y cuando la persona se encuentre dando la espalda al Kinect. Mientras que si se encontraba dando el frente, dicho suma de pixels fue mínima debido al hallazgo de pixeles correspondientes al rostro, con valores superiores al tono de gris intermedio, aproximadamente. Fig Resultado del Procesamiento digital para detectar posición de Espalda hacia el Kinect. Fig Resultado del Procesamiento digital para detectar posición de Frente hacia el Kinect. Fig Diagrama de bloques del procesamiento digital de imágenes. IV. RESULTADOS Se logró captar los movimientos en tiempo real de una persona usando el dispositivo Microsoft Kinect, procesando estas imágenes mediante el software Grashopper, para así generar una imagen de las articulaciones y sus movimientos en la pantalla de un computador.

7 Fig. 16 Proyección del usuario en el programa Rhinoceros. Una vez obtenidos las imágenes en tiempo real de los movimientos de una persona, se procesaron las coordenadas generadas, para formar vectores que nos permiten expresar los ángulos de movimiento de las articulaciones del brazo. Estos ángulos calculados, fueron procesados con mediante las tarjetas de desarrollo Arduino Uno y Mega 2560, para replicarlos en los servomotores que forman las articulaciones de la estructura del brazo robótico. Fig. 17 Replicación en la estructura robótica de los movimientos del brazo derecho I. CONCLUSIONES La telemanipulación en tiempo real de objetos, mediante un control vía imagen de los movimientos de una persona, se puede hacer posible utilizando el módulo Microsoft Kinect, como módulo de adquisición de imágenes y utlizando como herramienta de procesamiento de imagen y control, el software Rhinoceros, en su entorno Grasshopper y su agregado Firefly. Con este sistema se obtiene una correcta adquisición de los movimientos de las articulaciones de los brazos, en las tres dimensiones. A este sistema, se le agrega el sensado de las posiciones de rotación del antebrazo utilizando un módulo de giróscopo y acelerómetro; además para el sensado de las articulaciones de los dedos, se complementa con un guante donde se acoplan sensores de flexión para cada dedo. El grado de precisión de los movimientos replicados por la estructura robótica del brazo y la mano, depende de un entorno donde la persona situada frente al Kinect, debe tener total libertad de espacio, y no haya otras personas situadas en el ángulo de enfoque del Kinect. Además, otro factor es el torque que poseen los servomotores, con un torque superior al necesario para elevar el peso de la estructura, la precisión mejora. Para el movimiento de rotación del antebrazo (supinación y pronación), se hace uso de un módulo basado en giróscopo y acelerómetro, para el cual se requiere filtrar las señales obtenidos por ambos parámetros, utilizando un Filtro de Kalman, el cual reduce el error generando una alta precisión del posicionamiento. II. OBSERVACIONES Esta estructura responde a los movimientos en tiempo real del operador a una buena precisión, pero con limitaciones físicas en cuanto al armado de la estructura, debido a torques que manejan los servos colocados en cada articulación III. RECOMENDACIONES Se debe hacer un análisis de potencia y torque para los servomotores utilizados en el brazo robótico, ya que algunas articulaciones (como la del hombro y codo), son las que requieren de mayor torque para lograr un movimiento más fluido y preciso. IV. REFERENCIAS [1] A. Ollero. Robótica, manipuladores y robots móviles 1ra Edición. Editorial Marcombo. Barcelona P [2] J. Webb and J. Ashley. Beginning Kinect Programning with the Microsoft Kinect SDK. Appres Editorial [3] A. Payne, r. Issa, Grasshopper Primer for version nd Edition. Traducción Francisco Calvo y Khaterine Cáceres [4] R. Cheng. Inside Rhinoceros 5.0 4th Edition. Delmar Cengage Learning [5] J. Ruiz. Entornos Gráficos para la programación Plataforma Open Hardware Arduino Pp [6] K. Fu, R. Gonzalez, C. Lee, Robótica: Control, detección, visión e inteligencia. 1ra. ed. McGraw Hill. México Pp. 13, [7] S. Dixit and N. Shingi. Implementation of Flex sensor and Electronic Compass for Hand Gesture Based Wireless Automation of Material Handling Robot International Journal of Scientific and Research Publications, Volume 2. Issue 12, December 2012 pp [8] Spectra Symbol. Flex Sensor [Online]. Available: [9] L. Testut, A. Latarjet. Compendio de Anatomía descriptiva 22 Edición. Editorial Masson. Barcelona P. 127 [10] L. Testut, O. Jacob. Compendio de Anatomía Topográfica Salvat Editores. Barcelona Pp [11] Philips Semiconductors. The I2C-bus and how to use it (including specifications) [12] V. Himpe. Mastering the I2C Bus Editorial Elektor [13] M. Grewall and A. Andrews. Kalman Filtering. Theory and Practice with MATLAB. 4th Edition. Willey Editorial [14] M. Rashid. Electrónica de Potencia. 2da. ed. Prentice Hall, México,1993. [15] A. Barrientos, L. Peñìn, C. Balaguer, R. Aracil, Fundamentos de Robótica, 1ra. ed., McGraw Hill, España, [16] C. Chang, L. Carson, Sensores y Actuadores. 2da. ed. Pearson.España

8 [18] Pallas, R. Sensores y Acondicionadores de Señal. 4ta. ed., Marcombo, México, [19] M. Perez, M. Readman, Servomecanismos Digitales, 1ra Ed. Horizonte. Guadalajara [20] H. Leyton. Desarrollo, implementación y prueba de un filtro de Kalman del tipo UKF para un vehículo áereo no tripulado, Universidad EAFIT. Medellín [21] R. Faludi. Building Wireless Sensor Networks: with ZigBee, XBee, Arduino, and Processing, 1ra Ed. O'Reilly Media. EE.UU [22] F. Netter. Atlas de Anatomía Humana. 3ra Edición. Editorial Masson pp [23]J. Gosling, P. Harris, J. Humpherson, I. Whitmore and P. Willan. Anatomía humana 2da Edición. Editorial Mosby/Doyma Libros. Hong Kong pp [24] R. Putz, R. Pabst. Atlas de Anatomía Humana Sobotta. 21 Edición. Editorial Médica Panamericana. España Pp [25] Página 536. M. Latarjet, R, Liard, Anatomía Humana Tomo I, 4ta Edición. Editorial Panamericana, 2004, p V. BIOGRAFÍA Renzo Daniel Padilla Montoya, estudiante de 9no ciclo de la Universidad Ricardo Palma, Se desarrolla en programación en el entorno Arduino desarrollando trabajos de investigación para el Cecos Brigurp, y el laboratorio de Control de la Universidad. Ponente en INTERCON 2014 en el concurso de proyectos. Juan Carlos Gonzáles Palma, Brigadista del estudios de de la Univeridad. Ponente en INTERCON 2014 Lévano, Estudiante de 10mo ciclo de la Universidad Ricardo voluntariado Cecos Brigurp. Se encuentra desarrollando investigación para el Cecos- Brigurp y el laboratorio de Control en el concurso de proyectos.