SISTEMA DE VISIÓN DE APOYO A LA NAVEGACIÓN DE UN ROBOT MOVIL EN INVERNADEROS

SISTEMA DE VISIÓN DE APOYO A LA NAVEGACIÓN DE UN ROBOT MOVIL EN INVERNADEROS *F. J. Jiménez, *J. C. Moreno, *R. González, *F. Rodríguez Díaz, **J. Sánchez-Hermosilla *Departamento de Lenguajes y Computación. Universidad de Almería **Departamento de Ingeniería Rural. Universidad de Almería fraskogames@hotmail.com, jcmoreno@ual.es, rgonzalez@ual.es, frrodrig@ual.es, jusanche@ual.es Resumen Este trabajo supone la mejora del algoritmo de navegación utilizado en un robot móvil para la aplicación de productos fitosanitarios en el interior de invernaderos. El algoritmo de navegación reactiva utilizado anteriormente plantea algunos problemas. En este trabajo se proponen técnicas de visión artificial que sirven de apoyo al sistema de navegación y que consiguen solucionar el problema. Se utilizan para ello dos implementaciones diferentes del sistema de visión. Una de ellas se basa en una web-cam, donde el procesamiento lo llevará a cabo el sistema empotrado que está integrado en el vehículo móvil. Y la otra utiliza una cámara inteligente que realiza todo el procesamiento. En ambos casos, el problema es localizar el centro del pasillo del invernadero a partir de las imágenes capturadas. Palabras Clave: robot móvil, navegación, visión, agricultura. 1 INTRODUCCIÓN La estructura de las superficies hibernadas en la provincia de Almería ha experimentado muchos cambios, debido a los avances tecnológicos en los últimos años [3]. Ya en el campo de la industria auxiliar de la Agricultura, concretamente en el campo de la robótica móvil con aplicación en los procesos de pulverización, existen trabajos que hablan de las diversas formas posibles de recorrer los pasillos de un invernadero [5], estudios sobre técnicas de navegación para robots móviles dentro de invernaderos [7] y estudios sobre técnicas de pulverización en plantas [5] [13]. Actualmente, también se están realizando numerosos esfuerzos sobre los sistemas de recolección de frutos de forma automática [1] [2] [10] [15]. En este trabajo se utiliza un robot móvil llamado Fitorobot disponible en la Universidad de Almería [5], [12]. El objetivo de dicho robot es la pulverización del cultivo en el interior de un invernadero. Por tanto, se proponen algoritmos que ayuden al robot a recorrer de forma eficaz los pasillos del mismo, teniendo en cuenta que deberá recorrerlos lo mas cerca posible del centro del pasillo, para una mayor uniformidad del producto fitosanitario en las plantas. Actualmente se ha implementado un sistema de navegación automática basada en sónares y una brújula, pero este sistema presenta algunas deficiencias, sobretodo cuando el estado de crecimiento de las plantas no está muy avanzado, o después de la poda. Para solucionar estos problemas, se ha desarrollado un sistema de apoyo a la navegación asistida por visión en el interior de invernaderos. El trabajo se ha estructurado como sigue. En la sección 2 se describen las características del robot móvil, así como el estado actual en el que se encuentra el proyecto. En la sección 3 se describen las soluciones que se están desarrollando, constituyendo ésta la parte central de este trabajo. Por último, en la sección 4 se exponen las conclusiones del trabajo y las futuras líneas que se van a seguir. 2 ROBOT MOVIL: FITOROBOT El robot móvil Fitorobot es un prototipo de vehiculo pulverizador que se desplaza de forma autónoma por el interior de invernaderos [5], [12]. El Fitorobot mide 1,5 metros de altura, pesa 756 kilogramos (con el tanque de pulverización lleno), posee dos barras pulverizadoras y un tanque con capacidad para 300 litros de producto fitosanitario. Está propulsado por un motor de gasolina de 20 CV y utiliza un sistema de desplazamiento basado en orugas, de esta forma la presión sobre el suelo es seis veces menor que la de un humano, y hasta tres veces menor que la que se obtendría con un sistema de 4 ruedas [12]. Además, con el sistema de giro de las

cadenas se consiguen ángulos de 360 grados de giro, por lo que el vehiculo se adapta a espacios estrechos (figura 1). En el desarrollo de este robot se ha buscado cumplir varios objetivos. Por un lado, optimizar en la medida de lo posible la aplicación de productos fitosanitarios sobre las plantas. Se ha comprobado que se puede ahorrar hasta un 50% de producto fitosanitario y hasta un 60% de tiempo de fumigación con respecto a la fumigación manual [13]. Por otro lado, se ayuda a proteger el medio ambiente. Figura 2. Sistema empotrado Se han acoplado varias tarjetas de entrada/salida al PC/104 por el bus isa. Las entradas analógicas del sistema empotrado se utilizan para los sensores de ultrasonidos, brújula y sensor de presión. Las entradas digitales se usan para los bordes sensibles y contadores para los codificadores y el radar. Las salidas analógicas sirven para controlar los motores de las orugas y las válvulas del sistema de pulverización. Las salidas digitales se usan para establecer el sentido de movimiento de las orugas (figura 3) Figura 1. Fitorrobot Con el Fitorobot se pretende además liberar al ser humano de los trabajos más duros que se realizan dentro del invernadero, ya que están previstos otros proyectos de reconocimiento y recolección automática de frutos, proyectos de trabajo en altura para evitar los posibles riesgos de caída de las personas, o proyectos para el transporte de cualquier material en general [8] [12] [13]. Actualmente, este vehículo cuenta con un sistema empotrado basado en la arquitectura PC-104 [11]. Esta microarquitectura permite poder implementar los programas que se están desarrollando directamente en la plataforma móvil. El sistema PC-104 tiene un bus principal basado en la arquitectura ISA y no necesita una placa base. Las tarjetas se acoplan directamente, por lo que el tamaño del sistema es muy reducido (figura 2) y la potencia que consume muy baja. El PC-104 que utiliza es el modelo PCM-9371 de la empresa Advantech. Figura 3. Tarjetas de entradas / salidas La figura 4 muestra un esquema de todos los sensores incluidos en el Fitorobot, conectados al sistema empotrado.

Figura 5. Cámara inteligente VC-4018 Figura 4. Sistema sensorial de la plataforma móvil Respecto al subsistema de visión, las imágenes se toman desde aproximadamente un metro de altura. La cámara está ubicada en la parte frontal del robot, sin inclinación en ninguna dirección. La cámara toma imágenes en color y a una resolución de 640x480 píxeles. Como ya se ha mencionado antes, actualmente se están probando dos alternativas diferentes para abordar las tareas que lleva asociadas el sistema de visión. Cada una de estas alternativas lleva asociada una cámara diferente. Respecto a la conexión de las cámaras al sistema empotrado se realizará: vía USB en el caso de la web-cam y vía Ethernet, en el caso de la cámara inteligente. Para la opción basada en cámara inteligente, contamos con una Smart Camera VC-4018 de Vision Components [14] (figura 5). Esta cámara captura las imágenes y las procesa internamente; posee un sistema operativo propio, funciona de forma totalmente independiente, admite programación de algoritmos en C y permite utilizar multitud de librerías para tratar las imágenes. Permite la comunicación vía telnet a su shell para ejecutar las órdenes. Esta opción es la más rápida, ya que se libera al sistema empotrado de tener que procesar las imágenes, pero también es la más cara. Tanto si se utiliza la opción anterior, como si se emplea para realizar el proceso una cámara web, se utiliza el software LabVIEW versión 8.2.2 de National Instument.Entre los motivos de utilizar Labview se encuentran: su potencia, su facilidad de uso y el hecho de estar ya el sistema sensorial anterior implementado utilizando esta herramienta. Para la opción basada en cámara web, se utilizan las librerías de LabvVIEW para visión artificial IMAQ VISION [9]. 3 SISTEMA DE VISIÓN El sistema de visión propuesto es la continuación de otro proyecto anterior que todavía presentaba algunas deficiencias, por tanto, es un sistema de visión de apoyo. Uno de los problemas actuales que se intentan solucionar es el reconocimiento de las plantas en sus diferentes fases de crecimiento, ya que cuando la vegetación no es suficientemente abundante, los sistemas de sónares tienen dificultades para detectar los laterales del pasillo. Para ello, se está trabajando en un sistema de visión artificial, que complementará a los sistemas sensoriales existentes actualmente. De esta forma, cuando el sistema de sónares no pueda determinar cuál es la ruta que se debe seguir, lo hará el sistema de visión. El sistema de visión artificial que se propone es un sistema inteligente, en el cual se utilizan las fases típicas de todo sistema de visión artificial (figura 6).

Los invernaderos tienen un sistema de iluminación natural (luz solar), debido a la desafinidad de la intensidad solar a diferentes horas del día, y teniendo en cuenta las condiciones atmosféricas, el sistema de iluminación es muy variable. De momento se supone que no se va a fumigar de noche, ni con ningún sistema de iluminación artificial. A estos cambios de iluminación hay que añadir que se están capturando imágenes de organismos vivos, que no presentan color constante durante sus diferentes fases de madurez. (figura 9). Figura 6. Estructura básica de un sistema de visión artificial. En el caso de utilizar una cámara web, se realiza la carga de procesamiento para el reconocimiento en el sistema empotrado del que actualmente dispone el Fitorobot (figura 7). Además de estos problemas, en el interior del invernadero puede haber otros obstáculos que dificulten el procesamiento del sistema de reconocimiento (sistemas de calefacción, mosquiteras, materiales agrícolas, el suelo puede ser de varios colores, etc.) Figura 9. Imágenes de distintos pasillos con diferentes condiciones de iluminación y crecimiento del cultivo. Figura 7. Sistema de visión asistido por WebCam La segunda opción es utilizar una cámara inteligente que realice todo el procesamiento de visión y, de esta forma, liberar al sistema empotrado de este procesamiento (figura 8). Otro problema se presenta cuando el Fitorobot se aproxima al final de un pasillo. En este caso se utilizan los sónares, que están dando buenos resultados. 3.2 FUNCIONAMIENTO DEL SISTEMA DE VISIÓN Dado que la tasa de fallo del sonar es mayor cuando la planta esta podada, el mayor esfuerzo del sistema de visión es detectar bien el suelo en estos casos. (figura 10). Figura 8. Sistema de visión asistido por cámara inteligente 3.1 PROBLEMAS INTERÉS Y CONDICIONES DE Figura 10. Imagen típica del interior de un invernadero tras la poda de las plantas

Para ello, se ha creado un algoritmo de visión artificial que es capaz de segmentar el suelo del invernadero (figura 11). Figura 12. Histogramas típicos de imágenes de un invernadero tras la poda (plano HUE) La parte derecha del histograma (aproximadamente de 100 a 175) corresponde a las áreas con mayor tonalidad de color. Estas áreas representan fundamentalmente el suelo en la imagen. La parte izquierda está formada por plantas, fondo de pasillo, techo y otros objetos. Figura 11. Esquema de funcionamiento del sistema de visión En la anterior figura se puede observar que el algoritmo se basa en 8 pasos fundamentales. En primer lugar se realiza la captura de la imagen, ya sea mediante la VC-4018 o mediante la web-cam. A continuación, para realizar la segmentación se utiliza el HUE de la imagen (dicho canal Hue corresponde a la tonalidad de la imagen en el sistema HSL). Después de haber separado el canal HUE, se realiza un estudio sobre el histograma para determinar el umbral. En la figura 12 se muestran ejemplos de diferentes histogramas del canal HUE en distintos pasillos de invernadero, con condiciones de iluminación y vegetación distintas. Se aplica un algoritmo de suavizado de la señal y después se busca el punto central del histograma, este punto se utiliza como punto de corte para binarizar la imagen. Debido a que esta separación no es perfecta del todo (siempre hay ruido alrededor, y pueden aparecer algunos huecos en el suelo según sea la imagen), tras elegir el umbral y separar la imagen, hay que llevar a cabo un proceso de filtrado. Para ello se ha utilizado un filtro de paso bajo (figura 13). 0 1 0 1 1 1 0 1 0 Figura 13. Matriz de 3x3 utilizada para el proceso de filtrado Al final de este proceso se habrá separado el suelo de otros posibles objetos menores que pudieran aparecer. Posteriormente se aplica un proceso de erosión para segmentar la imagen de forma que se descartan los objetos más pequeños hasta quedar el objeto más grande, que corresponderá al suelo. Después, se aplica un algoritmo convencional para rellenar los huecos del objeto segmentado (figura 14).

En este trabajo se ha desarrollado un algoritmo de visión de apoyo a la navegación de robots móviles en invernaderos. Este algoritmo de visión se basa en la segmentación de las imágenes de pasillos de invernadero y en la determinación del centro geométrico de dichos pasillos. Esta trayectoria será utilizada como trayectoria de referencia por los controladores de un robot móvil para recorrer un invernadero. Figura 14. Resultado obtenido de segmentar la imagen de la figura 6 Al conjunto de las fases anteriores se le conoce con el nombre de segmentación del suelo. Una vez completada dicha tarea, se determinará el centro de la imagen segmentada (que será el camino de referencia que deberá seguir el robot). La trayectoria central de la imagen segmentada es el conjunto de puntos que equidistan a un lado y otro de la imagen. En primer lugar, se barren todas las líneas horizontales de la imagen segmentada y se buscan siempre los puntos equidistantes de los bordes (figura 15). Actualmente se han realizado pruebas utilizando la web-cam. En un futuro se utilizará la cámara de visión inteligente. Una vez se tengan resultados de los dos esquemas, se realizarán comparaciones de rendimiento y un estudio económico, para determinar cual de las dos opciones es la más recomendada. 5 AGRADECIMIENTOS Los autores agradecen la financiación al Ministerio de Educación y Cultura español en el marco del proyecto AGL2005-00848/agr y a la Estación Experimental Las Palmerillas de Cajamar por las pruebas realizadas en sus instalaciones. 6 BIBLIOGRAFÍA [1] A. R., Jiménez, R. Ceres, J. L. Pons., (2000), A vision system based on a laser range-finder applied to robotic harvesting. Machine Vision and Applications. Vol. 11 (6). Pp. 321-329. [2] Alessio Plebe, Giorgino Grasso., (2001), Localization of spherical fruits for robotic harvesting. Machine Vision and Applications. Vol. 12 (2). Pp. 70-79. [3] FIAPA, (2004). Estudio multitemporal sobre la evolución de la superficie invernada en la provincia de Almería por términos municipales desde 1984 hasta 2004. Almería. Figura 15. Trayectoria central trazada a partir de los puntos centrales de la imagen segmentada Una vez se obtienen todos estos puntos, se toma como punto central del pasillo la media de un conjunto de puntos definido por el horizonte espacial configurado. Este punto se utiliza para ordenar a los actuadores de la plataforma móvil que rectifiquen (si es necesario) su trayectoria. 4 CONCLUSIONES Y TRABAJOS FUTUROS [4] G.M. Acaccia, R.C. Michelini, R.M. Morfino, R.P. Razzoli, (2003), Movile Robots in greenhouse cultivation: inspection and treatment of plants. 1 st International Workshop on Advances in Service Robotics. 13-15 Marzo, Bardolino, Italía. [5] González, R., (2006), Desarrollo de algoritmos de navegación reactiva de robots móviles para tareas bajo invernadero, Proyecto Fin de Carrera., Universidad de Almería. [6] González, R., Rodríguez, F., Guzmán, J.L., Berenguel, M. (2008). Compensation of Sliding Effects in the Control of Tracked Mobile Robots. Portuguese Conference on

Automatic Control, 21-23 Julio. Vila-Real, Portugal. [7] González, R., Rodríguez, F., Sánchez- Hermosilla, J., Donaire, J.G. (2007). Navigation techniques for mobile robots in greenhouses. IFAC AgriControl, Septiembre, Osijek, Croacia. [8] Guzmán, J.L., Rodríguez, F., Sánchez- Hermosilla, J., Berenguel, M. (2008). Robust Pressure Control in a Mobile Robot for Spraying Tasks. Transactions of the ASABE, 51(2). [9] IMAQ VISION, http://www.alliancevision.com/us/products/so ftware_ni/imaqvision.htm [10] M Monta, N Kondo, K. C. Ting., (1998) End- Effectors for Tomato Harvesting Robot. Artificial Intelligence Review. Vol. 12 (3). Pp. 11-25. [11] PC104 Embedded Consortium, (2008). Available: http://www.pc104.org [12] Sánchez-Gimeno, A., Sánchez-Hermosilla, J., Rodríguez, F., Berenguel, M., Guzmán, J.L. (2006). Self-propelled vehicle for agricultural tasks in greenhouses. World Congress - Agricultural Engineering for a better world. Septiembre, Bonn, Alemanía. [13] Sánchez-Hermosilla J., Medina R., Gázquez J.C., (2003). Improvements in pesticide application in greenhouses. Workshop in Spray Application Technique in Fruit Growing, Cuneo, Italia. [14] Vision Components, Cámara inteligente VC- 4018 http://www.visioncomponents.com/vc_smart_camera_series_an d_software/smart_cameras_intelligent_camera s_from_vc/ [15] Yael Edan, Dima Rogozin, Tamar Flash, Gaines E. Miles., (2000), Robotic Melon Harvesting. IEEE Transaction on Robotics and Automation. Vol. 16 (6). Pp. 831-835.