Sistemas De Visión Artificial

Transcripción

1 Sistemas de Visión Artificial Introducción al Diseño de Micro Robots Móviles2009/10 Sistemas De Visión Artificial Autores: Alejandro Vicente Pedro Javier Oscar Sergio Carlos

2 INDICE DE CONTENIDOS 1 Introducción Naturaleza de la luz La luz como Onda electromagnética Interacción entre la luz y la materia. (5) Visión Humana y Visión Artificial Historia Definición actual de visión artificial Pasos de un sistema de visión artificial Sistemas de visión artificial en robótica Técnicas de procesado de imágenes en Visión Artificial Etapas en el proceso de Visión Artificial Adquisición de imágenes Pre procesado Segmentación Análisis Reconstrucción tridimensional en visión artificial Tipos de medición en Visión Artificial Visión Robótica 2D Visión 3D con una cámara Reconocimiento de formas 3D Reconocimiento mediante Fotogrametría 3D Sensor óptico 3D estéreo Servo Visual 3D Software de Visión artificial Introducción Clasificación Paquetes de programas MatLab LabView Librerías de funciones OpenCV MIL Mavis CMUcam(software) Detección de Objetos VISION BIDIMENSIONAL Segmentación Establecimiento de umbrales Bases de la visión en color para máquinas Detección de bordes Creación de regiones Análisis Geométrico Propiedades de tamaño y forma Representaciones geométricas Código de Longitud de Secuencia...37 Página 2 de 77

3 Código de Encadenamiento Árbol Tetrafurcado ("Quadtree") Otras Representaciones VISION TRIDIMENSIONAL Forma a partir de sombreado Forma a partir de textura Forma tridimensional a partir de forma bidimensional Detección de distancia y visión en estéreo Reconocimiento de objetos tridimensionales Ejemplo de Aplicación Real Seguidor de líneas Introducción Ejemplos de robots con estas características Robot velocista con visión Control cinemático de robots autoguiados utilizando un sistema de visión artificial Sistema de posicionamiento del robot por visión Robot Pob-Bot Otros robots CMUcam Introducción Características Tipos de CMUcam CMUcam Original CMUcam CMUcam Implementación (modos de uso) Ejemplos y aplicaciones Donde se puede conseguir una? Cuánto puede costar? Cómo empezar? Resumen Bibliografía...74 Página 3 de 77

4 1 Introducción Uno de los sentidos más importantes de los seres humanos es la visión. Ésta es empleada para obtener la información visual del entorno físico. Según Aristóteles, Visión es saber qué hay y donde mediante la vista. De hecho, se calcula que más de 70% de las tareas del cerebro son empleadas en el análisis de la información visual. El refrán popular de Una imagen vale más que mil palabras tiene mucho que ver con los aspectos cognitivos de la especie humana. Casi todas las disciplinas científicas emplean utillajes gráficos para transmitir conocimiento. Por ejemplo, en Ingeniería Electrónica se emplean esquemas de circuitos, a modo gráfico, para describirlos. Se podría hacerlo mediante texto, pero para la especie humana resulta mucho más eficiente procesar imágenes que procesar texto. La visión humana es el sentido más desarrollado y el que menos se conoce debido a su gran complejidad. Es una actividad inconsciente y difícil de saber cómo se produce. De hecho, hoy en día, se carece de una teoría que explique cómo los humanos perciben el exterior a través de la vista. 1.1 Naturaleza de la luz La luz fue considerara, hasta el siglo XVIII, como una corriente de corpúsculos. Éstos eran emitidos por los focos luminosos y disminuía su densidad a medida de que se alejaban del foco. Podían penetrar en las sustancias transparentes y se reflejaban en las superficies de los cuerpos opacos. Cuando los corpúsculos penetraban en el ojo, excitaban el sentido de la vista. Esta teoría corpuscular fue desarrollada por Newton en el siglo XVII y mejorada posteriormente, con el modelo cuántico, por Plank a principios del siglo XX. En el siglo XIX, los trabajos de Young, Fresnel y Foucault salvaron la mayoría de las objeciones de la teoría ondulatoria. El impulso definitivo lo dio Maxwell, al explicar la luz como una radiación ondulatoria. Sin embargo, el efecto fotoeléctrico proporciono evidencias experimentales de que la luz tenía carácter corpuscular en la interacción con la materia. Hoy se admite que en la emisión de la luz intervienen electrones con cantidades de energía determinadas o discretas. Cuando un electrón pasa de un nivel de energía a otro inferior emite una partícula discreta de energía, llamada cuanto o fotón. El problema ahora consiste en hacer concordar el cuanto o característica corpuscular de la luz con la idea de onda continua. Para la Mecánica Cuántica, cuando se trata del comportamiento de gran número de cuantos, la teoría ondulatoria explica satisfactoriamente los fenómenos, pero al considerar el comportamiento de unos pocos cuantos prevalece la teoría corpuscular. Así, los fenómenos de propagación de la luz encuentran su mejor explicación dentro de la teoría ondulatoria, mientras que la acción mutua entre luz y materia, en los procesos de absorción y emisión, es un fenómeno corpuscular. Hoy aún se mantiene la teoría dual de la luz. Más adelante trataremos sobre la propagación de la luz y la formación de las imágenes. Todos estos fenómenos pueden interpretarse a partir de la teoría ondulatoria. Por tanto, se puede considerar que las fuentes luminosas emanan de un frente de ondas, las cuales Página 4 de 77

5 pueden ser representadas, imaginariamente, por líneas rectas en la dirección de la propagación del tren de ondas, a las que se llamará rayo. 1.2 La luz como Onda electromagnética Algunos tipos de energía requieren de un medio conductor para propagarse. Como así sucede con la energía eléctrica o mecánica. Pero hay otros tipos de fuentes energéticas que no necesitan de un soporte conductor, éste el caso de la luz. Las radiaciones electromagnéticas se propagan en forma de dos ondas vectoriales mutuamente acopladas y perpendiculares entre sí; una onda para el campo eléctrico y otra para el campo magnético. Según la teoría ondulatoria, la luz se propaga en forma de onda que viaja en el espacio libre con una velocidad constante c = m/s. El espectro visible es una porción muy pequeña del conjunto de ondas electromagnéticas que tiene la peculiaridad de ser captada por los ojos y procesada en el cerebro. El ojo humano es capaz de distinguir radiaciones de longitudes de onda comprendidas entre los 380 nm a los 780 nm, cuyas frecuencias oscilan entre los Hz y los Hz. El sentido de la vista transforma las diferentes amplitudes y frecuencias del espectro visible en sensaciones conocidas como brillo y color respectivamente. Fig. 1-1 Campo electromagnético Fig. 1-2 b) Espectro de la luz Fue Newton quien observó cómo la luz blanca, la procedente de la luz solar, se podía descomponer en unas serie de haces luminosos de colores cuando atravesaba un prisma óptico. Newton, con este experimento, hallo el espectro de la luz diurna mediante el fenómeno conocido como dispersión de la luz o dispersión cromática, cuya explicación física escapaba de su teoría corpuscular. Mediante la teoría ondulatoria se sabe que cada color es en realidad una onda electromagnética de frecuencia determinada y que, al penetrar en el prisma óptico, se desvía en una dirección diferente debido a que el índice de refracción de este material varia con la frecuencia de la onda penetrante, con lo que el haz se expande de forma que las radiaciones monocromáticas puedan ser distinguidas y observadas por el ojo humano. Página 5 de 77

6 Fig. 1-3 Descomposición de la luz Fig. 1-4 Dispersión cromática de la luz. 1.3 Interacción entre la luz y la materia. (5) Cuando un cuerpo recibe radiación luminosa, una parte es absorbida, otra es reflejada y hay otra parte que es transmitida. Por el principio de conservación de la energía, el flujo luminoso incidente será igualado a tres mecanismos: INCIDENTE TRANSMITIDA, ABSORBIDA Y REFLEJADA F = F + F + F Según sea la longitud de onda que reflejen, transmitan o absorban así será el color con el que se percibe el objeto. Un objeto que absorba todas las frecuencias se captará como negro, mientras que un cuerpo que refleje todas las longitudes de onda visibles aparecerá blanco. En los objetos opacos la transmitancia es insignificante, siendo las frecuencias que refleja el cuerpo las que determinan con que color se percibe. En los transparentes, por el contrario, son la reflectancia y la absortancia las que valen prácticamente cero. En consecuencia, una especificación puramente objetiva del color de una superficie opaca puede expresarse en términos de reflectancia espectral. En el caso de materiales transparentes vendrán dadas por la transmitancia espectral. La radiación reflejada, la captada por el observador, depende de la naturaleza de la superficie en la que se refleja el haz luminoso, así como las condiciones de iluminación y posición del punto de vista. Sea da el área de una superficie plana: Página 6 de 77

7 Fig. 1-5 Sombra En la figura, un elemento de superficie cuya normal n forma un ángulo q respecto a un manantial puntual S. Asumiendo que la fuente luminosa S ilumina por igual en todas las direcciones. La relación entre el flujo incidente en la superficie respecto al área, define la iluminación como: Fig. 1-6 Ecuación Iluminación De otro lado, a la fracción del flujo incidente que sea reflejada en la dirección del observador, esto es, desde la superficie al sensor se la llama radiación reflejada o luminancia. La radiación reflejada de la superficie es definida como el flujo emitido por unidad de área reflejada y por unidad de ángulo sólido en la dirección vista por el sensor. Se define la radiación radiada, L, como: Fig. 1-7 Ecuación radiación Fig. 1-8 Reflejo 1.4 Visión Humana y Visión Artificial. La visión es el sentido más importante que tiene el ser humano. Así, mientras, para el oído se tiene alrededor de treinta mil terminaciones nerviosas, en la vista hay más de dos millones. La radiación exterior recibida por el ojo debe ser transformada en señales que sean procesadas por el cerebro. El ojo es el elemento transductor mientras que el cerebro es el que procesa dicha información. El ojo tiene una forma, aproximadamente, esférica de unos 2.5 cm de diámetro. Página 7 de 77

8 El ojo está formado por una óptica y una zona sensorial. La óptica está constituida por la córnea, el iris o pupila y el cristalino. La cornea es un material transparente y funciona como lente fija. La pupila regula la cantidad de luz que entra en el interior y el cristalino hace las veces de lente variable, permitiendo el enfoque dependiendo de la distancia de los objetos. Los músculos que sujetan al cristalino provocan su deformación, cuya consecuencia es el enfoque del campo visual. La misión de la óptica del ojo es conducir la radiación electromagnética, del espectro visible, hacia la retina. Fig. 1-9 Anatomía del ojo Fig Representación ojo mirando La retina se encuentra en la parte posterior del glóbulo ocular y es donde se ubican las células fotosensibles: los conos y los bastones. Fig Células fotosensibles En la retina se puede distinguir dos partes: la fóvea y la mácula. La fóvea es la parte central de la retina, de menor tamaño y donde se encuentran los conos. Es en esta zona donde se tiene mayor sensibilidad a la longitud de la onda electromagnética, con un ángulo visual de dos grados. La apertura corresponde, aproximadamente, con el ancho del pulgar extendido el brazo. La fóvea es tan pequeña que es necesario mover el ojo para enfocar dos puntos tan próximos como los del signo de puntuación (:). Esta información visual transmitida al cerebro se llama visión fóvea. La mácula es de mayor extensión, la agudeza visual es menor y está definida por los bastones. Esta zona se encarga de la visión periférica. Página 8 de 77

9 La percepción del color de una imagen la realizan los conos. Son unos seis millones y cada cono tiene conexión a varias neuronas. Basándose en la información aportada por los conos, el cerebro construye la sensación de color. Por el contrario, los bastones son más de 100 millones y son capaces de detectar la intensidad lumínica. Varios bastones están asociados a una única neurona. Fig Distribución de conos y bastones en el ojo Mientras la visión fóvea tiene mayor agudeza, más resolución y percibe los colores, la visión periférica le da al cerebro más información espacial que la fóvea y destaca los contrastes. De este hecho se destaca que en la oscuridad, la visión periférica es más adecuada que intentando centrar la visión sobre el objeto. Fig Visión diurna/nocturna Gráfico. Sensibilidad del ojo en luz diurna y en visión nocturna. La sensibilidad de la intensidad en el ser humano es alta siempre que los elementos que se comparen sean pocos. Cuando el número de intensidades involucradas simultáneamente es superior a unos 24 tonos se pierde la mayor parte de esta sensibilidad. Esto explica que, en la mayoría de los casos prácticos, sea suficiente el uso de 32 ó 64 niveles de intensidad para representar una imagen. El color es una característica del sistema de percepción humana y está relacionado con las sensaciones recibidas por el ojo en el espectro visible. El color es la respuesta del Página 9 de 77

10 sistema visual humano ante las variaciones de las longitudes de onda del espectro electromagnético visible. Estudios fisiológicos han revelado que existen tres tipos de conos, denominados tipos S, M y L. Los S son más sensibles a las ondas cortas (azules 450nm), los M a las medias (verde 540 nm) y los L a las de longitudes largas (rojo 650 nm). Este hecho ha dado base a la teoría del triestimulo, de manera que el color se puede representar en una base de tres componentes fundamentales: rojo-verde y azul (RGB Red, Green, Blue). La sensibilidad de cada cono no es exactamente igual a cada parte del espectro fijado. Concretamente, los conos azules son los menos sensibles, mientras que los conos verdes son los más sensibles. Otra consideración a tener en cuenta es la refracción de los rayos luminosos que penetran en la retina. No todos afectan por igual. La luz de alta frecuencia (azul) focaliza en un punto anterior a la retina, mientras que las bajas frecuencias (rojos) lo hacen en puntos posteriores. Esto tiene como consecuencia que los detalles rojos o azules no puedan distinguirse netamente en una escena. Justo lo contrario de lo que ocurre con los verdes, cuyo punto de convergencia o focalización se sitúa exactamente en la retina, lo que induce a una mayor resolución del ojo para estas tonalidades. Resumiendo, las principales ventajas de la visión humana respecto a la artificial y viceversa, son: Sistema humano: Mejor reconocimiento de objetos. Mejor adaptación a situaciones imprevistas. Utilización de conocimiento previo. Mejor en tareas de alto nivel de proceso. Sistema artificial. Mejor midiendo magnitudes físicas. Mejor para la realización de tareas rutinarias. Mejor en tareas de bajo nivel de proceso. 1.5 Historia En el año 1826 el químico francés Niepce ( ) llevó a cabo la primera fotografía, colocando una superficie fotosensible dentro de una cámara oscura para fijar la imagen. En 1838 el químico francés Daguerre ( ) hizo el primer proceso fotográfico práctico. Daguerre utilizó una placa fotográfica que era revelada con vapor de mercurio y fijada con trisulfato de sodio. Página 10 de 77

11 Primeras fotografías Fig Fig Fotografía aérea (mediados del s. XIX): cartografía : se utilizaba para el levantamiento de planos - Años 50: la fotografía en color (ya muy perfeccionada), los barredores multiespectrales y el radar, abrieron nuevas zonas del espectro electromagnético para su uso en prospección : en satélites para el estudio de recursos naturales, cartografía, variables meteorológicas, etc : guiado de robots, manipulación, control de calidad : Interpretación de imágenes obtenidas de otros planetas y galaxias : imágenes en teléfonos móviles, videoconferencias, sistemas de vigilancia, de control de acceso Definición actual de visión artificial -La Visión Artificial, es el proceso de obtención, caracterización e Interpretación de la información a partir de imágenes. Se estima que aproximadamente las ¾ partes de la información que maneja el ser humano es visual, parece lógico pensar que el objetivo de rotar a las máquinas del sentido de la vista supondrá un salto cualitativo en sus capacidades de actuación. -La visión artificial tiene como finalidad la reproducción del sentido de la vista. Se trata de un objetivo ambicioso y complejo que se encuentra actualmente en una etapa todavía primitiva. Es la adquisición de imágenes y su análisis e interpretación posterior con el fin de obtener la información necesaria para controlar una máquina o un proceso industrial. La extracción de la información de un objeto o una escena en una o más imágenes se realiza de forma automática y sin establecer contacto físico con el objeto. Página 11 de 77

12 -La visión es un proceso de tratamiento de información que Permite obtener una descripción simbólica del mundo real a partir de Imágenes. Parece fácil pero es ciertamente difícil. Una definición más acorde con su estado de desarrollo actual sería: -Verificar un proceso o una actividad específica. Es una tecnología que integra aplicaciones informáticas, ópticas y electrónicas. Permite mejorar la producción, ajustar los costes e incrementar la seguridad general. La visión artificial (denominada también visión por ordenador o por computador o machine visión) es una técnica de captación óptica, limpia, segura y muy versátil. El análisis de las imágenes obtenidas permite detectar en un objeto características físicas invisibles al ojo humano o establecer o comprobar alguna propiedad o medida predeterminada. Para la industria, la visión artificial incrementa la calidad y la seguridad de los procesos de fabricación. Esta técnica tiene muchas aplicaciones. Se utiliza especialmente en el control de calidad, la manipulación de materiales, la ordenación por calidades (grading), el test y la calibración de aparatos y la monitorización de procesos. - Colimetría La colorimetría tiene por objeto analizar los colores y atribuirles características lo suficientemente precisas para su identificación reconstrucción sin ambigüedades. y posible Representación del color. Entre los sistemas para representar el color, se pueden citar: Sistema HSV o HSI: el color se describe con ayuda de tres magnitudes: longitud de onda predominante, factor de pureza y luminancia (hue, saturation and value or intensity). Luminancia (L): Es la medida fotométrica de la intensidad de la radiación luminosa. Está asociado con el brillo (brightness), intensidad (intensity) o nivel de gris (value) del color: Fig Longitud de onda dominante (λd): Es la longitud de onda de la radiación monocromática o color puro más parecida al color considerado (nm). Está asociado con el tono (hue) del color. Página 12 de 77

13 Factor de pureza (p): Coeficiente numérico sin unidades y entre 0 y 1 (1 = color puro), que expresa el grado de disolución del color puro (λd) en blanco. Está asociado con el concepto de saturación (saturation) del color. Sistema RGB: el color se describe a partir de sus porcentajes de Red-Green-Blue. Fig Fig Si lo que interesa es la información relativa al color y no a la cantidad de luz (luminancia) se puede trabajar en el espacio r,g,b normalizado (más invariante ante cambios de iluminación1): Fig EL SISTEMA RGB Y EL HSI (Hue, saturation, Intensity) El sistema RGB dispone usualmente de 8 bits por color (24 bits) pero existe redundancia de información ya que existe correlación entre los 3 planos. En formato HSI (hue-saturation-intensity o tono-saturación intensidad) Página 13 de 77

14 no existe correlación entre los 3 planos; cada uno de ellos da información diferente sobre los detalles de la imagen. Existen unas ecuaciones (no lineales) de transformación de RGB a HSI y viceversa. Una pequeña perturbación en RGB puede producir importantes cambios en HSI. 1.7 Pasos de un sistema de visión artificial Un sistema de visión artificial consta de forma general de un conjunto de subsistemas capaces de realizar las funciones de: * Adquisición de imágenes. *Análisis de imágenes. Fig Adquisición de imágenes: Conjunto de operaciones que se efectúan para transformar la información luminosa de una escena en una señal digital. Este proceso permite almacenar una escena (imagen) en memoria o disco de forma digitalizada. Las operaciones necesarias en la adquisición de imágenes son: - Iluminación - Adquisición de la imagen a través de un sensor (transforma información luminosa en eléctrica analógica) y su óptica asociada (lente). - Digitalización: conversión analógico-digital a través de un ADC (la señal eléctrica analógica se transforma en digital). Análisis de la imagen: Página 14 de 77

15 El análisis o procesado de una imagen engloba a todas aquellas técnicas que permiten extraer una información explícita (posición, tamaño...) de los objetos que componen la imagen o escena. Estas técnicas se pueden englobar en cuatro bloques: - Pre-procesado: Conjunto de técnicas encaminadas a realizar una mejora de la imagen digitalizada. Consiste en modificar las características de la imagen digitalizada: * Nivel de gris * Contraste * Eliminación de ruido * Realce de características * Transformaciones geométricas - Segmentación: Proceso que divide una escena en partes constituyentes u objetos. Los objetos se extraen de la imagen para su posterior reconocimiento y análisis. Muchas de las técnicas de segmentación se basan en el análisis de: * Discontinuidad * Similitud -Descripción: consiste en extraer una serie de características (descriptores) de un objeto para reconocerlo. Los descriptores, a ser posible, deben ser independientes de la localización, orientación y cambios de escala de los objetos de una escena. Deben contener suficiente información para distinguir un objeto de otro. - Reconocimiento: Consiste en un proceso de etiquetado e identificación. Identificar cada objeto de una escena y asignarle una etiqueta. Identificar cada objeto segmentado en función de un conocimiento previo (inteligencia artificial). Fig Página 15 de 77

16 2 Sistemas de visión artificial en robótica. Los sistemas de visión artificial están en continuo desarrollo y evolución tecnológica, ya que proporcionan un valor añadido en los diferentes procesos productivos desarrollados mediante sistemas robotizados. Por ello, son muchas las empresas dedicadas a su fabricación debido al creciente número de consumidores que los utilizan integrándolos en células robotizadas con gran éxito. Estos sistemas nos permiten atender a las demandas más exigentes de calidad al permitir la inspección y el control del 100% del producto. Del mismo modo, resulta la opción idónea para el control de todo tipo de procesos y para el guiado de manipuladores y robots. Teniendo como principal ventaja que son sistemas que se amortizan rápidamente y tienen unos costes de funcionamiento muy reducidos. También se integran en sistemas avanzados de interacción hombre-máquina mediante visión por computador como son el seguimiento de manos, gestos, caras Con esto, podemos realizar una primera clasificación de las posibles aplicaciones de los sistemas de visión artificial: Medición: Permitiéndonos realizar un control dimensional mediante la obtención de las magnitudes físicas de un objeto, para verificar que se corresponden con el patrón exigido. Como pueden ser medir las dimensiones de una pieza, sus diámetros, la plenitud de sus diferentes superficies, niveles... Guiado: Localización de la posición de un objeto detectando las coordenadas del mismo en el espacio para recogerlo y desplazarlo al lugar deseado. Sirviéndonos como guía a los robots para localizar o ensamblar piezas, guía el recorrido de un rollo de papel, tela, cartón... Identificación o clasificación: Asignar a un objeto la clase a la que pertenece mediante la extracción y procesado de sus características visuales (forma, color, etiquetaje, dimensiones, textura..). Permitiéndonos identificar piezas o productos por su perfil, realizar tareas de reconocimiento óptico (OCR) extrayendo de una imagen los caracteres que componen un texto para almacenarlos en un formato con el cual puedan interactuar programas de edición de texto Inspección: Detecta la presencia-ausencia de piezas en ensamblaje, realiza la orientación de piezas, las inspecciones de defectos superficiales, la comprobación de la fecha en un lote de productos o su caducidad, los defectos en la superficie en productos producidos de forma continua... Control de calidad: Verificar el cumplimiento de los requisitos y especificaciones técnicas de un objeto a partir de un patrón dado. Siendo de gran importancia en los procesos productivos, ya que realiza inspecciones del 100%, evitando posibles escapes de la inspección ocular, lo cual garantiza la calidad y la homogeneidad de las piezas inspeccionadas. 2.1 Técnicas de procesado de imágenes en Visión Artificial Página 16 de 77

17 Una imagen es una representación visual de un objeto iluminado por una fuente radiante. Las que se perciben en las actividades visuales cotidianas provienen normalmente de la luz reflejada por los objetos. La naturaleza básica de una imagen está caracterizada por dos componentes: la cantidad de luz incidente que procede de la fuente de la escena contemplada, y la cantidad de luz reflejada por los objetos de la escena. Dichas componentes reciben el nombre de iluminación y reluctancia. En el proceso de formación de la imagen intervienen los siguientes elementos: el objeto, la fuente radiante y el sistema de formación de la imagen que consiste, básicamente, en un sistema óptico, un sensor y un digitalizador. Tenemos que tener en cuenta las dos principales causas que producen pérdida de información cuando se captura una imagen son la naturaleza discreta de los pixels de la imagen y el rango limitado de valores de intensidad luminosa que es capaz de ofrecer el sistema de digitalización. Efecto de muestreo: pudiendo crear una reducción de la resolución espacial de la imagen. Efecto de cuantificación: viene dado por la imposibilidad de tener un rango infinito de valores de medida para la intensidad de brillo de los pixels. Otro aspecto a tener en cuenta es la conectividad entre pixels, que establece las fronteras de objetos y las regiones componentes de una imagen. 2.2 Etapas en el proceso de Visión Artificial La visión artificial lleva asociada una enorme cantidad de conceptos relacionados con hardware, software y también con desarrollos teóricos. El primer paso en el proceso es adquirir la imagen digital. Para ello se necesitan sensores y la capacidad para digitalizar la señal producida por el sensor. Una vez que la imagen digitalizada ha sido obtenida, el siguiente paso consiste en el pre procesamiento de dicha imagen. Cuyo objetivo es mejorar la imagen de forma que el objetivo final tenga mayores posibilidades de éxito. El paso siguiente es la segmentación, siendo su objetivo es dividir la imagen en las partes que la constituyen o los objetos que la forman. Posteriormente, es necesario convertir estos datos a una forma que sea apropiada para el ordenador. La primera decisión es saber si se va a usar la representación por frontera o región completa. La representación por la frontera es apropiada cuando el objetivo se centra en las características de la forma externa como esquinas o concavidades y convexidades. La representación por regiones es apropiada cuando la atención se centra en propiedades internas como la textura o el esqueleto. Sin embargo, en muchas aplicaciones ambas representaciones coexisten. Finalmente, se el reconocimiento y la interpretación. El reconocimiento es el proceso que asigna una etiqueta a un objeto basada en la información que proporcionan los descriptores (clasificación). Mientras que la interpretación lleva a asignar significado al conjunto de objetos reconocidos. Estos pasos se recogen en el siguiente esquema: Página 17 de 77

18 Diagrama de bloques de las etapas de un sistema de V.A. Fig Adquisición de imágenes En este primer paso, se trata de conseguir que la imagen sea lo más adecuada posible para que se pueda continuar con las siguientes etapas. Una correcta adquisición de la imagen supone un paso muy importante para que el proceso de reconocimiento tenga éxito. Dentro de esta etapa existen múltiples factores que atañen directamente al proceso de captura de la imagen, pudiendo resumirlos en dos grupos: El sistema hardware de visión artificial: cámara, óptica, tarjeta de adquisición de imagen, ordenador y software. el entorno y posicionamiento de los elementos: la iluminación, el fondo, posición correcta de la cámara, ruido eléctrico-óptico externo, etc. Un aspecto muy importante en este punto es obtener un perfecto calibrado de la posición de la cámara, para obtener una correcta imagen sin deformaciones. Es beneficioso utilizar un plantilla en la que se conozcan sus dimensiones mediante puntos de referencia. Además, será necesario realizar un programa de calibrado que determine de la imagen en tiempo real, los centros de gravedad de los puntos, la dimensión de cada punto, las Página 18 de 77

19 distancias de separación, la redondez de cada punto, el lado horizontal y vertical del cuadro, etc. 2.4 Pre procesado Toda imagen que se adquiere por medios ópticos, electroópticos o electrónicos sufre en cierta medida los efectos de la degradación que se manifiestan en forma de ruido, pérdida de definición y de fidelidad de la imagen. La degradación viene provocada por el ruido de los sensores de captura, imprecisiones en el enfoque de la cámara, movimiento de la misma o perturbaciones aleatorias, entre las que tiene relevancia el efecto de la propagación de la radiación en el medio de transmisión. Los mecanismos que tratan de contrarrestar estos efectos se incluyen dentro de la etapa de pre procesado, recibiendo el nombre de operaciones de restauración. Generalmente el pre procesado pretende reparar en la imagen los desperfectos producidos o no eliminados por el hardware: deformación de ésta, ruido introducido, poco o mucho contraste o brillo, falta de ecualización apropiada, etc. Los algoritmos de pre procesado permiten modificar la imagen para eliminar ruido, transformarla geométricamente, mejorar la intensidad o el contraste, etc. Por supuesto, como estos algoritmos necesitan gran cantidad de tiempo de procesado, es lógico que la mejor opción sería utilizar hardware adecuado que los evite. En un proceso de visión artificial estos algoritmos tienen que ser utilizados lo menos posible, un uso excesivo de ellos repercutirá en el tiempo de proceso total e indicará que la calibración, iluminación y selección de los elementos de la etapa de adquisición no ha sido la adecuada. Una parte importante en el pre procesado es la realización de un filtrado que nos ayude a eliminar el ruido existente. La mayoría de las implementaciones de filtros se realizan en dos dominios: Domino espacial: hacen referencia a la manipulación directa de la luminancia de los pixels. Dominio frecuencial: modifican indirectamente la luminancia de cada pixel utilizando como factores de ponderación los valores de los otros pixels de la imagen o del entorno del punto y las relaciones numéricas entre ellos. Estos filtros utilizan la Transformada Discreta de Fourier (DFT) y la transformada Discreta de Fourier Inversa (IDFT) para determinar las frecuencias que en las que se encuentra el ruido y utilizan filtros tipo FIR (con respuesta finita) e IIR (respuesta infinita). 2.5 Segmentación Segmentar una imagen digital consiste en diferenciar los diferentes objetos que componen la señal y determinar su posición con respecto al fondo de la imagen. El objetivo de esta es etapa es conocer perfectamente los objetos que hay para extraer las características propias de cada uno de ellos. Además, cada pixel de la imagen tiene que tener una etiqueta que los defina, de forma que simplemente por agrupación de Página 19 de 77

20 puntos con la misma etiqueta y conectados espacialmente, se pueda determinar la lista de objetos. 2.6 Análisis Una vez realizado el proceso de segmentación, donde se obtienen los bordes de los objetos bien definidos, el siguiente paso consiste en obtener parámetros que definan las características de cada objeto: forma, textura, color, orientación, etc. De entre todos los parámetros o descriptores que se puedan obtener, habrá que seleccionar aquellos que tengan las siguientes características: Ser discriminantes. Es decir, que diferencien lo mejor posible los objetos de una familia o clase con los de las otras. Ser independientes entre sí. Los descriptores que definan cada objeto no tienen que estar relacionados, de forma que si varía uno los demás no varíen por culpa de éste. Ser suficientes. Tienen que delimitar de forma suficiente la pertenencia de un objeto a una clase determinada. Además dentro de los descriptores podemos distinguir entre tres categorías básicas: Descriptores de frontera: pudiendo distinguir claramente el contorno de cada uno de los objetes. Descriptores de región: pudiendo representar a cada uno de los objetos presentes en la imagen mediante la región que ocupa en la misma. Descriptores adecuados para representar estructuras tridimensionales, que trataremos brevemente en el siguiente apartado. 2.7 Reconstrucción tridimensional en visión artificial Uno de los problemas clásicos del área de visión artificial es la reconstrucción tridimensional métrica a partir de imágenes adquiridas por una cámara sin calibración previa. Este problema involucra, específicamente, los siguientes pasos: la triangulación (cálculo de los puntos tridimensionales), la calibración de la cámara y la estimación de los parámetros de orientación y posición de la cámara. En primer lugar, hablaremos de la triangulación que tiene por objetivo encontrar la posición de un punto en el espacio a partir de la intersección de dos líneas que parten de la correspondencia de puntos en dos imágenes. Un problema en este punto consiste en la probable presencia de ruido en los datos medidos, que provocaría que la intersección no ocurra. En tal caso es necesario encontrar la mejor aproximación, que nos permita obtener un resultado lo más fiel posible a la imagen que se pretende reconstruir, y evite que el error se propague en el resto de los pasos. Una solución bastante empleada es resolver el problema mediante un algoritmo evolutivo, que lo trata como un problema de optimización multi-objetivo. Esta transformación suele ofrecer unos resultados bastante óptimos en comparación con otros métodos. Los procesos de calibración de la cámara y la estimación de los parámetros de orientación y posición de la cámara consisten en encontrar estos parámetros de las cámaras a partir de un conjunto de correspondencias de puntos extraídas de dos o más imágenes. Sin embargo, existen superficies y configuraciones de la cámara conocidas Página 20 de 77

21 como críticas donde se ha demostrado que es imposible extraer los parámetros de la cámara al usar, solamente, correspondencias de puntos. Una solución es aplicar un algoritmo evolutivo como el de evolución diferencial, basado en el modelo de la cámara oscura, que nos permite encontrar los parámetros de la cámara y obtener la reconstrucción tridimensional, aún en la configuración crítica de translación pura y en superficies críticas (puntos que yacen sobre un mismo plano). Otro problema importante dentro del área de la visión artificial, consiste en obtener la elipse que mejor se ajuste a un conjunto de puntos dado. Los algoritmos que resuelven este problema sólo minimizan el cuadrado de la distancia euclidiana entre la cónica y los puntos mediante métodos de gradiente, aunque no siempre convergen a la solución óptima. Para solucionar los casos en los que obtenemos soluciones que nos conduzcan a errores en la reconstrucción de las imágenes, se pueden aplicar algoritmos basados en evolución diferencial y algoritmos genéticos. Ya que tienen la flexibilidad de minimizar la distancia euclidiana o su aproximación cuadrática. Un aspecto a tener en cuenta es que el al emplear la distancia euclidiana e les da mayor peso a los puntos más cercanos, a diferencia de su cuadrado, en el cual se da mayor peso a los puntos más lejanos como se observa en los resultados. 2.8 Tipos de medición en Visión Artificial Como ya hemos comentado anteriormente, son muchas las empresas dedicadas al desarrollo y fabricación de sistemas de visión artificial. A continuación, realizaremos un breve repaso de las opciones que nos ofrece una empresa puntera en el mercado como es ISRA VISION. Donde podemos elegir entre distintos dispositivos en función de las necesidades que se impongan en la aplicación donde se van a utilizar: Visión Robótica 2D Los sistemas de visión artificial 2D en robots son sistemas estándar para la identificación y / o reconocimiento de posición sin contacto directo por el sistema. Proporciona información fiable sobre la posición, el ángulo, y la variación de cualquier parte. La principal ventaja es una velocidad de reconocimiento muy alta a nivel subpíxel de extracción de contorno preciso. Características técnicas: Resistente, robusto y económico Máxima precisión en el reconocimiento de todo el camino desde el centro hasta el borde de la imagen El reconocimiento de partes de tocar o que se superponen unos a otros Reconocimiento de objetos de diferentes tamaños y la rotación Reconocimiento y diferenciación de la parte brillante en un fondo oscuro y parte oscura en zonas con más luz Fácil de usar Página 21 de 77

22 Fig. 1: Visión 2D Visión 3D con una cámara En el pasado, los procesos y equipos disponibles para la medición 3D eran demasiado complejos, demasiado costosos y por lo tanto no eran económicamente viables para muchas aplicaciones. Hasta ahora, eran necesarios al menos dos cámaras (y generalmente más), incluyendo los equipos periféricos necesarios, para definir las posiciones de los objetos en una habitación. Esta es la razón por la que sólo fueron utilizados en tareas muy sofisticadas que justifiquen los gastos. El nuevo proceso de orientación 3D robot funciona con una sola cámara, lo que abre nuevas perspectivas para los usos coste-eficacia de procesamiento de imagen en todas las industrias importantes. Ahora es posible, con una sola imagen capturada, definir con precisión un objeto de tres dimensiones sobre la base de la medición de tres criterios con seis grados de libertad (posición y orientación). Características técnicas: Un ahorro considerable en el equipamiento de equipos y bajos costos de operación Alta flexibilidad Estacionario Integración en prácticamente todos los procesos de producción y control de simple Requiere poco espacio y facilidad de integración en espacios reducidos Ciclos de corta duración debido a un procesamiento rápido de la imagen Calibración y programación simple Fig. 2: Visión 3D con una cámara Reconocimiento de formas 3D Página 22 de 77

23 Muchos procesos de producción modernos de fabricación son altamente complejos. Requiriendo un alto nivel de precisión y exactitud en las medidas realizadas, mayor flexibilidad y coste-eficacia de automatización. Características técnicas: Alta precisión de la medición, incluso en la producción en línea Simplicidad, ahorro de tiempo de instalación Combinación de iluminación: con sistema multi-led y la superficie de iluminación Fig. 3: Sistema multi-led Fácil integración en redes de sensores Precisión en la medición de hasta 0,01 mm Diseño compacto Continua medición 3D de objetos en movimiento Fig. 4: Reconocimiento formas 3D Reconocimiento mediante Fotogrametría 3D Este sistema combina la información de varios sistemas de cámaras para determinar la posición de los objetos de gran tamaño en un espacio dado con una alta precisión y velocidad. Su función incluye el reconocimiento de los organismos como por ejemplo de coches enteros. Identificando las variaciones de una posición determinada en seis grados de libertad. Página 23 de 77

24 Fig. 5: Reconocimiento de objeto Características técnicas: Rápido, sin interrupciones en la producción de medición 3D Conjunto de cámaras flexibles Auto-determinación de parámetros de adaptación Totalmente automática de la calibración Fácil integración e instalación Medición de alta precisión Fig. 6: Sistema de reconocimiento 3D con fotogrametría Sensor óptico 3D estéreo El sensor óptico 3D estéreo puede determinar las posiciones y los objetos midiendo en seis grados de libertad mediante el uso de bordes, huecos, curvas o partes de un objeto que puede ser descrito mediante sus elementos característicos (los bordes, las líneas o contornos). El sensor se puede montar fijo, así como en un brazo de robot o sistemas de manejo. Para lograr una precisión aún mayor, pueden ser utilizados múltiples sensores. Características técnicas: Medición 3D dada una geometría base Configuración flexible De calibración automática Medición sin puntos de referencia Página 24 de 77

25 Fig. 7: Sensor óptico 3D estéreo Servo Visual 3D Utilizado para describir la sincronización en el transporte del robot utilizando el sistema de visión 3D. Esto permite un procesamiento de los procesos de montaje que tendrá lugar durante la alimentación de componentes, como por ejemplo para el conjunto de la rueda, o el llenado del tanque de gas en un vehículo en movimiento. En el seguimiento de la costura, el robot se mueve exactamente en función de la geometría de los componentes, por ejemplo para el sellado de las juntas precisa que no se ejecutan en una línea recta. Fig. 8: Servo visual 3D Página 25 de 77

26 3 Software de Visión artificial 3.1 Introducción La historia de la visión artificial ha estado ligada siempre al desarrollo de la informática; este desarrollo se ha ido acentuando en los últimos años y con ello ha aparecido una notable mejora de la visión artificial. En esta caso nos referimos a que el software que se utiliza ha ido mejorando y permitiéndonos una gran cantidad de nuevas posibilidades; aparte y en paralelo se ha desarrollado el hardware, pero atándose más a una mejora en las nuevas tecnologías. La captura y el tratamiento de imágenes se dividen en una serie de pasos, de los cuales, la gran mayoría, se ha de llevar a cabo con un software específico, a pesar de los indicados a continuación, se pueden realizar distintas subdivisiones de los distintos pasos: -El programa conecta el hardware (webcam) a un control. -Del hardware capturas un frame. -Pasas el frame a un mapa de bits (matriz). Se trata ahora la imagen binaria con librerías especializadas. Se devuelven los datos necesarios obtenidos de la imagen, o por otra parte, podemos obtener la imagen tratada. A partir de la captura de la imagen, todas las acciones a realizar requieren de un software, esto explica la gran importancia de la evolución de la informática dentro de la visión artificial. Los programas de visión artificial tratan las imágenes de una manera similar, las transforman en una matriz, dividiéndolas en pixeles, y les dan un valor; Este valor varía dependiendo del programa, ya que puede tratarse de un único número, que nos indicaría el tono del color del pixel, o puede trabajar con un vector, en este caso hemos de entender el modelo de colores RGB (red-green-blue), que representa un color con una matriz de 1x3 donde cuantifica la cantidad de rojo-verde-azul con los que se compone el color. Como ejemplos podemos ver: negro (0,0,0) blanco(255,255,255) rojo(255,0,0) verde(0,255,0) azul (0,0,255) amarillo(255,255,0) Página 26 de 77

27 Esta imagen se ha tratado y pasado a tonos de grises, luego en su matriz tendremos píxeles de distintos tono de gris, la cifra de cada elemento solo muestra el tono del color gris, y no de la mezcla RGB. (Imagen extraída de: Fig Clasificación Para trabajar con un software de visión artificial se suele utilizar unos paquetes o librerías de funciones que nos permitan trabajar con las imágenes y sus distintos formatos. Podemos hacer una pequeña división dentro de todo el software de visión, separándolo en tres grupos: por un lado tenemos aquellos paquetes que añadimos a algún programa para posibilitar el trabajo con imágenes; tenemos una serie de librerías que nos ofertan un gran número de funciones y que necesitan algún soporte software sobre el que trabajar ( Compiladores C++,.NET ) y por último distinguimos todo el software, que trabaja a modo de librería, pero que es específico de un determinado hardware. 3.3 Paquetes de programas MatLab MatLab [ MATrix LABoratory ] es un programa que nos permite realizar cálculos numéricos con vectores y matrices, en determinados casos nos permite el uso de escalares y destaca por la representación de gráficos en dos y tres dimensiones ( df ). Precisamente, por permitirnos trabajar con matrices, MatLab es de gran utilidad para el tratamiento de imágenes, convirtiendo nuestra imagen en una matriz de pixeles y Página 27 de 77

28 aportando un valor numérico correspondiente al color y tono de cada bit, aunque para ello debemos añadir paquetes especializados. Prácticamente todos hemos trabajado con MatLab, luego conocemos aquellas funciones que nos permiten trabajar con matrices, pero el programa nos ofrece unas específicas para el tratamiento de imágenes, por poner algunos ejemplos ( [x, map]= gifread ( directorio de la imagen ); La función de este comando es devolvernos la imagen que le pasamos por parámetro indexada, y además un array con su mapa de colores (map). Imshow ( x, map) En este caso, la función del comando es la de mostrarnos esa imagen que anteriormente tratábamos en gifread. i=ind2gray( x, map); Visualizamos la imagen en escala de grises que se guarda en i. Los valores de luminancia resultantes van desde 0 (negro) a 1 (Blanco) y cada pixel es cuantificado con 8 bits (256 niveles de gris). Estos son los comandos más básicos de MatLab para comenzar con el tratamiento de la imagen, para ver mayor número de funciones mirar el enlace indicado LabView Otra herramienta que nos permite trabajar con imágenes en tiempo real es LabView ( aunque en este caso, nos ofrece herramientas para una visión artificial de mayor nivel, para ello el programa se sirve del módulo LabView NI Visión Development es para desarrollar aplicaciones de visión artificial y de imágenes científicas de LabView. Incluye IMAQ Visión, una biblioteca de poderosas funciones para procesamiento de visión y el Visión Assistant un entorno interactivo para desarrolladores que necesitan generar rápidamente prototipos para aplicaciones o que necesitan inspección fuera de línea. Por lo tanto, las dos principales prestaciones de este módulo son: Procesamiento de imágenes en escala de grises, a color y binarias. Visión artificial de alto nivel, funciones para procesar imágenes y herramientas para visualizar. Los dos ejemplos anteriores se basaban en paquetes que se añaden a programas para un mejor uso de este en visión artificial, pero podemos tratar las imágenes con librerías exclusivas para este propósito que simplemente necesitan de un entorno de desarrollo con un lenguaje específico y similar al de las funciones de las librerías. 3.4 Librerías de funciones OpenCV Página 28 de 77

29 La librería OpenCV creada por Intel (7), las siglas de la librería representan: Open Source Computer Visión Library. Esta librería se centra en el tratamiento de imágenes en tiempo real, luego es de gran utilidad para las aplicaciones en robots móviles, está escrita en su mayoría en C, esto la hace portátil a otras plataformas; y es un sistema multiplataforma (Windows, Linux ). Como el propósito de este estudio es la aplicación de la visión artificial a un robot móvil podemos ahondar más en esta librería, que nos ofrece funciones para, como ya se ha dicho antes, trabajar con imágenes en tiempo real, y además aporta también tipos de datos necesarios para implementar las funciones nombradas antes; algunas de las posibilidades que se nos presenta con esto es por ejemplo: reconocimiento de objetos, reconocimiento de rostro, seguimiento de movimiento Todo ello aplicable a proyectos de robótica móvil. Para comenzar a trabajar con OpenCV existen varias posibilidades, pero casi todas ellas pasan por compiladores de C tales como Visual C++, Devcpp Y a través de internet podemos acceder a todas las funciones que nos ofrece la librería (wikipedia) y como usarlas ( /////// Como con matlab ponemos algunos ejemplos básicos de las funciones que ofrece OpenCV: void cvnamedwindow (char name, int type); Crea una ventana gráfica dándole nombre y tamaño por parámetro. void cvshowimage (char name, CvArr* img); Dibuja una imagen pasado por parámetro (img) en aquella ventana que nosotros le indicamos. void cvmget (const CvMat* mat, int row, int col); Nos indica el valor de uno de los elementos de la matriz con la que estamos trabajando, es decir, indica el color del pixel situado en esa posición de la matriz. (Imágenes extraídas de: como ejemplo de lo que podemos realizar con OpenCV) MIL Otro ejemplo de librería es MIL (9), Matrox imaging library; librería de alto nivel con un gran número de funciones y algoritmos de captura, display, gráficos, procesamiento Página 29 de 77