1. INTRODUCCIÓN Y OBJETIVOS

Transcripción

1 1. INTRODUCCIÓN Y OBJETIVOS En este primer capítulo se presenta una visión general del presente Proyecto Fin de Carrera, así como una breve descripción de los objetivos perseguidos y las fases de realización del mismo. En primer lugar se sitúa al lector en el contexto de la tecnología usada, y el impacto que ésta tiene en la actualidad. Seguidamente se presentan los objetivos del proyecto, su alcance y finalmente la estructura que presentará este Proyecto Fin de Carrera. Para finalizar, se detallan los conocimientos adquiridos en la carrera de Ingeniería Superior de Telecomunicaciones que han sido utilizados en este proyecto. 1.1 Motivación La inteligencia artificial es una rama de estudio de vital importancia en la actualidad. Los continuos avances tecnológicos han permitido que el hombre se desenvuelva de una manera más eficaz, produciendo así una evolución en sus herramientas e instrumentos utilizados tanto en la producción industrial como en el consumo individual. Estos sistemas, que han pasado de ser meros instrumentos a convertirse en verdaderas máquinas inteligentes, necesitan ser conscientes de su entorno, con el fin de poder actuar de manera independiente y tomar las mejores decisiones en todo momento. Este hecho ha llevado a un rápido desarrollo en la investigación de sensores de todo tipo, y en particular los de imagen y vídeo. Uno de los principales campos de investigación en la actualidad, conocido como "Visión por computador" o "Visión artificial" tiene como objetivo el análisis, procesado e interpretación en tiempo real de imágenes o vídeos. Sus aplicaciones en la robótica, medicina, seguridad, industria, control automático, etc. lo convierten en un pilar de las nuevas tecnologías. Figura 1.1. Una cadena de procesamiento típica [161]. Las ventas de visión artificial siguen creciendo en la actualidad, con la construcción e integración de sistemas de información, donde se ha mostrado un gran interés en soluciones de visión. Un factor importante en el crecimiento de los productos de visión artificial ha sido mejorar la potencia de los microprocesadores, hecho que no sólo ha beneficiado a las áreas de aplicaciones existentes, sino que ha abierto nuevas puertas a aplicaciones diferentes, con algoritmos cada vez más complejos y sistemas con capacidades mejoradas. Aún así, muchos de los sistemas de visión artificial que se presentan hoy, vienen incorporados en FPGAs, que PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 8

2 1.2 Marco actual permiten incluir capacidades de procesamiento de imagen en paralelo, mejorando la velocidad de procesamiento y abriendo las puertas a nuevos y potentes métodos de análisis. Con todo ello, las diversas tecnologías de sensores, FPGAs, DSPs, microprocesadores, la robótica y el software se combinan para revolucionar los sistemas de visión artificial y hacerlos más asequibles. 1.2 Marco actual Dispositivos de lógica programable Actualmente, los circuitos integrados dominan el mundo de los productos industriales. Entre ellos, los circuitos tipo FPGA (Field Programmable Gate Array), se han convertido en una herramienta fundamental para el diseño eficiente y robusto de proyectos que requieren de un procesamiento digital y de lógica programable. Desde su invención en 1984, han evolucionado desde sencillos chips de lógica para convertirse en sistemas completos, capaces de reemplazar a los circuitos integrados de aplicación específica (ASICs) y a los DSP. Sus características únicas, lo impulsan a estar entre las principales herramientas de diseño e implementación de hardware digital. Entre ellas podríamos destacar: Rendimiento. Debido a su alto grado de paralelismo en hardware, las FPGAs superan en potencia de cómputo a los procesadores digitales de señal (DSPs) sustituyendo la estructura habitual de estos procesadores de ejecución secuencial y reemplazándolo por modelos de procesado en paralelo. De esta forma, se logra más en cada ciclo de reloj. En [61] se realiza una comparación, en la cual un sistema de filtrado de vídeo en tiempo real basado en una FPGA a 200Mhz tiene su equivalente en un procesador secuencial funcionando a más de 10Ghz, para conseguir las mismas características. Especialización. La posibilidad de controlar a nivel de hardware tanto las entradas y salidas (E/S), como la lógica que trabaja con esas señales ofrece tiempos de respuesta más rápidos y sobre todo proporciona la funcionalidad especializada que requieren muchas aplicaciones específicas. Tiempo en llegar al mercado. La tecnología FPGA ofrece una ventaja esencial en cuanto a la flexibilidad de desarrollo, ya que se pueden implementar prototipos de forma directa, verificando el diseño en hardware in situ, sin necesidad de pasar por el largo proceso de fabricación que requiere un diseño personalizado ASIC. Precio. Realizar la fuerte inversión inicial que requiere la implementación y fabricación de los ASICs es rentable sólo para aquellos fabricantes que desean fabricar y vender miles de chips por año. Sin embargo, para el mercado en el cual se necesitan funcionalidades hardware personalizadas para decenas o cientos de sistemas, los ASICs se convierten en una opción inviable. Las FPGAs logran abarcar este último mercado, ofreciendo un gran ahorro en el precio final de implementación del hardware. Fiabilidad. Los sistemas basados en procesadores frecuentemente hacen frente a varios niveles de abstracción para compartir sus recursos entre múltiples procesos y ayudar a programar las tareas de acceso a medios compartidos. Un procesador sólo puede ejecutar una instrucción a la vez, por lo cual estará siempre en riesgo de que sus tareas se obstruyan entre sí. Por el contrario, el diseño de un sistema en una FPGA es una implementación segura. Las FPGAs no necesitan sistemas operativos, y tienen menos problemas de fiabilidad, haciendo uso de la ejecución paralela y un hardware preciso dedicado a cada tarea. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 9

3 Capítulo 1. Introducción y objetivos Mantenimiento a largo plazo. Los sistemas basados en FPGAs pueden ser actualizados y modificados, incluso una vez se haya terminado el sistema completo y esté en funcionamiento. Esto resulta imposible para los sistemas ASIC, en los cuales cualquier tipo de modificación implicaría un rediseño y fabricación de nuevos chips. Hoy en día las FPGAs están consolidadas a nivel mundial. Casi 2/3 de los diseñadores usan lógica programable de alguna clase. Los promedios varían por la industria; por ejemplo, en industrias aerospaciales están utilizando fuertemente esta tecnología, con 64% de penetración. Sucede lo mismo en la industria de video con un 62%, y en la industria militar con un 59% [1]. Las FPGAs están presentes en campos tan diversos como la automoción, la electrónica de consumo, o la investigación espacial, teniendo repercusión directa en todas las industrias que requieren computación a alta velocidad. En la Figura 1.2 se pueden apreciar la versatilidad y flexibilidad de estos dispositivos [2]. Figura 1.2. Distribución de las aplicaciones de las FPGAs en 2008 [2]. Con el paso de los años, los dispositivos lógicos programables y los de aplicación específica han sufrido grandes avances, sobre todo en el incremento de sus capacidades. Esto ha hecho posible el desarrollo de sistemas cada vez más complejos. Hoy en día resulta una práctica común implementar sistemas complejos compuestos por multitud de elementos en un único circuito integrado. Estos sistemas son los llamados System On a Chip (SoC), y realizan en un único circuito integrado sistemas que antes se implementaban en varios chips. En los últimos años los dispositivos lógicos programables (FPGAs) se han convertido en una alternativa real a los ASICs, debido tanto al aumento de capacidad y funcionalidades, como a la reducción de su precio, y son un buen ejemplo de sistemas SoC. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 10

4 1.2 Marco actual Figura 1.3. A la izquierda, una FPGA de la familia Virtex-5. A la derecha, las partes principales que componen una FPGA [162] FPGA como sistemas de visión Las ventajas de las aplicaciones de las FPGAs como sistemas de visión van mucho más allá de la simple implementación de sistemas digitales. Además de sus ventajas para el procesamiento en paralelo, las FPGAs pueden ser utilizadas para la implementación de arquitecturas específicas para acelerar algún algoritmo. Los sistemas basados en FPGAs proporcionan unas mejores prestaciones que sus correspondientes implementaciones software. Una arquitectura realizada en hardware que implemente un algoritmo específico puede tener un rendimiento de 10 a 1000 veces superior al mismo algoritmo implementado en un DSP. Aquellas aplicaciones que necesiten de un gran número de operaciones que puedan realizarse en paralelo son adecuadas para su implementación en FPGA, ya que es posible diseñar un elemento básico de procesamiento que efectúe esta operación, para a continuación colocar varias instancias del mismo, consiguiendo así el procesamiento en paralelo. Los algoritmos de bajo nivel en visión por computador y análisis de imágenes son buenos candidatos para su implementación a través de arquitecturas específicas que aceleren su rendimiento. Tomemos como ejemplo el flujo de una señal de vídeo de alta resolución, por ejemplo, para un supuesto sistema médico que requiere un alto grado de precisión en la imagen. Supongamos un sistema típico de alta resolución de 1920x1080 píxeles (una resolución bastante modesta, teniendo en cuenta que algunos sistemas médicos utilizan resoluciones mucho mayores), con 24 bits por color (8 para cada componente, rojo, verde y azul) a 30 fotogramas por segundo. Haciendo los cálculos, podemos hallar el ancho de banda necesario para transmitir dicha señal de vídeo: BW Gbps Cantidad que se ve incrementada al añadir los espacios de blanking, como se aprecia en la Figura 1.4. Como se observa, se está hablando de una transmisión de datos bastante importante (cada fotograma de la imagen ocuparía 6.22MB de memoria). Esto lleva a la pregunta de si es posible un análisis y procesamiento de vídeo en tiempo real con estas características. En los sistemas actuales de procesamiento secuenciales y por software (DSPs, microprocesadores) se hace uso de la compresión de vídeo, que si bien es una alternativa sólida y viable, tiene como desventaja en primer lugar la reducción de la calidad de la imagen, y en segundo lugar, la baja tasa de imágenes por segundo procesada, si se trata de un sistema en tiempo real. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 11

5 Capítulo 1. Introducción y objetivos Figura 1.4. Resolución total de un fotograma con espacios de blanking Sin embargo, aquí reside la potencia de los sistemas basados en FPGA, ya que el procesamiento puede hacerse, en la mayoría de los casos, en tiempo real a una gran tasa de fotogramas por segundo, no requiriendo ningún tipo de memoria que almacene el fotograma o el flujo de vídeo al completo. Muchos de los algoritmos más usados en el procesamiento de imágenes tan sólo requieren como entrada los píxeles vecinos al píxel actual para realizar sus operaciones. Este modelo es fácilmente implementable en una FPGA. El número de operaciones sobre la imagen que se pueden realizar, tan solo dependerá de los recursos de la FPGA, al contrario de lo que ocurre en el procesamiento secuencial, donde todas las operaciones son posibles, a costa de aumentar el tiempo de procesamiento y por ende reducir la cantidad de datos procesados por segundo. Figura 1.5. Ejemplo de filtro de suavizado aplicado a un flujo de vídeo en tiempo real sobre FPGA [60]. A modo de conclusión, se listan las principales ventajas del uso de FPGA en el procesamiento de imágenes en tiempo real: Arquitecturas específicas para cada tipo de algoritmo. Tratamiento y procesado en paralelo. Capacidad de trabajar con flujos de datos muy altos. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 12

6 1.2 Marco actual Frecuencias de reloj más bajas que las usadas por DSP, con el correspondiente ahorro energético. No es necesario almacenar la información en memoria antes de procesarla; (procesamiento "On The Fly"). Gran flexibilidad para resoluciones y frame rates no estandarizados. Implementación de CORES descritos en lenguaje de alto nivel. Gran capacidad de integración. Creación de sistemas reconfigurables. Sería justo decir que no todo son ventajas. Los inconvenientes de trabajar en sistemas basados en FPGAs son básicamente dos. En primer lugar, algunos algoritmos de procesado podrían requerir varios pases sobre la imagen, haciendo indispensable el uso de una memoria donde almacenar el fotograma completo. Las restricciones de memoria en una FPGA suelen ser bastante altas, lo que lleva a hacer uso de diferentes métodos para reducir el tamaño de la memoria necesaria, a costa de utilizar más recursos. En segundo lugar, el flujo de vídeo en tiempo real (unido a las restricciones de almacenamiento), hacen que la ventana de actuación de los diferentes filtros sea relativamente pequeña, no teniendo una visión completa del fotograma. Este detalle marca una diferencia importante entre los algoritmos de procesamiento en FPGA y los secuenciales basados en software, ya que en éste último caso, una imagen podría estar almacenada en una matriz y se podría tener acceso a cualquier píxel, en cualquier momento. En los sistemas de visión basados en FPGA no ocurre así, ya que las imágenes se toman como un flujo constante y se hace necesario otro tipo de planteamiento. En el Capítulo 4 se retomará este punto y se hará un estudio más profundo acerca del procesamiento de imágenes sobre FPGA. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 13

7 Capítulo 1. Introducción y objetivos 1.3 Planteamiento y justificación del proyecto El análisis y procesamiento de imágenes y vídeo es una disciplina ampliamente utilizada en la actualidad, por diversas áreas científicas y tecnológicas. En la siguiente tabla se muestran algunas de ellas a modo de ejemplo. Área de uso Ejemplos Biología y genética Análisis de huesos y tejidos. Análisis y clasificación de células y material ADN. Defensa e inteligencia militar Interpretación automática de imágenes por satélite en búsqueda de objetivos militares. Reconocimiento de objetivos militares en tiempo real. Procesamiento de documentos Reconocimiento y detección de caracteres en un documento. Restauración de imágenes y documentos deteriorados. Automatización industrial Análisis de materiales Inspección visual automática. Visión artificial. Análisis de piezas en línea de producción. Detección automática de componentes en materiales. Creación de superficies tridimensionales y visualización interna de materiales. Detección de defectos en materiales. Agroalimentaria Detección automática de defectos en frutos. Clasificación de alimentos por su calidad. Fotografía y Vídeo Composición de escenas con múltiples objetos. Adición de efectos especiales en tiempo real. Medicina Identificación biométrica Aeroespacial Análisis de imágenes de Rayos X y resonancias magnéticas. Sistemas de ayuda al diagnóstico, tratamiento y seguimiento de patologías. Reconocimiento de personas por medio de huellas dactilares. Reconocimiento facial, análisis de retina. Análisis multiespectral. Geoprocesamiento, teledetección. Seguimiento de pasajeros y seguridad en aeropuertos. Tabla 1.1. Ejemplos de áreas tecnológicas en las cuales se utiliza el procesamiento de imágenes. Usualmente, para obtener la información necesaria de la escena captada por un sistema de visión, se utilizan procesadores que ejecutan los algoritmos de procesamiento y análisis digital de imágenes. El procesador empleado puede ser un ordenador, un microcontrolador o un procesador de señal (DSP). Sin embargo, son cada vez más los sistemas que implementan un procesado en paralelo sobre FPGAs, aprovechando todas las ventajas que tiene la lógica programable. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 14

8 1.3 Planteamiento y justificación del proyecto Teniendo en cuenta la importancia del papel que desempeña el procesamiento y análisis digital de imágenes en nuestros días, se propone el estudio, diseño e implementación de un Sistema de Procesamiento y Análisis Digital de Imágenes sobre FPGA. Con ello, se pretende profundizar en el campo del procesamiento de imágenes y vídeo en tiempo real, estudiando los conceptos y algoritmos que existen en el mundo del procesamiento secuencial (PCs, DSPs, etc..) y migrarlos al mundo de la lógica programable. Este Proyecto Fin de Carrera se incluye en el ámbito del procesamiento digital de vídeo en tiempo real, usando tecnología de lógica programable (FPGAs). En este contexto, se realiza un estudio y caracterización sobre el sistema de visión Xilinx Spartan -6 FPGA Industrial Video Processing Kit, creado por el fabricante Avnet Electronics. Figura 1.6. Xilinx Spartan -6 FPGA Industrial Video Processing Kit, usado en este Proyecto Fin de Carrera [163]. 1.4 Objetivos El presente Proyecto Fin de Carrera tiene dos objetivos fundamentales. En primer lugar, realizar un estudio y caracterización del sistema de visión Xilinx Spartan -6 FPGA Industrial Video Processing Kit, del fabricante Avnet Electronics. Para ello, se hará un completo análisis del sistema, sus capacidades y sus características como plataforma de desarrollo de sistemas de visión. Se estudiarán también las herramientas necesarias para una correcta integración de todas sus partes y para la síntesis de nuevos sistemas y algoritmos sobre la FPGA. En segundo lugar, y una vez caracterizada la plataforma de trabajo, se diseñará un sistema de procesamiento de vídeo en tiempo real, haciendo uso de las características y modelos estudiados previamente. Este proyecto consistirá en un sistema de detección automática de señales de tráfico mediante procesamiento digital de vídeo en tiempo real. Para ello, se estudiarán multitud de algoritmos y procedimientos, que serán implementados uno a uno en la FPGA usando las herramientas ISE y EDK de Xilinx. En un esfuerzo por abarcar estos dos objetivos de la mejor manera posible, en este proyecto también se incluirán las explicaciones de los conceptos teóricos, las herramientas utilizadas, la metodología de trabajo y otros apartados que se han considerado necesarios para hacer de este documento una guía de referencia completa. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 15

9 Capítulo 1. Introducción y objetivos 1.5 Alcance del proyecto En la tabla 1.2 se listan los puntos de interés que se incluyen dentro de este Proyecto Fin de Carrera y su importancia en el contexto de este trabajo. Incluido en este Proyecto Fin de Carrera Nivel de profundización e importancia Estudio y caracterización del sistema Xilinx Spartan -6 FPGA Industrial Video Processing Kit. ALTA Estudio de los lenguajes de descripción de hardware de alto nivel (VHDL). MEDIA Conceptos teóricos sobre FPGAs. BAJA Estudio y análisis de las herramientas de trabajo de Xilinx, EDK, SDK, ISE. MEDIA Estudio de sistemas con procesadores Soft-core incrustados (Microblaze). MEDIA Estudio de los sistemas de visión basados en FPGAs. ALTA Estudio e implementación de algoritmos específicos de procesamiento de imágenes en tiempo real. ALTA Creación de un proyecto completo de detección automática de señales de tráfico en tiempo real. ALTA Estudio de las limitaciones del proyecto creado, rango de validez y futuras mejoras. ALTA Otros usos del sistema Spartan6 LX150T Development Kit. BAJA Implementación de otros proyectos de ejemplo. BAJA Tabla 1.2. Puntos abarcados en este proyecto y su nivel de importancia y profundización. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 16

10 1.6 Estructura del proyecto 1.6 Estructura del proyecto Para llevar a cabo el presente Proyecto Fin de Carrera, se ha establecido una secuencia de fases. Su desarrollo se divide fundamentalmente en tres etapas. En la primera de ellas, durante la fase de inicio, se ha estudiado la bibliografía existente para tener una visión general del contexto en el cual se desarrollarán los sistemas de visión. También se ha estudiado en profundidad las herramientas de Xilinx disponibles para la implementación de sistemas en FPGAs. Así mismo, se ha profundizado en el lenguaje VHDL, base para la creación de los diferentes bloques que componen el sistema propuesto. Una vez estudiado el contexto y las herramientas que se utilizarían en este proyecto, se ha iniciado una segunda fase de estudio de la plataforma de desarrollo Xilinx Spartan -6 FPGA Industrial Video Processing Kit. Se ha estudiado no sólo la documentación referente a esta plataforma, sino los diferentes manuales de conceptos, técnicas de diseño, herramientas, proporcionados por Xilinx para la síntesis en Spartan-6. También se han estudiado los datasheets de los diferentes PCOREs (bloques funcionales hardware del sistema) que componen los diseños de referencia de la plataforma de desarrollo. En la última etapa, y la más significativa en este proyecto, se ha profundizado en el estudio de los diferentes algoritmos de procesamiento de imágenes, sus características, y posibilidades de ser implementados en FPGA. Con esta información, se ha procedido a crear el sistema de reconocimiento automático de señales de tráfico en tiempo real, detallando todos los pasos y limitaciones de cada una de las fases de este desarrollo. Por último, se realizan una serie de experimentos y se evalúa el trabajo, detallando las conclusiones, así como las posibles líneas futuras de trabajo. 1.7 Diagrama de tiempos y metodología En la siguiente figura se detallan los tiempos y períodos que han sido dedicados a cada una de las tareas que corresponden a este Proyecto Fin de Carrera. Puede observarse que el estudio, tanto de las herramientas como de la plataforma de desarrollo y la teoría sobre procesamiento de imágenes ha estado presentes en todo momento. Así mismo, la implementación del sistema de visión de reconocimiento de señales de tráfico ha ocupado la mayor parte del tiempo y esfuerzo. Esto es debido a que en esta fase del proyecto se ponen en práctica todos los conocimientos adquiridos en fases previas, finalizando con el modelo funcional ya mencionado. Figura 1.7. Diagrama de Gantt, con el detalle de tiempos de las distintas partes de este Proyecto. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 17

11 Capítulo 1. Introducción y objetivos La metodología general de trabajo utilizada durante todo el proyecto se puede esquematizar como en la Figura 1.8. En ella apreciamos las distintas fases por las que se ha pasado, desde el estudio de la literatura, hasta la completa caracterización de la plataforma de desarrollo y la realización del sistema de reconocimiento de señales de tráfico. Figura 1.8. Metodología de trabajo. PROYECTO FIN DE CARRERA. NICOLÁS AGUIRRE DOBERNACK 18