SISTEMA DE CAPTURA DE MOVIMIENTO DE BAJO COSTO

Transcripción

1 UNIVERSIDAD DEL QUINDÍO - FACULTAD DE INGENIERÍA INFORME FINAL SISTEMA DE CAPTURA DE MOVIMIENTO DE BAJO COSTO ALEXANDER FLÓREZ QUINTERO JHEISON ALEXANDER MEJÍA ZAMBRANO Noviembe Facultad de Ingenieía Pogama de Ingenieía Electónica Univesidad del Quindío

2 SISTEMA DE CAPTURA DE MOVIMIENTO DE BAJO COSTO ALEXANDER FLÓREZ QUINTERO JHEISON ALEXANDER MEJÍA ZAMBRANO TRABAJO DE GRADO PARA OPTAR POR EL TITULO DE INGENIERO ELECTRONICO Diecto MSC. ALEXANDER LÓPEZ PARRADO Noviembe Facultad de Ingenieía Pogama de Ingenieía Electónica Univesidad del Quindío 2

3 Este tabajo investigativo está dedicado a todos los sees que nos aman que nosotos amamos, sólo Dios sabe lo tascendental lo impotante que cada uno significa en nuestas vidas, po vivi lo que vivimos, po que juntos soñamos hacemos de estos sueños una linda ealidad 3

4 AGRADECIMIENTOS De manea mu especial quienes paticipamos en la ealización de este tabajo epesamos un pofundo agadecimiento: A Dios po el don de la vida, la inteligencia, sabiduía todas las capacidades con las que tabajamos día a día po una sociedad mejo. A la Univesidad del Quindío po bindanos la opotunidad de avanza en nuesto poecto de vida. Al decano, diecto de pogama, docentes nuestos queidos asesoes Jhon James Quinteo Osoio, Aleande López Paado Luis Miguel Capacho Valbuena, po sus valiosas oientaciones apoo en la constucción de este poecto investigativo. A nuestos pades familiaes po su apoo incondicional danos con su amo ejemplo heamientas que cimientan en nosotos valoes que nos pemiten cece se mejoes sees humanos. A nuestos amigos amigas quienes con su caiño, toleancia apoo nos bindaon ente isas llantos sus mejoes consejos. 4

5 TABLA DE CONTENIDO LISTA DE TABLAS... 7 TABLA DE FIGURAS... 8 GLOSARIO...11 RESUMEN...12 ABSTRACT...12 INTRODUCCIÓN PLANTEAMIENTO DEL PROBLEMA Alcance Delimitaciones JUSTIFICACIÓN Y OBJETIVOS Justificación Objetivo Geneal Objetivos Específicos MARCO TEÓRICO SISTEMA DE CAPTURA DE MOVIMIENTO PYTHON OPEN CV SINCRONIZACION DE CAMARAS CALIBRACIÓN DE CÁMARAS MODELO PINHOLE PROCESAMIENTO DE IMÁGENES (2D) DETECCION DE MARCAS MODELO DE ALAMBRE TÉCNICAS DE CORRESPONDENCIA CORRESPONDENCIA ESPACIAL RECOSTRUCCIÓN 3D CORRESPONDECIA TEMPORAL POST-PROCESAMIENTO SOFTWARE LIBRE

6 3.1.1 ECLIPSE BLENDER DISEÑO DEL SISTEMA RESULTADOS CONCLUSIONES RECOMENDACIONES TRABAJOS FUTUROS...47 BIBLIOGRAFIA

7 LISTA DE TABLAS Tabla 1. Puntos 2D Punto 3D de la Vaiación de 1 Maca en las dos cámaas utilizando Reconstuction.p. Tabla 2. Puntos 2D Punto 3D de la Vaiación de 1 Maca en las dos cámaas utilizando TiangulationP.p. Tabla 3. Pesupuesto del Sistema de Adquisición de Movimiento. 7

8 TABLA DE FIGURAS Figua 1. Modelo Pinhole. Figua 2. Bloques Necesaios paa el pocesamiento de imágenes. Figua 3. (a) Lenguaje de Pogamación Pthon. (b) Libeía de Pocesamiento de imágenes OpenCV. (c) Platafoma de desaollo Eclipse. (d) Softwae de visualización Blende. Figua 4. Cámaas Web Genius FACECAM 31. Figua 5. (a) Diseño de la base en 3D. (b) Diseño de la base Real. Figua 6. Gados de libetad en la base. Figua 7. Etapas del Sistema. Figua 8. Chessboad Figua 9. Calibación de las cámaas. Figua 1. Detección de esquinas del chessboad. Figua 11. Detección de puntos en el chessboad en calibación estéeo. Figua 12. (a) Taje con macas luz nomal. (b) Taje con macas luz nega. Figua 13. Luz Nega. Figua 14. Sistema de Captua con iluminación sensoes efactivos. Figua 15. Sistema de Captua sin iluminación con sensoes infaojos. Figua 16. (a) Sistema de Captua con iluminación eal. (b) Sistema de Captua con iluminación contolada. 8

9 Figua 17. (a) Macas Detectadas con la cámaa izquieda (b) Macas Detectadas con la cámaa deecha Figua 18. Umbalización de las Imágenes. Figua 19. Binaización de las Imágenes. Figua 2. Dilatación de las macas. Figua 21. Obtención de Contonos. Figua 22. Coespondencia, seguimiento tacking del pa steeo. Figua 23. (a) Sistema de Captua Completo Cámaa Izquieda. (b) Sistema de Captua Completo Cámaa Deecha. Figua 24. Intefaz de Blende, geneando modelo de puntos en 3D. Figua 25. (a) Visualización de los puntos 3D (b) Modelo de Alambe de los puntos 3D Figua 26. (a) Calibación de Cámaa Izquieda Aiba (b) Calibación de Cámaa Deecha Abajo Figua 27. Pueba 1 maca Visión Steeo (a) cento (b) Eje X Izquiedo (c) Eje X Deecho (d) Eje Y Aiba (e) Eje Y Abajo (f) Eje Z Ceca (g) Eje Z Lejos. Figua 28. Visualización en 3D de los puntos econstuidos. Figua 29. (a) Sistema de Captua 8 Puntos Cámaa Izquieda. (b) Sistema de Captua 8 Puntos Cámaa Deecha. Figua 3. Visualización 3D de 8 Puntos. Figua 31. (a) Sistema de Captua 1 Puntos Cámaa Izquieda. (b) Sistema de Captua 1 Puntos Cámaa Deecha. Figua 32. Visualización 3D de 1 Puntos. Figua 33. (a) Sistema de Captua 14 Puntos Cámaa Izquieda 9

10 (b) Sistema de Captua 14 Puntos Cámaa Deecha Figua 34. Visualización 3D de 14 Puntos 1

11 GLOSARIO Backgound: Fondo u objetos de segundo plano de una imagen, escena o epesentación. [3] Captua de movimiento: Es una técnica de fotogametía que ealiza la medición de coodenadas 3D mediante fotogafías u otos sistemas de pecepción emota paa almacena digitalmente movimientos del cuepo humano. Es usado pincipalmente en la industia del entetenimiento, depote o con fines médicos. [1] Esteeoscopia: Llamada también visión en tes dimensiones, o visión en elieve, esulta de la capacidad del sistema visual de da aspecto tidimensional a los objetos a pati de las imágenes en dos dimensiones obtenidas en cada una de las etinas de los ojos. Estas imágenes son pocesadas compaadas po el ceebo, el cual acaba ceando una sensación espacial. [2] Foegound: Es la pate más impotante en una imagen, escena o epesentación, popocionada po objetos en movimiento del pime plano. [3] Fame: Es una imagen deteminada en un conjunto de imágenes sucesivas que foman una animación, la sucesión de estas imágenes poduce la sensación de movimiento. Piel: Es la meno unidad homogénea en colo que foma pate de una imagen digital. Visión po computado: También conocida como Visión atificial o Visión técnica, es un subcampo de la inteligencia atificial. El popósito de la visión atificial es pogama un computado paa que "entienda" una escena o las caacteísticas de una imagen. Los objetivos típicos de la visión atificial incluen la detección, segmentación, localización econocimiento de cietos objetos en imágenes, po ejemplo, caas humanas. [4] Es empleada paa obtene una idea de pofundidad que puede se medida a tavés de tiangulación obteniendo una idea de tidimensionalidad. [5] 11

12 RESUMEN El mundo 3D es un medio vitual que auda a innova, entetene compende muchos campos del mundo eal. Paa pode obtenelo se diseñó e implementó un sistema de captua de movimiento a bajo costo; se deteminó el softwae hadwae que cumpliea el objetivo pincipal del poecto, educi los costos, estableciendo el tipo de sensoes, la iluminación los algoitmos necesaios paa econstui visualiza en 3D dos imágenes peviamente segmentadas, coespondidas ente si captuadas po un pa estéeo de cámaas web. Todo esto con el fin de cea en la Univesidad del Quindío más investigación aceca del tema, pácticas de laboatoios, tabajos de gado, ente otos. ABSTRACT The 3D wold is a vitual envionment that helps to innovate, entetain and undestand man aeas of the eal wold. To get this vitual wold done, a low-cost motion captue sstem was designed and implemented; it was detemined the softwae and hadwae that could satisf the pima objective of the poject, educe costs, choosing the tpe of sensos, lighting conditions and necessa algoithms to ebuild and visualize on 3D two images peviousl segmented, matched and captued fom a steeo-pai of webcams. All of this wok, aimed to ceate in the Univesit of Quindío moe eseach, laboato pactices, thesis, among othes, elated to this topic. 12

13 INTRODUCCIÓN La tecnología sigue modificando el estilo de vida del mundo, tiene como objetivo facilita algunos pocesos cotidianos /o educi eoes en otos. En el campo de animaciones paa juegos películas, en el análisis de movimientos paa diagnósticos médicos, ciencia depotiva otos, la tecnología ha diseñado sistemas de captua de movimiento junto a la visión atificial, estiman movimientos humanos en 3D, facilitando muchos pocesos en este campo. Los sistemas de captua de movimiento actuales tienen un costo elevado en el mecado a que utilizan sistemas de adquisición de imágenes de altas especificaciones, además de utiliza sensoes con un consideable pecio paa una mejo captua del movimiento softwae con licencias no accesibles a un usuaio pomedio. Son pocas las eploaciones ealizadas en el campo de la visión atificial el mundo 3D en la academia de la Univesidad del Quindío, po lo cual, se diseñó un Sistema de Captua de Movimiento a Bajo Costo, con el fin de abi paso a nuevas investigaciones motivaciones po el tema. El objetivo pincipal en el desaollo del poecto es educi los costos, de manea tal que se pudiean tene estos sistemas al alcance, con un costo modeado, apotando una idea hacia la comunidad univesitaia paa ealiza más investigación aceca del tema, pácticas de laboatoios, tabajos de gado, ente otos, paa así obtene beneficios científicos, sociales, cultuales, depotivos, etc. Po lo cual en este poecto se pesentan inicialmente las heamientas de sopote softwae utilizadas paa la ceación puebas de 4 subsistemas, posteiomente el diseño de la base paa las dos cámaas web. El pime subsistema contiene la etapa de calibación de las cámaas mediante un chessboad, paa el segundo se adhiee una foma de iluminación mediante luz nega que simplifica la segmentación sobe las imágenes detectando las macas 2D del cuepo humano, paa utilizalas posteiomente en el tece subsistema que ealiza la econstucción 3D, llegando a la visualización como último bloque. 13

14 1. PLANTEAMIENTO DEL PROBLEMA El análisis del movimiento paa divesas aplicaciones de caácte científico, depotivo, social, cultual, ente otos, ha ceado una necesidad de un subsecuente análisis de la tecea dimensión, paa lo cual se han diseñado sistemas de captua de movimiento, peo algunos de ellos poseen un costo mu elevado paa un usuaio nomal, po lo cual pesonas que deseaían investiga cea nuevas ideas aceca de este tema se ven limitadas po cuestiones económicas. Además es impotante tene en cuenta la eistencia de pocos poectos en la Univesidad del Quindío elacionados con dicho tema. 1.1 Alcance Delimitaciones El poecto es eploatoio paa la geneación de modelos 3D usando visión po computado, hace pate de oto poecto mao, po lo tanto este sistema de captua de movimiento de bajo costo se diseñaá e implementaá teniendo pesentes las condiciones necesaias paa se utilizado en el áea depotiva, así que bindaa al usuaio una intefaz paa obtene datos de cámaas su visualización seá en tecea dimensión con el fin de pode ealiza una compaación de las técnicas de depotistas paa mejoa su endimiento. Po lo tanto este poecto constuiá un sistema de adquisición con cámaas un softwae que binde al usuaio una intefaz amigable taspaente, paa que en tabajos posteioes se utilicen el pe-pocesamiento, segmentación, epesentación descipción más detallada paa así llega a un econocimiento e intepetación de esultados en difeentes ámbitos. 14

15 2. JUSTIFICACIÓN Y OBJETIVOS 2.1 Justificación Además de tene un gusto mu gande po el pocesamiento de imágenes, la visión atificial el mundo 3D, se desea cea en la academia de la Univesidad del Quindío una visión más cecana de un sistema de captua de movimiento abiendo paso a nuevas investigaciones motivaciones po el tema, a que son pocas las eploaciones en la Univesidad del Quindío aceca de este tema. Po ota pate los sistemas de captua de movimiento actuales tienen un alto costo en el mecado a que utilizan sistemas de adquisición de imágenes de mu altas especificaciones, además de utiliza sensoes con un alto pecio paa una mejo captua del movimiento softwae con licencias no accesibles a un usuaio medio. El poecto tiene como objetivo educi los gastos, tal que se puedan tene estos sistemas al alcance, con un costo modeado, ceando más investigación aceca del tema, pácticas de laboatoios, tabajos de gado, ente otos, paa así obtene beneficios científicos, sociales, cultuales, depotivos, etc. La estimación de movimientos humanos en 3D es una solución a muchas aplicaciones, incluendo la animación de un pesonaje paa juegos películas, o paa análisis de movimiento paa diagnósticos médicos ciencia depotiva. Una aplicación de dicho sistema seia el análisis mediante compaación de movimientos de depotistas con el fin de mejoa su capacidad en algún depote optimiza sus técnicas. 2.2 Objetivo Geneal Diseña e implementa un sistema de captua de movimiento de bajo costo 2.3 Objetivos Específicos Detemina los tipos de sensoes paa ealiza la detección de las macas. Implementa algoitmos de mejoamiento segmentación de las imágenes. Utiliza algoitmos de coespondencia espacial paa las macas. Constui visualiza un modelo de alambe en una heamienta libe. 15

16 3. MARCO TEÓRICO En este capítulo se dan las bases, conceptos teminologías necesaias paa compende las técnicas utilizadas en el diseño e implementación del sistema pesentado en este tabajo. 3.1 SISTEMA DE CAPTURA DE MOVIMIENTO Es aquel que posee caacteísticas suficientes los módulos necesaios paa captua el movimiento de un objeto o pesona, los módulos necesaios en este sistema de captua de movimiento son: iluminación, un cieto númeo de cámaas sinconizadas, un sistema de adquisición, un taje adecuado con macas un odenado paa el contol visualización. Las aplicaciones de dichos sistemas abacan desde las industias de animación, televisión videojuegos, hasta el análisis de movimiento paa diagnósticos médicos ciencia depotiva, ente otos. [6] [7] PYTHON Lenguaje de pogamación dinámica intepetado, no es necesaio compila ni enlaza, tiene una amplia vaiedad de dominios de aplicación, es compaado con difeentes lenguajes como Pel, Rub o Java, ente otos. Ente sus caacteísticas más impotantes esta: Sintais legible claa Gandes capacidades de Intospección Oientación a objetos Modulaidad completa Un alto nivel en los tipos de datos dinámicos Etensas libeías módulos paa pácticamente todas las taeas Pthon funciona lo suficientemente ápido paa la maoía de las aplicaciones. Ofece una amplia gama de opciones paa el desaollo web como escituas de scipts CGI, soluciones de gama alta como Zope, un amplio sopote paa HTML XML, de pocesamiento. Intefaces pesonalizadas paa MSQL, Oacle, MS SQL, Seve, PostgeSQL, SbODBC, otos están disponibles paa su descaga. Pthon puede integase con objetos COM,.NET CORBA, también es compatible con el moto de comunicaciones de intenet (ICE) muchas otas tecnologías de integación finalmente Pthon funciona sobe los pincipales sistemas opeativos como Windows, Linu, OS/2, MAC algunas otas aplicaciones [19] [2] OPEN CV Son un conjunto de libeías de C C++ de código libe o Open Souce, oientada a la visión po computado, puede se usado en Windows, Linu MacOS. Eisten intefaces paa Pthon, Octave Matlab bajo desaollo. 16

17 Debido a su licencia Open Souce, pemite desaollo con las libeías, incluso la modificación distibución de las mismas, también la eploación investigativa comecial. Sus libeías más impotantes son la CXCORE, CV, HighGUI, ML CvAu. Contiene un gan númeo de funcionalidades paa pocesamiento de imágenes, tales como, filtados, deivación, bodes, imágenes integales, piámides gausianas, mofología matemática, método de Lucas-Kanade (Tacking), histogamas. [18] [21] [22] [23] 3.2 SINCRONIZACION DE CAMARAS Es una pate esencial en un sistema de captua de movimiento, a que al utiliza una visión con n cámaas se hace necesaio sinconiza, caliba sintoniza al máimo cada cámaa paa minimiza eoes ente fames de captua, obtene mejo infomación de la captua facilita el pocesamiento del movimiento. [6] [8] 3.3 CALIBRACIÓN DE CÁMARAS La calibación de las cámaas es el poceso mediante el cual se obtienen los paámetos que definen las condiciones de fomación de la imagen, incluendo geometía intena óptica de la cámaa, además de obtene la oientación posición de la misma, especto a un objeto de efeencia, conociendo la foma en la que la cámaa poecta los objetos 3D en una imagen 2D, paa así pode etae infomación mética a pati de las imágenes. [9][18] MODELO PINHOLE El modelo Pinhole que es un modelo coplana, siendo este un modelo poectivo finito que epesenta la foma como se poectan los objetos tidimensionales en las imágenes, dicho modelo maneja difeentes coodenadas como lo son las coodenadas del mundo (Xm,Ym,Zm), las coodenadas de la cámaa (Xc,Yc,Zc), las coodenadas del senso (Xs,Ys) las coodenadas de la imagen (Xi,Yi). [16] Todos los aos de luz se poectan sobe un plano senso, tas atavesa un único punto en el espacio, este punto es llamado punto focal de la cámaa. Peo ha un poblema con este modelo es que es imposible amplia o educi la imagen (zoom) la intensidad de la luz que alcanza el senso, está mu limitada po el tamaño del oificio de la cámaa. En el caso de utiliza dos cámaas en este modelo, el eje óptico no es necesaiamente pependicula al plano de la imagen (Figua 1) po lo cual se obtienen las elaciones matemáticas ente las coodenadas de un punto en la escena la imagen. Figua 1. Modelo Pinhole 17

18 3.4 PROCESAMIENTO DE IMÁGENES (2D) Es el pocedimiento de manipulación análisis de la infomación contenida en una imagen digital po medio de un computado, lo cual sive paa mejoa la calidad de la imagen, coegi defectos, analiza el contenido, ente otos. En la Figua 2 se puede obseva los bloques necesaios paa dicho poceso, se empieza con la fomación o adquisición de una imagen, posteio almacenamiento po medio de algún dispositivo de captua obteniendo la imagen digital, la cual se puede modifica de difeentes fomas como, estauación o econstucción, coecciones de degadación, también es posible hace una econstucción de la imagen paa obtene mejoes esultados como se hace en tomogafías o poecciones múltiples. Figua 2. Bloques necesaios paa el pocesamiento de imágenes El siguiente paso es llamado pe-pocesamiento, en el cual se mejoan detalles de la imagen, mediante el aumento del contaste o luminosidad, ealce de bodes o contonos educción de uido. Cuando se tiene un pocesamiento deseado, se pocede a hace una segmentación de la imagen en la cual se van a etae algunas estuctuas de la imagen como lo son detección de movimiento, detección de egiones etacción de contonos ente otos. Finalmente se pocede a hace un análisis de las fomas de la imagen así pode etae infomación impotante como es el áea, el peímeto en geneal como descipción de las tetuas así detemina difeentes clases de objetos con econocimiento de patones o edes neuonales. [1] 3.5 DETECCION DE MARCAS Paa un sistema de captua de movimiento se hace necesaio tene una detección de macas, a sea en un taje con sensoes paa un sujeto, po ejemplo aticulaciones, o macas en el áea de la imagen, esaltando los pieles impotantes en la imagen, con el fin de facilita el econocimiento del sujeto u objeto. [6] MODELO DE ALAMBRE Es la foma cómo se pueden epesenta objetos físicos o epesentación electónica de las tes dimensiones (3D). Dicho modelo es ceado, especificando los bodes del objeto donde ha satisfacción matemática de supeficies lisas continuas o donde ha una coneión de objetos, usando líneas ectas o cuvas. Dicho objeto se visualiza en un computado donde se dibujan las líneas de localización de cada bode, gacias a la visualización de este modelo es posible detemina cuál es el objeto que se está visualizando. [11] TÉCNICAS DE CORRESPONDENCIA Las técnicas de coespondencia son necesaias en el análisis ceación de un sistema de captua de movimiento, a que paa obtene una idea de tidimensionalidad se debe tene en 18

19 cuenta cietas esticciones sobe el modelo geomético de las cámaas, la fotometía de los objetos, a que audan a coesponde un mismo punto de distintas escenas o imágenes. Algunas de las técnicas de coespondencia son basadas en áea o en caacteísticas, ha técnicas jeáquicas, pogamación dinámica, basadas en más de una vista. [6] [12] 3.6 CORRESPONDENCIA ESPACIAL La econstucción espacial se hace compaando las imágenes adquiidas de los distintos sistemas de adquisición buscando una coincidencia de la posición ente las mismas, intepetando las distancias en las cuales están ubicados los objetos. [7] [11] [6] 3.7 RECOSTRUCCIÓN 3D Es el poceso mediante el cual, objetos eales captuados en imágenes 2D, son econstuidos mediante algoitmos softwae, manteniendo sus caacteísticas físicas como dimensiones, volumen foma. [13] 3.8 CORRESPONDECIA TEMPORAL También llamada seguimiento consiste en busca la coincidencia de puntos 3D en dos fotogamas consecutivos, ceando una pista o asto de cada macado del sujeto en función del tiempo. [6] 3.9 POST-PROCESAMIENTO Se usa paa filta uidos, coegi pequeños poblemas ealiza mejoas de pesentación utilizando métodos como econstucción volumética (cea movimiento 3-D po la emisión, dispesándose, o tansmitiendo la iluminación de egiones bien definidas en el espacio (,, z)), cinemática invesa, dinámica invesa. [28] 3.1 SOFTWARE LIBRE Es la libetad que tienen las pesonas como usuaias paa dispone de un softwae como poducto adquiido tene la capacidad de usalo, modificalo, copialo, estudialo cambialo ente otos. [15] ECLIPSE La platafoma Eclipse consiste en un Entono de Desaollo Integado (IDE, Integated Development Envionment) abieto etensible. Es una heamienta paa todo, paa nada en paticula, está diseñada paa la constucción de entonos de desaollo que puedan se utilizados paa la constucción de aplicaciones web, aplicaciones java de todo tipo, pogamas C++ Entepise JavaBeans (EJBs). Pemite descubi, e invoca funcionalidad implementada en componentes llamados plugins. Está diseñada paa afonta las siguientes necesidades: Sopota la constucción de gan vaiedad de heamientas de desaollo Sopota heamientas que pemitan manipula difeentes contenidos (HTML, Java, C, JSP, ente otos) Popociona entonos de desaollos gáficos (GUI). 19

20 Es compatible con difeentes sistemas opeativos incluendo Windows Linu. El pincipal objetivo de la platafoma eclipse es popociona mecanismos, eglas que puedan se, seguidas po los fabicantes paa intega de manea tanspaente sus heamientas. Estos mecanismos se eponen mediante intefaces APIs, clases métodos. Cuenta con un edito de código, un compilado/ intepete un depuado. Eclipse se distibue bajo licencia EPL (Eclipse Public License). Esta licencia es consideada como libe po la FSF po la OSI. Esta licencia pemite usa, modifica, copia distibui nuevas vesiones del poducto licenciado. El anteceso de EPL es CPL (Common Public Licencse). CPL fue escita po IBM, mientas que EPL es oba del consocio Eclipse. El código fuente que compone Eclipse está distibuido en numeosos poectos epositoios de softwae. [24] [25] [26] BLENDER Blende es un pogama de modelado, que pemite la ceación de un amplio ango de contenidos 3D, apoado po vaias heamientas. Puede se usado paa cea visualizaciones 3D, tanto imágenes estáticas como vídeos de alta calidad. También incopoa un moto de 3D en tiempo eal el cual pemite la ceación de contenido tidimensional inteactivo que puede se epoducido de foma independiente. Oiginalmente desaollado po la compañía Not a Numbe (NaN), Blende es ahoa desaollado como Softwae Libe, con el código fuente disponible bajo la licencia GNU GPL, su descaga su uso es completamente gatuito Sus caacteísticas pincipales son: Paquete de ceación totalmente integado, ofeciendo un amplio ango de heamientas esenciales paa la ceación de contenido 3D, incluendo modelado, mapeado uv, tetuizado, igging, weighting, animación, simulación de patículas otos, scipting, endeizado, composición, post-poducción ceación de juegos. Multiplatafoma, con una intefaz unificada paa todas las platafomas basada en OpenGL, listo paa se usado en todas las vesiones de Windows (98, NT, 2, XP, Vista 32 64, Seven 32 64), Linu, OSX, FeeBSD, Ii, Sun, ente otos sistemas opeativos. Aquitectua 3D de alta calidad potente vesátil pemitiendo un ápido desaollo. Una comunidad mundial de más de 25. usuaios. Tamaño pequeño del ejecutable paa una fácil distibución. Capacidad de Impota epota de múltiples fomatos 3D. Un amplio manual multilenguaje en línea. Un achivo ejecutable pequeño que pemite una fácil distibución. No son necesaios númeos de seie activaciones. Múltiples plugins también gatuitos que epanden las posibilidades del pogama. Eiste la posibilidad de modifica el código fuente si se tienen las bases necesaias paa hacelo. [27] [28] [29] 2

21 4. DISEÑO DEL SISTEMA En la constucción del Sistema de Captua de Movimiento a Bajo Costo, inicialmente se detemina las heamientas de sopote softwae hadwae necesaias paa un coecto funcionamiento del mismo, paa las pimeas, se utiliza Softwae Libe, el lenguaje de pogamación elegido es Pthon (Figua 3-a), a que es de código abieto, puede se utilizado con difeentes intefaces GUI (Tk, GTK, Qt, WWidgets), es un lenguaje de pogamación intepetado, además de se un lenguaje innovado en la Univesidad del Quindío; paa la calibación de cámaas, el pocesamiento de imágenes la visión atificial, se adopta la libeía libe OpenCV (Figua 3-b), la cual además de se multiplatafoma, es una libeía amigable veloz paa todos los pocesos de visión po computado, facilitando las implementaciones de los subsistemas. Paa tabaja sobe una intefaz de usuaio se elige la Platafoma de Desaollo Eclipse (Figua 3-c), la cual es de código abieto, tiene entonos de desaollo integados como editoes de teto, intepete, intefaces GUI sopota lenguajes como C/C++, Ada, Pel Pthon. Paa la visualización del modelo 3D se utiliza la heamienta Blende (Figua 3-d), dicho Softwae pemite hace una coneión diecta con Eclipse los pogamas diseñados, logando así pode visualiza cualquie cambio que ocua. Figua 3. (a) Lenguaje de Pogamación Pthon, (b) Libeía de Pocesamiento de imágenes OpenCV, (c) Platafoma de desaollo Eclipse (d) Softwae de visualización Blende Paa las heamientas de Sopote Hadwae, se tabaja con Cámaas Web de fácil adquisición (Figua 4), estas son cámaas Genius FACECAM 31, las cuales tienen un costo mu educido en el mecado, tienen un tamaño de captua de 6448 pieles po cada imagen de 8 MPieles gacias a sensoes VGA, captua solo 3 fames po segundo, po lo cual algunos movimientos de mucha velocidad no son detectados coectamente. Figua 4. Cámaas Web Genius FACECAM 31 21

22 El diseño de la base paa las cámaas obsevado en la Figua 5-a cuenta con vaios gados de libetad paa tene acceso a difeentes posiciones vistas de las cámaas, en la Figua 5-b se obseva la base eal constuida en madea en foma de típode, pemite tes gados de libetad (Figua 6) en la localización de las cámaas, lo que facilita el cambio de vistas en el mismo campo sin necesidad de move dicha base, además de tene la posibilidad de etende o disminui su altua debido a las bases gaduables. Además las cámaas tienen un espacio especial en la base, en el cual se puede vaia la sepaación ente ellas, po lo tanto se puede ealiza difeentes puebas vaiando tanto los gados de libetad, la altua de la base, la sepaación ente dichas cámaas la otación que pemiten las mismas. Figua 5. (a) Diseño de la base en 3D, (b) Diseño de la base Real Figua 6. Gados de libetad en la base 22

23 Teniendo identificadas cada una de las heamientas con las que se desea tabaja, se inicia el poceso de constucción del sistema de captua de movimiento mediante las etapas obsevadas en la Figua 7. Calibación de la Cámaa su pa Steeo Figua 7. Etapas del Sistema Paa el poceso de calibación de las cámaas, se deben detemina las caacteísticas intenas, geométicas ópticas de la cámaa (paámetos intínsecos) [16] la posición 3D del maco de la cámaa especto a un cieto sistema de coodenadas (paámetos etínsecos) [16] como el endimiento del sistema, en la maoía de los casos depende de la calibación de las cámaas, entonces se le da un enfoque especial, sin despecia cada uno de los demás pocedimientos. Paa la calibación de las cámaas ha difeentes métodos, peo genealmente ha un enfoque mao en los métodos coplanaes o no coplanaes. El modelo usado en este poecto paa la calibación, fue el modelo Pinhole, método coplana que binda un pocedimiento especial paa pode obtene los paámetos equeidos, inicialmente se usa un objeto llamado ejilla de calibación o chessboad, en el momento de tene dicho objeto listo paa usase se diseña el Scipt cam_calibacion.p ealizado en código en pthon utilizando funciones de la libeía de pocesamiento de Imágenes Open CV, el cual necesita conoce el númeo de imágenes M que se desea captua (numpictues=8), se ecomienda captua más de 12 imágenes paa minimiza eoes vaiando la distancia ente las cámaas el objeto de calibación, además de ota taslada el mismo (Figua 9). En la Figua 8 se obseva un Chessboad de 88 cuados (se ecomienda numeo de filas columnas iguales) en donde se tienen 77 esquinas (cones1=7) de intesección ente los tonos negos blancos, teniendo en total K=49 puntos en el objeto de calibación. Además se ingesan 2 nombes utilizados paa guada datos e imágenes. Figua 8. Chessboad 23

24 Figua 9. Calibación de las cámaas Con dichos valoes se calcula el paámeto N (tam) el cual es calculado con la multiplicación de las esquinas veticales, hoizontales del chessboad el númeo de imágenes a captua. Paa la calibación de las cámaas se utiliza la función cv.calibatecamea2 [18] que utiliza el Método de Zhang [17] paa enconta las longitudes focales el cento de la imagen, paámetos que confoman la Matiz Intínseca M deivada del método de Heikkila Silven [18], dicha función también calcula los offsets del vecto de taslación los ángulos del vecto de otación, además de utiliza el Método de Bown paa enconta los paámetos de distosión adiales o tangenciales, poducidos po el lente esféico, el algoitmo paa cámaas Web utiliza los pimeos 2 a 3 téminos de la epansión en seie de Talo alededo de =. cv.calibatecamea2 (objetspoints, ImagePoints, pointcounts, imagesize, CameaMati, DistCoeffs, RVecs, TVecs) El pime paámeto objetspoints contiene las coodenadas físicas de los K puntos encontados en las M imágenes, dicho paámeto es de tamaño N3 paa tene las tes coodenadas XYZ, paa facilita el pocesamiento el valo de Z= la distancia ente los puntos del chessboad es igual a 1 cuado, po lo tanto todos los esultados se tendán en cuados, cada cuado equivale a.23cm, paámeto utilizado al final del pocesamiento; paa el cálculo de la matiz objetspoints se cea una función ceateobjetpoints: ceateobjetpoints (numbepoints, numbepictues, objetspoints) La cual ecibe los 7 puntos (esquinas) las M imágenes a captua etona en objetspoints las coodenadas físicas de foma que se tenga (,) como la pime esquina captuada, (,1) como la siguiente en la misma fila hasta llega a la posición (, cones1) de dicha fila; el poceso se ealiza po las 7 columnas hasta llega a la posición (cones1, cones1). La función ceateobjetpoints equiee que la vaiable objetspoints sea de tipo cv.mat po lo cual se cea dicho tipo de datos utilizados en OpenCV se inicializan como se obseva: 24

25 Mat = cv.ceatemat (ows, cols, tpe) cv.set (Mat, value) La función cv.ceatemat ecibe el númeo de filas columnas, además del tipo utilizado en los elementos de dicha matiz (ej. cv.cv_32fc1 paa tene númeos flotantes de 32 bits de un solo canal), mientas la función cv.set pone un valo en la matiz que se desee. Po último se utiliza la función cv.save paa guada los datos que se deseen en un achivo que ecibe el nombe la etensión.ml cv.save("name.ml", Mat) El segundo paámeto ImagePoints de la función cv.calibatecamea2 es una matiz de N2 que contiene las coodenadas en pieles de los K puntos en las M imágenes, paa obtene dicho paámeto se cea la función steeo_img: steeo_img (numbepictues, namepictueleft, namepictuerigth, numbepoints, numbecamealeft, numbecamearigth, LeftImagePointsSteeo, RightImagePointsSteeo) La función ecibe las M imágenes, los 2 nombes paa guada datos, los 7 puntos del chessboad, los númeos de los puetos USB donde están conectadas las cámaas Web (genealmente 1), las cámaas no deben compati el mismo HUB poque pueden pesentase eoes de captua, además etona las matices cv.mat de coodenadas en pieles de las dos cámaas. Paa el poceso se utilizan las siguientes funciones: Captue = cv.captuefomcam (int (numbecamea)) img = cv.quefame (captue) found_all1, cones = cv.findchessboadcones (img, chessboad_dim) La función cv.captuefomcam es un handle al dispositivo de captua que pemite accede al video popocionado po la cámaa conectada en el pueto numbe guada tempoalmente dicho handle en Captue, mientas que cv.quefame captua el fame de dicha captua de video guadando la imagen en img, la cual es utilizada en la función cv.findchessboadcones [18] junto a la dimensión del chessboad, etonando los K puntos en pieles de las M imágenes en cones una bandea found_all en 1 paa sabe si la búsqueda captua fue coecta, además se calcula un ango de eo paa que siempe tome las imágenes de foma hoizontal no vetical, a que el objetspoints contiene la matiz de posiciones de foma hoizontal. cv.dawchessboadcones (img, chessboad_dim, cones, found_all) cv.saveimage ("nameimg.jpg", img) cv.showimage (name_img, img) cv.waitke (1) == 27: 25

26 Posteiomente se utiliza la función cv.dawchessboadcones [18] paa obseva en la (Figua 1) los puntos calculados sobe la imagen actual, cada imagen coecta es almacenada en una imagen.jpg con la función cv.saveimage mostada en una ventana nueva con la función cv.showimage. Todo este poceso se ealiza hasta que se pesione la tela Esc, la cual se detecta con la llamada a la función cv.waitke, o el poceso temine satisfactoiamente. El tece paámeto de la función cv.calibatecamea2 es pointscounts, el cual indica el númeo de puntos en cada una de las M imágenes, es de tipo cv.mat de tamaño de M1, en cada punto del mismo se tiene el valo K. El cuato paámeto es imagesize siendo el tamaño de las imágenes, el cual puede se calculado po la función cv.getsize, el cual ecibe como paámeto la imagen etona el númeo de filas columnas de la imagen (6448). Figua 1. Detección de esquinas del chessboad Los paámetos 5 6 etonados de la función cv.calibatecamea2, CameaMati DistCoeffs, constituen los paámetos intínsecos de la cámaa. El pimeo es la Matiz Intínseca de la Cámaa (Ecuación 1), de tipo cv.mat con tamaño de 33, la cual contiene las distancias focales (f, f) el cento apoimado de las imágenes de la cámaa (c, c). f c M f c (1) 1 Po lo geneal los coeficientes de distosión son 5 valoes paa cámaas web, la distosión adial etona 3 (k1, k2, k3), mientas la tangencial etona 2 (p1, p2), fomando una matiz de tipo cv.mat de 51, dichos valoes son utilizados paa la coección de las coodenadas en la imagen como se obseva en las Ecuaciones 2-a 2-b espectivamente. coected coected 1 k 1 1 k k 2 k k k 6 (2a) 26

27 coected coected 2 p p p p 2 2 (2b) Los últimos dos agumentos RVecs TVecs son los paámetos intínsecos de otación taslación espectivamente, las dos etonan matices de tamaño M3 de tipo cv.mat, descibiendo los ángulos offsets de las distintas captuas. Los 4 paámetos etonados po la función cv.calibatecamea2 son almacenados en achivos.ml, dicha función es utilizada tanto con la Cámaa Izquieda como con la Deecha, con el fin de enconta 4 paámetos intínsecos necesaios paa la Calibación Steeo [16] utilizados en la función cv.steeocalibate. [18] cv.steeocalibate ( objetspoints, LeftImagePointsSteeo, RightImagePointsSteeo, pointcounts, LeftCameaMatiSteeo, LeftDistCoeffsSteeo, RightCameaMatiSteeo, RightDistCoeffsSteeo, imagesize, R, T ) Los tes pimeos paámetos objetspoints, LeftImagesPointsSteeo RightImagePointsSteeo fueon calculados anteiomente con las funciones ceateobjetpoints steeo_img, en la Figua 11 se obseva el econocimiento de un chessboad de 77 la obtención de los 49 puntos del mismo en cada imagen de las dos cámaas. Se tiene también los paámetos pointscounts e imagesize los paámetos intínsecos paa las dos cámaas etonados po la función cv.calibatecamea2, los cuales van a se modificados guadados en las misma vaiables obteniendo las matices intínsecas de las cámaas en Visión Steeo los coeficientes de distosión de las mismas. Figua 11. Detección de puntos en el chessboad en Calibación estéeo 27

28 Además se cean dos nuevas matices tipo cv.mat, R T, la pimea es la matiz 33 de otación Steeo la segunda es el vecto columna de taslación Steeo de tamaño 31. Estos dos paámetos etínsecos junto a las matices intínsecas izquieda deecha Steeo, son utilizadas en la econstucción de 2D a 3D. Los 4 paámetos intínsecos los 2 etínsecos etonados po la función cv.steeocalibate son almacenados en achivos.ml Iluminación Al finaliza el poceso de calibación Steeo de las cámaas, el paso a segui es empeza a captua el movimiento de un pesonaje con macas (Figua 12-a), las cuales van a se segmentadas paa la obtención de los puntos en pieles de las mismas la coespondencia ente las cámaas; la iluminación es una pate mu impotante paa facilita el análisis segmentación de las macas, se utiliza un bombillo de luz nega (Figua 13), el cual cumple con la función de esalta los coloes fluoescentes, po lo tanto se decide tene como macas, bolas de icopo pintadas con una pintua especial fluoescente (Figua 12-b), esaltando mejoando las macas la visualización de las mismas. Figua 12 (a). Taje con macas luz nomal, (b). Taje con macas luz nega 28

29 Figua 13. Luz Nega Segmentación de las imágenes Paa la segmentación inicialmente se tabajo con macas de coloes billantes (Figua 14), los esultados paa una segmentación inicial un ambiente de iluminación sin contola se obsevan en la pate infeio de la Figua 4, en donde la obtención del backgound foegound no tuvo éito. Posteiomente se utilizaon sensoes infaojos (Figua 15) con el fin de tene difeentes angos de fecuencia luminosidad en las macas peo al tene una distancia lejana ente las cámaas los sensoes, las macas se pedían, además de necesita una fuente de enegía paa tabaja con dichos sensoes. Figua 14. Sistema de Captua con iluminación sensoes efactivos Figua 15. Sistema de Captua sin iluminación con sensoes infaojos 29

30 Po lo cual se escoge la luz nega que econoce fácilmente las macas fluoescentes (Figua 14-b) pesentan un daño igual o infeio al ojo humano, así se diseña un taje de colo nego en lica que facilita mas los movimientos gacias a su elasticidad se añaden las macas (Figua 16-a). Paa que todo el sistema de captua de movimiento funcione de una mejo manea se debe tene en cuenta la iluminación mencionada anteiomente apeciando los esultados en la Figua 16-b. Figua 16 (a). Sistema de Captua con iluminación eal, (b). Sistema de Captua con iluminación contolada Paa el poceso de segmentación, detección de macas coespondencia se diseña un Scipt llamado CaptuePoints.p, el cual captua el video con la función cv.captuefomcam de las dos cámaas, toma cada imagen (fame) oiginal iluminada con luz nega con la función cv.quefame las muesta de foma paalela con la función cv.showimage (Figua 17). Figua 17 (a). Macas Detectadas con la cámaa izquieda, (b). Macas Detectadas con la cámaa deecha 3

31 Ya que las imágenes a colo demandan más ecusos paa su pocesamiento, el pime paso es tansfoma dichas imágenes a escala de gises mediante una umbalización de las mismas (Figua 18), obteniendo entonces un ealce de las pates que inteesan descatando el esto de la imagen que no es útil paa el poceso, mediante la función cv.inranges cv.inranges (ImageSc, (B-tolB, G-tolG, R-tolR), (B+tolB, G+tolG, R+tolR), ImageTh) El pime paámeto es la imagen oiginal, los dos siguientes eciben vectoes fila de 13, los cuales tienen los valoes apoimados del colo fluoescente en los tes espacios Red=51, Geen=127 Blue=33 (RGB), además de toleancias tolr=5, tolg=8 tolb=5 como factoes de cambio debido a la iluminación, con el fin de no pede las macas. La función cv.inranges etona imágenes de tipo cv.image ceadas mediante la función cv.ceateimage cv.ceateimage (size, depth, channels) Dicha función ecibe el tamaño de la imagen, la intensidad de la misma (ej. cv.ipl_depth_8u paa tene valoes ente -255 en una imagen a escala de gises) el númeo de canales. Figua 18. Umbalización de las Imágenes Debido a que dicha umbalización tiene valoes en escala de gises es necesaio binaiza la imagen paa tene solo dos valoes en la imagen que simbolicen el backgound en un valo igual a el foegound con un valo de 255 (Figua 19). Eisten tes funciones de la libeía OpenCV paa ealiza dicha labo, cv.adaptivetheshold no ealiza lo que se desea, po lo cual se puede utiliza las funciones cv.cann cv.theshold, la pimea ecibe la imagen a filta, la imagen de destino dos valoes paa escoge un ango de pieles paa la mejoa de las macas, mientas que la segunda define un ango ente el paámeto ingesado 255, ecibe el valo que obtendá el foegound tiene una bandea (cv.cv_thresh_binary) que pemite ealiza umbalización binaia, po lo cual se escoge ente las tes cv.theshold 31

32 cv.theshold (ImageTh, ImageBin, theshold, mavalue, ThesholdTpe); Figua 19. Binaización de las Imágenes Siguiendo con el poceso de segmentación teniendo las imágenes binaizadas, se utiliza la función cv.dilate, la cual ealiza la dilatación de las macas el númeo de veces que sean ingesadas en el Scipt (Figua 2), paa así mejoa su esolución evitando uidos puntos huecos, mejoando la esolución de las macas, logando con esto una mejo fiabilidad en la obtención de las mismas. cv.dilate(imagebin, ImageDil) Figua 2. Dilatación de las macas Finalmente en el poceso de segmentación se hace la detección de los contonos (Figua 21) de la imagen dilatada, esto se hace con el fin de obtene la posición de cada una de las macas que se encuentan en las imágenes, mediante la función cv.findcontous. 32

33 Contous = cv.findcontous (ImageDil, stoage, mode, method, offset) cv.ceatememstoage () Paa obtene Contous en un achivo tipo cv.memstoage, el pime paámeto que ecibe es la imagen dilatada de tipo cv.image con un solo canal de 8 bits, el segundo es un paámeto de tipo cv.memstoage el cual guada las posiciones de los bodes de cada una de las macas, paa cea un paámeto de este tipo se utiliza la función cv.ceatememstoage se le envía el valo en paa que tome un tamaño de memoia po defecto. El tece paámeto es el modo de guada los bodes de las distintas macas, se envía cv.cv_retr_list paa guadalos en foma de lista, el cuato paámeto es el método de apoimación, se utiliza cv.cv_chain_approx_simple que utiliza compesión hoizontal, vetical etona solo el último punto captuado, po último el offset paa dale coimiento si se desea o es necesaio, siendo este un vecto (, ). Paa gafica los bodes OpenCV tiene una función llamada cv.dawcontous, la cual ecibe como pime paámeto una imagen de fondo en donde se van a pinta los contonos encontados, el segundo paámeto son los esultados aojados po la función cv.findcontous, el tece cuato paámeto son los coloes etenos igual a 2, valo en pieles, e intenos 15, el ultimo es una bandea en 1 paa gafica únicamente los bodes encontados. cv.dawcontous(imagedilcontous, Contous, 2, 15, 1) Paa enconta el punto 2D del contono de las macas, se cea la función Detect, la cual ecibe como paámeto Contous, el cual se mueve a tavés del cv.memstoage po cada una de las macas sumando los pieles del contono, haciendo una media con los mismos guadando con un nombe name su esultado en la matiz cv.mat Points2D de tamaño númeo de puntos po 2. Detect (contous, name, Points2D) Figua 21. Obtención de Contonos 33

34 Coespondencia seguimiento Los puntos 2D son guadados en una matiz cv.mat, peo el oden de los puntos calculados en la imagen izquieda no es el mismo que el oden de la imagen deecha, po lo cual, el siguiente paso es ealiza una coespondencia ente las dos cámaas, se utiliza la función cv.calcopticalflowplk paa calcula el flujo óptico utilizando el método iteativo de Lucas-Kanade con piámides. [3] [31] [32] RightPoints2DP = cv.calcopticalflowplk (LeftImageDil, RightImageDil, LeftP, RightP, LeftPoints2D, (15, 15), 5, (cv.cv_termcrit_iter, 1, ), ) Los pimeos dos paámetos son las imágenes dilatadas de la cámaa izquieda deecha, los dos siguientes son dos matices tempoales cv.mat de tamaño widthl+8 po heightr/3, el cálculo del tamaño de estos dos paámetos se obtiene utilizando la función cv.getsize heightl, widthl = cv.getsize (LeftImage) heightr, widthr = cv.getsize (RightImage) El quinto paámeto son los puntos 2D peo son de tipo cv.point2d32f, po lo cual los puntos que se calculaon no se pueden envia hacia esta función a que son de tipo cv.mat, el poblema se esuelve con la función cv.goodfeatuestotack, que también calcula los puntos 2D los guada los esultados diectamente en una vaiable del tipo cv.point2d32f. Solo se utiliza esta función paa enconta los puntos de cada maca de la cámaa izquieda, a que los puntos 2D de la cámaa deecha son estimados con la función cv.calcopticalflowplk. [3] [31] [32] LeftPoints2D = cv.goodfeatuestotack (LeftImageDil, LeftEig, LeftTemp, Points,.5, Distance) La función ecibe la imagen dilatada, dos matices cv.mat del mismo tamaño de las imágenes oiginales con los datos epesentados po flotantes de 32 bits (cv.ipl_depth_32f) de un solo canal, el cuato paámeto es el númeo de puntos que se desea obtene, el quinto es un facto de multiplicación paa obtene mejoes niveles en el econocimiento, po último se envía la distancia mínima ente macas paa la detección. Al tene los puntos 2D de la imagen izquieda como esultado de la función cv.goodfeatuestotack en un tipo de vaiable cv.point2d32f, se obtiene el quinto paámeto de la función cv.calcopticalflowplk, el seto paámeto es el tamaño de la ventana de búsqueda po cada nivel de la piámide, el siguiente es el numeo de niveles de la piámide, el octavo temino ecibe cv.temciteia que indica cuando el poceso del flujo óptico ente cada punto el nivel de la piámide es satisfactoio encontando coespondencia, como ultimo paámeto una bandea en. Obteniendo a la salida de la función cv.calcopticalflowplk el cálculo de los puntos 2D de la imagen deecha. 34

35 Con los puntos 2D de la cámaa izquieda deecha es posible hace un seguimiento continuo del movimiento del pesonaje con las macas, debido a que el Scipt CaptuePoints.p funciona con el video de las dos cámaas, haciendo un análisis de las captuas deteminando en qué posición se encuenta cada maca en la misma, obteniendo el tacking de cada punto, logando así el Seguimiento Completo de los movimientos. En la Figua 22 se obseva la coespondencia ente las dos cámaas, ceando con la función cv.line líneas que unen los puntos de la imagen izquieda con sus espectivos puntos en la imagen deecha, dicha líneas son pintadas con un colo seleccionado con la función cv.cv_rgb que ecibe los tes valoes en pieles de -255, a demás se envía el ancho de las mismas. cv.line (LeftImage, ptleft, ptright, cv.cv_rgb (255, 255, 255), 4) Figua 22. Coespondencia, seguimiento Tacking del pa Steeo En la Figua 22 se obseva que el sistema está haciendo el seguimiento de cada maca, en la imagen de la izquieda se obseva como se supone que fue el movimiento visto desde la deecha en la imagen de la deecha se obseva el mismo esultado peo visto desde la imagen izquieda. En la Figua 23 se obseva los subsistemas de segmentación coespondencia de todo el sistema, con la cámaa izquieda (Figua 23-a, Pate Supeio), la cámaa deecha (Figua 23-b, Pate Infeio), pasando po todo el poceso de izquieda a deecha desde la imagen oiginal, la umbalización, binaización, la dilatación, obtención de los contonos finalmente el seguimiento de cada punto, guadando en achivos.ml los puntos 2D de la cámaa izquieda deecha. 35

36 36 Figua 23. (a) Sistema de Captua Completo Cámaa Izquieda, (b) Sistema de Captua Completo Cámaa Deecha Reconstucción 3D La econstucción se entiende como los algoitmos matemáticos que pemiten calcula puntos en el espacio tidimensional (X, Y, Z), a pati de la infomación de las dos imágenes, tanto izquieda como deecha (visión esteeoscópica) de los datos esultantes de la calibación [16], El scipt cam_calibacion.p guada las matices intínsecas de calibación, otación taslación del mundo según como lo ve la cámaa izquieda, con dichas matices es posible hace una econstucción de dos puntos (X1, Y1) (X2, Y2) almacenados desde el Scipt CaptuePoints.p, logando así obtene un punto en 3D (X, Y, Z). Paa compoba dicha econstucción se diseñan dos Scipts Reconstuction.p TiangulationP.p, el pimeo calcula las opeaciones obsevadas en la Ecuación 3-b, las cuales se obsevan de foma maticial siguiendo el algoitmo de la Ecuación 3-a T T T l l l p br T R P R p c ap cw ap ) ( [3a] De foma maticial se tiene: z T Rigth T l l left Rigth T l l left T T T R c f c f X c f c f C c f c f b c f c f a [3b] Se enomban las opeaciones paa minimiza en vectoes columna la matiz A

37 37 z T T T T c b a z z z z c z z a [3c] Se tiene z z z A c b a X z T T T T B [3d] 2 ) / ( 2 ) / ( 2 ) / ( bz az b a b a Z Y X [3e] Se cagan las matices intínsecas izquieda deecha, los paámetos etínsecos de otación taslación mediante la función cv.load se etaen los valoes de la matiz cv.mat con la función cv.getmat se guadan en Mat Mat = cv.getmat (cv.load ("NameMat.ml")) Mediante las funciones cv.gemm, cv.cosspoduct ConcatenateMat los paámetos a cagados, se calcula los vectoes columna de la matiz cv.mat A de tamaño 33 el vecto columna B de tamaño 31 (Ecuación 3d). cv.gemm (A, B, alpha, C, beta, dst) cv.cosspoduct (A, B, dst) ConcatenateMat (A, B, C, dst) cv.solve (A, B, ) La función ecibe las matices cv.mat A B las cuales son multiplicadas maticialmente ente ellas además po un facto alpha, este esultado se suma con la multiplicación de C po el escala beta, etonando la matiz de destino. La función cv.cosspoduct ealiza el poducto cuz ente A B, etonando dst, mientas la función ConcatenateMat concatena los vectoes columna A, B C paa obtene una nueva matiz destino. Al tene el vecto columna B la matiz A se utiliza la función cv.solve paa esolve el sistema de ecuaciones B A se obtiene un vecto columna de 31. El último paso paa enconta el punto en 3D es aplica la Ecuación 3e guada los nuevos valoes en un achivo.ml

38 Paa cea el Scipt de TiangulationP.p se utiliza el algoitmo de la Ecuación 4-a, el cual equiee los puntos 2D calculados enconta las matices de poección de la cámaa izquieda (Ecuación 4-b) deecha (Ecuación 4-c), paa lo cual se cagan los esultados del scipt cam_calibacion.p, las matices intínsecas, los paámetos etínsecos de otación taslación, se utiliza además de las funciones a mencionadas, cv.getrow, encagada de obtene la fila de una matiz ingesada en el pime paámeto, cv.getcol, obtiene la columna de una matiz, cv.getcols un ango de columnas desde una columna inicial hasta una final. dst = cv.getrow (Mat, NumRow) dst = cv.getcol (Mat, NumCol) dst = cv.getcols (Mat, MinCol, MaCol) p p 3T 1T A 3T 2T 1 p1 p1 3T 1T 2 p2 p2 [4-a] 3T 2T 2 p2 p M int1 R1 T1 M int1 I M int1 P ( ) 1 [4-b] P 2 ( 34 ) int2 2 2 M R T [4-c] 1 Al obtene las matices de poección se pocede a calcula la matiz A mediante la ecuación 4-a utilizando los puntos en 2D cagados, posteiomente se utiliza la función cv.svd la cual ealiza la descomposición de valoes singulaes sobe la matiz A etonando las matices W, U V, paa obtene el punto 3D almacenalo se selecciona la última columna de V, de la cual los valoes de las 3 pimeas filas son divididos po un facto de escala siendo la cuata fila de dicha columna. Visualización Finalmente en la Figua 24 se visualiza el esultado del poceso de econstucción 3D de las imágenes, mediante la heamienta softwae Blende, se diseña un scipt en lenguaje pthon llamado Visualitation3D.blend, el cual utiliza los puntos 3D obtenidos en el scipt TiangulationP.p visualiza las macas en coodenadas 3D (Figua 25-a), posteiomente con la auda de la heamienta de visualización se tazan manualmente líneas 3D paa obtene el modelo en malla (Figua 25-b). 38

39 Figua 24. Intefaz de Blende, geneando modelo de puntos en 3D Figua 25. (a) Visualización de los puntos 3D (b) Modelo de Alambe de los puntos 3D 39

40 5. RESULTADOS La Calibación del Sistema funciona coectamente vaiando el chessboad en distintas posiciones de otación taslación (Figua 26) Figua 26. (a) Calibación de Cámaa Izquieda Aiba, (b) Calibación de Cámaa Deecha Abajo La Matiz Intínseca de la Cámaa Izquieda tiene valoes mu paecidos a la Matiz Intínseca de la cámaa Deecha, tiene sentido a que son las mismas cámaas Web la distancia focal es manipulada físicamente de tal foma que ante el ojo humano son mu paecidas las vistas. A demás de los centos de las imágenes son mu apoimados a las eales que seian la mitad del tamaño de la imagen de 6448 dando un esultado de C=32 C=24. LeftM int RightM int

41 La matiz de otación cumple con la popiedad de que su invesa es su taspuesta, además de T R R RR T I Rotation El vecto columna de tanslación se compao con mediciones de las distancias en cuados del chessboad en el mundo eal, las distancias Y Z fueon mu pequeñas casi impeceptibles ante el ojo humano po lo cual no se hicieon mediciones físicas compaando con los esultados del vecto de taslación concuedan, mientas la sepaación ente las cámaas fue de apoimadamente 19cm, si cada cuado equivale a 2.3cm, el vecto de tanslación en X después de la calibación Steeo asume una distancia de 8.2cuados, lo que equivale a 18.44cm. Tanslatio n Se ealizaon 4 puebas de segmentación, detección de puntos (1, 8, 1, 14), coespondencia, econstucción visualización. Paa la pimea se vaio una sola maca cambiándola de posición del cento hacia los 3 ejes aumentando disminuendo paa cada uno como se obseva en la Figua 27, dichas macas son segmentadas detectadas en coodenadas 2D de coespondencia, en la Tabla 1 se calcula paa con los puntos 2D de la cámaa izquieda deecha, el punto 3D con el Scipt Reconstuction.p la Tabla 2 es constuida a pati de TiangulationP.p, los puntos 3D de la segunda tabla son utilizados paa la visualización en Blende, la cual es modificada con modelos de líneas 3D uniendo todos los 7 puntos al punto cental, como se obseva en la Figua 28. Las Tablas muestan el cambio de las coodenadas en su espectivo eje 3D al ealizase un movimiento en dicho eje en las 2 cámaas. El eje X hacia la izquieda disminue mientas hacia la deecha aumenta, el eje Y hacia aiba disminue hacia abajo aumenta, mientas el eje Z si se aceca disminue si se aleja aumenta. Las 3 puebas siguientes muestan todo el poceso desde el sistema de captua de movimiento en las dos camaas hasta la visualización 3D en Blende, cambiando el númeo de puntos inicialmente en 8 (Figuas 29-3) donde se tiene la pate supeio del cuepo, 1 (Figuas 31-32) donde se añade las dos macas de la cintua 14 (Figuas 33-34) donde se tienen todas las macas. 41

42 Figua 27. Pueba 1 maca Visión Steeo (a) cento (b) Eje X Izquiedo (c) Eje X Deecho (d) Eje Y Aiba (e) Eje Y Abajo (f) Eje Z Ceca (g) Eje Z Lejos Tabla 1. Puntos 2D Punto 3D de la Vaiación de 1 Maca en las dos cámaas utilizando Reconstuction.p Localitation Left Point 2D Rigth Point 2D Point 3D Cente (331,261) (261,255) (-4.72, 1.19, 3.38) XLeft (168,266) (13,274) (-1.94, 1.4, 28.22) XRigth (463,231) (39,214) (.77, -.9, 3.62) Yup (351,155) (267,15) (-3.89, -3.8, 29.44) YDown (318,413) (269,49) (-5.33, 7.94, 32.17) ZNea (363,334) (193,34) (-3.64, 2.8, 19.83) ZFa (32,18) (29,175) (-5.49, -2.73, 39.55) Tabla 2. Puntos 2D Punto 3D de la Vaiación de 1 Maca en las dos cámaas utilizando TiangulationP.p Localitation Left Point 2D Rigth Point 2D Point 3D Cente (331,261) (261,255) (-.63, 1.49, 31.) XLeft (168,266) (13,274) (-6.85, 1.65, 28.82) XRigth (463,231) (39,214) (4.86,.15, 31.24) Yup (351,155) (267,15) (.19, -2.83, 3.5) YDown (318,413) (269,49) (-1.23, 8.19, 32.77) ZNea (363,334) (193,34) (.44, 3.11, 2.29) ZFa (32,18) (29,175) (-1.4, -2.49, 4.18) 42

43 Figua 28. Visualización en 3D de los puntos econstuidos Figua 29. (a) Sistema de Captua 8 Puntos Cámaa Izquieda, (b) Sistema de Captua 8 Puntos Cámaa Deecha 43

44 Figua 3. Visualización 3D de 8 Puntos Figua 31. (a) Sistema de Captua 1 Puntos Cámaa Izquieda, (b) Sistema de Captua 1 Puntos Cámaa Deecha Figua 32. Visualización 3D de 1 Puntos 44

45 Figua 33. (a) Sistema de Captua 14 Puntos Cámaa Izquieda, (b) Sistema de Captua 14 Puntos Cámaa Deecha Figua 34. Visualización 3D de 14 Puntos Finalmente se tiene en la Tabla 3 los costos totales del Sistema de Adquisición de Movimiento a Bajo Costo Tabla 3. Pesupuesto del Sistema de Adquisición de Movimiento HERRAMIENTAS CANTIDAD VALOR/UNIDAD TOTAL Cámaas Base Pintua Base Taje Bolas Icopo Pintua Fluoescente Bombillo Luz Nega TOTAL