Reconstrucción Tridimensional a Partir de Varias Imágenes

Reconstrucción Tridimensional a Partir de Varias Imágenes Dr. Luis Gerardo de la Fraga E-mail: fraga@cs.cinvestav.mx Sección de Computación Departamento de Ingeniería Eléctrica CINVESTAV 22 de noviembre, 2005 Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 1/39

Contenido Motivación Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 2/39

Contenido Motivación Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 2/39

Motivación La obtención de una reconstrucción tridimensional a partir de imágenes bidimensionales es un problema importante en diferentes campos, tales como: biología, medicina, microscopía electrónica, topografía, diseño asistido por computadora, simulación por computadora, visualización científica, etc. Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 3/39

Tipos de reconstrucciones 3D Las técnicas para obtener una reconstrucción 3D pueden dividirse en: 1. : tomografía, microscopía electrónica 2. Reconstrucción de la superficie: visualización de terrenos, robótica, arqueología. También veremos lo que son la realidad aumentada y la realidad virtual Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 4/39

Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Aplicado a la reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 5/39

Proyecciones Motivación Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Para realizar la reconstrucción 3D de un volumen es necesario contar con imágenes de proyección del objeto. Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 6/39

Algunos ejemplos de proteínas Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 7/39

Simulación de una proteína Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 8/39

Simulación de una proteína Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Vista por rebanadas Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 9/39

Simulación de una proteína Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Proyecciones de la proteína simulada Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 10/39

Un tomografo de rayos X Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 11/39

Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Un fantasma para pruebas con simulaciones Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 12/39

Reconstrucción 3D de macromoléculas biológicas Tomografía de rayos X Resultado de la reconstrucción 3D Este reconstrucción se obtuvo con el algoritmo de retroproyección. Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 13/39

Se tienen varias situaciones para realizar la reconstrucción: 1. A partir de un solo marco de video 2. A partir de dos imágenes (geometría epipolar) 3. A partir de tres imágenes (tensor trifocal) 4. A partir de muchas imágenes Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 14/39

Reconstrucción a partir de un solo marco de video Sistema para reconstruir un paralelepípedo con solo un marco de video. 1. Procesamiento digital de imágenes Adquirir la secuencia de video y extraer los marcos de video. Suavizar el marco de video. Segmentar los bordes del paralelepípedo. Obtener el esqueleto de los bordes Reconocer las aristas 2. Visión por computadora Obtención de los parámetros intrínsecos y extrínsecos de la cámara. Recuperación de las dimensiones del objeto. Extracción de las zonas con letras (texturas). Visualización del paralelepípedo. Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 15/39

Para construir este sistema se utilizó lo siguiente: Una cámara de video digital accesible a través del puerto firewire. Como plataforma de desarrollo se tiene GNU/Linux, OpenGL (Mesa, www.mesa3d.org) y Qt (www.trolltech.com) Se utilizó las bibliotecas de KINO para manipular la secuencia de video (cada marco de tamaño 720 576 pixels. Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 16/39

Resultados - Extracción Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 17/39

Resultados - Suavizado Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 18/39

Resultados - Segmentación Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 19/39

Resultados - Esqueleto Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 20/39

Resultados - Aristas Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 21/39

Obtención de los parámetros extrínsecos e intrínsecos de la cámara Imagen Punto en coordenadas de la imagen (Xi, Yi) X Posición de la cámara Y Y X X Y Punto en coordenadas de la cámara Z Punto en coordenadas de mundo real Mundo real Y X Z Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 22/39

Parámetros intrínsecos y extrínsecos de la cámara λ i u i v i 1 = p 11 p 12 p 13 p 14 p 21 p 22 p 23 p 24 p 31 p 32 p 33 p 34 P = A[RT ] x i y i z i 1 A = f x α o x 0 f y o y 0 0 1 RT = r 11 r 12 r 13 t x r 21 r 22 r 23 t y r 31 r 32 r 33 t z Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 23/39

Recuperación de las dimensiones del objeto Basado en el trabajo de Jelinek y Taylor (2001) 1 Encuentra las dimensiones de cualquier tipo de figura geométrica regular que se puede representar con un modelo parametrizado lineal. P 5 P 6 P 4 P 3 y P 0 x P 7 H D z P 1 P 2 1 D. Jelinek and C.J. Taylor, Reconstruction of linearly parameterized models from single images with camera of unknown focal length, IEEE Transactions on Pattern Analysis and Machine Intelligence (23) 2001, pp 767-773. Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 24/39 L

Recuperación de las dimensiones del objeto Vértice expresado por un vector γ = (LHD) t. Conjunto de matrices de tamaño 3 n, K 1, K 2,..., K n, y la matriz K i representa la posición del i-ésimo vértice. L/2 0,5 0 0 L P 1 = 0 = 0 0 0 H D/2 0 0 0,5 D P 3 = L/2 H D/2 = 0,5 0 0 0 1 0 0 0 0,5 L H D Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 25/39

Resultados - Visualización Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 26/39

Resultados - Visualización Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 27/39

Reconstrucción a partir de dos imágenes X π l l C x F e e x C Geometría epipolar Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 28/39

Reconstrucción de terrenos f(x,y) 1 f(x) 0.8 0.6 0.4 0.2 0 1 0.8 0.6 0.4 0.2 0-0.2-0.4 10-0.2-0.4-10 -5 0 5 10 f (x) = sen(x) x -10-5 0 5 10-10 f (x, y) = sen(x)sen(y) xy -5 0 5 Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 29/39

Reconstrucción de terrenos f(x,y) 0.8 0.6 0.4 0.2 0-0.2 f(x,y) 0.8 0.6 0.4 0.2 0-0.2 1 0.8 0.6 0.4 0.2 0-0.2-0.4 1 0.8 0.6 0.4 0.2 0-0.2-0.4 10 10 5 5-10 -5 0 5 10-10 -5 0-10 -5 0 5 10-10 -5 0 Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 30/39

Reconstrucción de terrenos 10 0.8 0.6 0.4 0.2 0-0.2 f(x,y) 5 0-5 1 0.8 0.6 0.4 0.2 0-0.2-0.4 10-10 -10-5 0 5 10-10 -5 0 5 10-10 -5 0 5 Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 31/39

Imagen Binaria Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 32/39

Ejemplo de Aplicación Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 33/39

Realidad Aumentada Se incorporan objetos virtuales a un video en tiempo real. Video Procesar Realidad aumentada Objetos virtuales Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 37/39

Realidad Virtual Navegación en el mapa virtual de México Creación de objetos deformables y su interacción con interfaces hápticas Sistemas de entrenamiento médico Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 38/39

Sección de Computación del CINVESTAV Ofrecemos la maestría y doctorado en Ingeniería Eléctrica opción Computación. Página de la Sección: http://www.cs.cinvestav.mx Mi página personal: http://delta.cs.cinvestav.mx/ fraga Mi correo electrónico: fraga@cs.cinvestav.mx Dr. Luis Gerardo de la Fraga Oaxaca. UABJO. Reconstrucción Tridimensional a Partir de Varias Imágenes 39/39