Renderizado basado en imágenes

Transcripción

1 Renderizado basado en imágenes Computación Gráfica Avanzada Ingeniería en Computación Facultad de Ingeniería Universidad de la República Diego Braga

2 Agenda Introducción y motivación El espectro de renderizado Efectos de vista fija Skyboxes Light field rendering Sprites and layers Billboarding Sistemas de partículas Impostores Técnicas de desplazamiento Corrección de color Mapeo de tonos Lens Flare y Bloom Profundidad de campo Desenfoque de movimiento Niebla Renderizado de volúmenes 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 2

3 Introducción y motivación Modelar las superficies con polígonos a menudo la forma más directa de abordar el problema de representar los objetos en una escena. Sin embargo, los polígonos son buenos sólo hasta cierto punto. Renderizado basado en imágenes (IBR, por Image-Based Rendering). Las imágenes son los datos primarios a utilizar para este tipo de representación. Ventaja: el costo de representación es proporcional al número de píxeles representados, y no, por ejemplo, el número de vértices en un modelo geométrico. Sin embargo, las técnicas de IBR tiene un uso mucho más amplio que éste. Ejemplo: las nubes y la piel, son difíciles de representar con polígonos. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 3

4 El espectro de renderizado No existe una única forma de renderizar una escena. La forma la elegimos nosotros 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 4

5 Efectos de vista fija Si limitamos el movimiento del observador podemos aplicar varias formas de aceleración. En particular veremos la situación en que la cámara no se mueve en absoluto (fija en posición y orientación). Bajo estas circunstancias gran parte del renderizado se puede hacer sólo una vez. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 5

6 Efectos de vista fija Para una vista fija, gran parte del tiempo se puede ahorrar convirtiendo un modelo geométrico complejo en un simple conjunto de buffers. En aplicaciones CAD (Computer-aided design) se utilizan técnicas de vista fija. Una vez que el usuario se mueve a determinada vista de su modelo, se guardan los valores de color y Z-buffers para que luego puedan ser reutilizados. Golden thread o adaptive refinement Cuando la cámara y la escena no se mueven, la computadora puede ir mejorando la imagen a medida que pasa el tiempo. Útil en aplicaciones CAD y de visualización. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 6

7 Efectos de vista fija Dado un punto de vista y dirección hay una radiancia entrante. El ojo humano no detecta la distancia ni como fue generada dicha radiancia, sólo vemos el color. En Quicktime VR, las vistas panorámicas 360º envuelven al observador (fijo) como una imagen cilíndrica. Cuando cambiamos la orientación de la cámara, la correspondiente parte de la imagen es recuperada, deformada y mostrada en pantalla. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 7

8 Skyboxes Paralaje: desviación angular de la posición aparente de un objeto, dependiendo del punto de vista elegido. Efecto significante para objetos cercanos. Para objetos lejanos apenas se nota. Mapa de ambiente. Utilizado típicamente para simular reflexiones. Lo podemos utilizar para representar objetos distantes. Cualquier mapa de ambiente sirve para este propósito, aunque los cúbicos son los más comunes. El mapa es ubicado en una malla centrada en el espectador y lo suficientemente grande para abarcar los demás objetos de la escena. Esta malla la llamaremos skybox. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 8

9 Skyboxes Una skybox típicamente contiene objetos lejanos. Ejemplo: el Sol, el cielo, nubes (lejanas e inmóviles) y montañas. Para que una skybox se vea bien, la resolución de la textura cúbica debe ser suficiente -> 1 texel por pixel en pantalla. La fórmula aproximada es: fov es el campo de visión. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 9

10 Light field rendering La radiancia puede ser capturada desde diferentes ubicaciones y direcciones, en diferentes instantes y bajo cambios en las condiciones de luz. El campo de la fotografía computacional explora extrayendo varios resultados de dicha información. Las técnicas Lumigraph y light-field rendering intentan capturar un objeto desde una serie de puntos de vista. Dado un nuevo punto de vista interpolan la nueva vista basándose en las almacenadas. Problema complejo Se requiere mucha información. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 10

11 Sprites y layers Sprite: imagen que se mueve en la pantalla. Una de las primitivas más simples de IBR. Ejemplo: puntero. El sprite no tiene por qué tener una forma rectangular, ya que eventualmente los píxeles pueden ser transparentes (componente alfa de la imagen). Se puede generar una animación mostrando una sucesión de diferentes sprites. Tipo de sprite común Textura aplicada a la cara de un polígono que siempre está visible al observador. Puede tener profundidad Ubicación en la escena. Un conjunto de sprites puede ser usado para representar un objeto desde diferentes vistas. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 11

12 Sprites y layers Una forma de pensar una escena es una serie de layers Cuando la vista cambia la apariencia de los objetos suele cambiar. La sprite puede no ser válida para la nueva vista El sprite layer debe ser generado otra vez. Determinar cuándo es uno de los aspectos más complicados de IBR. Chicken crossing - By Andrew Glassner, for MSTalisman. Animación renderizada utilizando el simulador Talisman de Microsoft. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 12

13 Billboarding Orientación de los polígonos con textura basada en la dirección de la vista billboarding Se utiliza para representar variados fenómenos Vegetación, humo, fuego, niebla, explosiones, nubes, etc. Qué necesitamos para orientar el polígono? Una base ortonormal del mismo. Cómo la obtenemos? A partir de dos vectores: normal y up. (Notar que no tiene por qué ser perpendiculares). Se establece uno de los vectores como fijo Generalmente fijamos la normal. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 13

14 Billboarding Primero hallamos el vector right: r = u x n Si fijamos la normal u = n x r Si fijamos el vector up n = r x u Obtenemos M = ( r, u, n ) 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 14

15 Screen-Aligned Billboard La forma más simple de billboarding. Similar a una sprite 2D Imagen siempre paralela a la pantalla. Vector up constante. La normal es la negación de la normal del plano de vista. La matriz de rotación es constante. Ejemplo: HUD (head s up display) de un juego. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 15

16 World-Oriented Billboard Si una sprite representa un objeto físico, es usual orientarlo respecto dirección up del mundo y no de la cámara. Utilizamos este vector up, y la normal sigue siendo la negación de la normal del plano de vista. Usar la misma matriz de rotación para todas las sprites tiene un riesgo Objetos que están alejados del eje de vista se deforman. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 16

17 World-Oriented Billboard No es un error, y se ve bien si estamos a la distancia apropiada de la pantalla, más precisamente si el campo de visión de la cámara virtual coincide con el mapa de visión de nuestros ojos. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 17

18 World-Oriented Billboard Alternativas de orientación Alineado al plano de vista (view plane-aligned). Usado cuando el campo de visión y las sprites son pequeñas y podemos ignorar el efecto de deformación. Alineado al punto de vista (viewpoint-aligned) La normal tiene su origen en el centro del billboard y apunta hacia la posición del observador. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 18

19 World-Oriented Billboard 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 19

20 Axial Billboard Se le permite al objeto texturizado rotar alrededor de algún eje del mundo. Se busca que el objeto esté siempre enfrentado al espectador. Adicionalmente se pueden utilizar técnicas LOD (Level Of Detail). 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 20

21 Sistemas de partículas Sistema de partículas Conjunto de pequeños objetos separados que son puestos en movimiento con algún algoritmo. Muchas aplicaciones Fuego, humo, explosiones, flujos de agua, árboles, galaxias, etc. No es una forma de renderizado, sino más bien un método de animación. Hay controles para crear, mover, cambiar y borrar partículas durante sus tiempos de vida. Para orientar una partícula sólo necesitamos su posición. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 21

22 Sistemas de partículas Sistema de partículas usado en la demo Cascades. Se realizó con DirectX 10. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 22

23 Impostores Son billboards creados mediante el renderizado de un objeto complejo desde el actual punto de vista en una textura, que es mapeada en el polígono. Renderizado proporcional al número de pixeles. Pueden ser utilizados algunas instancias del objeto en algunos frames. Incremento de la performance. En la práctica, se debería poder dibujar el impostor más rápido que el objeto que éste representa. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 23

24 Impostores Primero, se hace que el observador mire el centro del volumen acotante que contiene al objeto. El polígono del impostor es creado inicialmente con algunas restricciones Su normal debe apuntar al observador. Debe ser el mínimo que contiene el volumen acotante proyectado. Luego de proyectada y creada la imagen en la textura del polígono, se debe reubicar el mismo. Se lo ubica en el centro del volumen acotante del objeto. La normal sigue apuntando al observador. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 24

25 Impostores La resolución de la textura no necesita exceder la resolución de la pantalla. Cuando un impostor que estaba lejos se aproxima al observador, puede ser que distingamos sus píxeles Podríamos regenerar el impostor. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 25

26 Impostores Consideraremos regenerar el impostor cuando el observador se mueve relativamente a este. Dos casos extremos Regeneramos si o. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 26

27 Técnicas de desplazamiento Si agregamos una componente de profundidad a un impostor, obtenemos una primitiva llamada depth sprite o nailboard. Texturas RGB Δ: parámetro Δ para cada píxel. Desviación. Superior a los impostores ayuda a evitar problemas de visibilidad. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 27

28 Corrección de color Dada una imagen, convertir cada color en otro utilizando alguna función. Entrada: pixel RGB Algoritmo Salida: nuevo RGB Usos: apariencia (películas), aspecto coherente entre elementos, estilos, aceleración de decodificación de video (YUV a RGB). Muchos posibles algoritmos. Dependiendo de la posición los píxeles vecinos. Tratando los colores por separado. Normalmente en la GPU look-up table (LUT). Para evaluar funciones complejas. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 28

29 Mapeo de tonos Proceso de ajuste de una amplia gama de niveles de iluminación dentro de una gama limitada de la pantalla. Forma más simple restringir los valores de salida a un rango mostrable. Si la iluminación no es predecible Mapeado de tonos adaptativo. Maximum to white: valor más grande de luminancia utilizado para escalar los resultados al rango permitido. Algoritmos locales. Para cada píxel se analizan los vecinos. Más costoso en general que algoritmos globales. Algoritmos globales. Maximum to white no es muy eficiente existen optimizaciones. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 29

30 Mapeo de tonos Otra opción: crear histograma y utilizarlo para crear un mapeado. Ecualización del histograma: se busca que cada valor de luminancia tenga aproximadamente la misma cantidad de píxeles. Se incrementa contraste entre los niveles de luminancia más comunes. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 30

31 Imágenes de alto rango dinámico e iluminación El mapeo de tonos es utilizado al finalizar el proceso de renderizado, cuando los cálculos de iluminación ya están prontos. Los cálculos de iluminación se pueden ver afectados si los datos de iluminación no son suficientes 8 bits por color no son suficientes. 8/10/2010 Computación Gráfica Avanzada : Renderizado basado en imágenes 31

32 Imágenes de alto rango dinámico e iluminación La solución, en teoría, sería utilizar más precisión en los mapas de ambiente. Esto se puede hacer mediante especializados equipos y métodos fotográficos. Por ejemplo tomando tres fotos de la misma escena a diferentes exposiciones y combinado las mismas. Este proceso es llamado high dynamic range imaging (HDRI). 8/10/2010 Computación Gráfica Avanzada : Renderizado basado en imágenes 32

33 Imágenes de alto rango dinámico e iluminación La mayoría de los formatos de archivo de imagen almacenan valores de pixeles entre 0 y 255. Ward [1325] desarrolló el formato RGBE para almacenar los datos obtenidos del mapeado de tonos y corrección gama. De este modo, los cálculos del brillo original pueden ser almacenados a una mayor precisión con un pequeño costo adicional, sólo 32 bits. 8/10/2010 Computación Gráfica Avanzada : Renderizado basado en imágenes 33

34 Lens Flare y Bloom Lens Flare: fenómeno causado cuando los anteojos o una cámara se dirige hacia una luz brillante. Halo: Causado por las fibras radiales de la estructura cristalina de los lentes. Como un anillo alrededor de la luz. Corona ciliar: Provocado por fluctuaciones de densidad en el lente. Aparecen como rayos saliendo de un punto. Bloom: Causado por dispersión en los lentes, creando un resplandor alrededor de la luz. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 34

35 Lens Flare y Bloom Artefactos cada vez menos comunes en las cámaras modernas. Actualmente se los agrega digitalmente. Se utiliza un conjunto de texturas que luego son aplicados a billboards. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 35

36 Lens Flare y Bloom Lens flare tendría que cambiar con la posición de la luz. Un a forma: Conjunto de cuadrados alineados desde la posición de la luz a través del centro de la pantalla (King [662]). Si la luz está lejos del centro, las sprites son más chicas y transparentes, y viceversa. Efecto bloom. Idea principal: crear una imagen que consista sólo de los objetos brillantes que estarán sobreexpuestos, aplicarles un efecto de blur, y componer esta imagen con la real. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 36

37 Profundidad de campo (depth of field) En una fotografía existe un rango en que los objetos están en foco. Fuera de este foco, la imagen se ve borrosa. Depende del radio de apertura. Varias formas de simular el efecto de profundidad de campo. Buffer de acumulación. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 37

38 Profundidad de campo (depth of field) Forward mapping: Para cada ubicación en la superficie se dispersa su valor de sombreado dentro de un círculo (representado con una sprite). Luego el promedio de todas las sprites solapeadas para los píxeles visibles es el color a mostrar. Backward mapping: Asumiendo que los píxeles vecinos a uno determinado tienen la misma profundidad Operación de recopilación. La profundidad define el círculo de confusión. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 38

39 Profundidad de campo (depth of field) Backwards mapping. Toy de NVIDIA. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 39

40 Desenfoque de movimiento (Motion blur) Cines a 24 fps Cada frame de una película tiene un desenfoque. La cámara de cine captura de 1/40 a 1/60 veces por segundo durante los 1/24 segundos invertidos en un frame. Puede funcionar como una forma temporal de antialiasing. Depende del movimiento relativo. Motion blur en computadora. Técnica posible: modelar y renderizar el blur. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 40

41 Desenfoque de movimiento (Motion blur) Utilizando el buffer de acumulación Buenos resultados, pero En tiempo real disminuye la velocidad de los fotogramas. Además si el movimiento del objeto es muy rápido se pueden notar artefactos. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 41

42 Desenfoque de movimiento (Motion blur) Otras alternativas Buffer de velocidad: Interpolamos la velocidad para cada vértice de los triángulos del modelo. Necesitamos dos matrices: una para para el último frame y otra para el actual. Un vertex shader computa las diferencias de posiciones. Desenfoque direccional: line integral convolution (LIC) Problema: hay una gran transición entre objetos con movimientos y objetos sin movimiento. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 42

43 Niebla Efecto atmosférico. Calculado al final en el pipeline de renderizado. Aumenta el realismo. Indicador de profundidad (depth cueing). Algunas definiciones Color de la niebla: c f Factor de niebla: Color de la superficie: c s Color final del píxel: c p = fc s + (1 f)c f 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 43

44 Niebla Niebla lineal Niebla exponencial Niebla exponencial cuadrada 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 44

45 Niebla Niebla a nivel de píxel o vértice A nivel de vértice Efecto calculado en ecuación de iluminación. A nivel de píxel Utilizamos la profundidad almacenada en cada píxel. Simplificación: utilizamos z-depth para calcular el efecto niebla. Alternativamente se puede utilizar niebla radial. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 45

46 Niebla Hay diversos tipos de efectos de niebla, así como diferentes métodos. Ejemplos: Se pueden utilizar billboards semitransparentes de manera similar que con las nubes y el polvo. Para un haz de niebla iluminado por un faro se puede almacenar la profundidad máxima y mínima para cada píxel. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 46

47 Renderizado de volúmenes Representación de datos a través de voxels. Píxel volumétrico, representa un espacio de volumen regular. Ejemplo: Imágenes de diagnósticos clínicos. Lacroute y Levoy presentaron un método en el que tratan los datos de los voxels como un conjunto de rebanadas bidimensionales. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 47

48 Renderizado de volúmenes Otra técnica diferente de las rebanadas es la utilizada por Kruger and Westermann, basada en el casting de rayos utilizando la GPU. La idea básica es que para cada pixel se genera un rayo que pasa a través del volumen recolectando color y transparencia a intervalos regulares del recorrido del rayo. 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 48

49 FIN 8/10/2010 Computación Gráfica Avanzada: Renderizado basado en imágenes 49