Introducción al proceso digital de imagen y visión por computador

Transcripción

1 Introducción al proceso digital de imagen y visión por computador Ilustraciones extraidas de diversas fuentes 1

2 Libros de referencia Gonzalez & Woods Digital Image Processing Addison-Wesley Klette& Schluns&Koshan Computer vision. Three-dimensional data from images Springer-Verlag Jain&Kasturi&Schunck Machine Vision McGraw Hill Horn Robot Vision MIT Press Pratt Digital Image Processing Haralick&Shapiro Computer and Robot Vision Addison Wesley Castleman Digital Image Processing Prentice Hall 2

3 Contenido Conceptos iniciales Geometría de la captura de la imagen Calibración Visión estereo y el problema de la correspondencia Modelo radiométrico-fotométrico de la generación de la imagen. 3

4 História 4

5 5

6 Convención de ejes 6

7 Estructura del sistema de proceso de imagen 7

8 Visión por computador en un contexto robótico 8

9 Sensores 9

10 Sensores Cámaras basadas en CCD (Charge coupled device) Color: 1 ó 3 chips Problemas de calibración fotométrica Nivel de negro: corrección de la imagen producida por el ruido térmico en el sensor cuando no hay iluminación. Balance de blanco: Equilibrado de los canales para que un objeto blanco se vea como tal. Re-Corrección de gamma: eliminar el ajuste de la emisión del monitor (no-lineal) a la la irradiación recibida por la cámara (lineal). Efectos no lineales: pre-kneeing, clipping, blooming 10

11 11

12 12

13 Técnicas de imagen Médica, basadas en proyecciones 13

14 Muestreo y cuantización Muestreo (Sampling): discretización del dominio espacial de la imagen Cuantización (Quantization): discretización del rango de valores de la imagen Resolución: efecto combinado del muestreo y la cuantización 14

15 15

16 16

17 17

18 Geometría de la cámara Modelo básico de la cámara Transformación de cámara Calibración Cámara con lente Calibración y corrección (Tsai) 18

19 Modelo de cámara puntual 19

20 Proyección sin inversión de la imagen Transformación proyectiva 20

21 Relación entre las coordenadas en el plano imagen y los índices de los pixels 21

22 Transformación entre los sistemas de coordenadas del mundo y la cámara Proyección ortogonal 22

23 Pan: giro horizontal Tilt: giro vertical Offset: desplazamiento del plano imagen Transformación expresada en coordenadas homogéneas 23

24 Descomposición de la transformación entre sistemas de coordenadas 24

25 Calibración lineal Dados (X,Y,Z) (x,y) el sistema de ecuaciones para estimar [a ij ] es indeterminado 25

26 Objetos de calibración 26

27 Modelo de cámara con lente 27

28 Pto. desenfocado Diametro del circulo correspondiente al punto desenfocado 28

29 Transformaciones de una lente con distorsión 29

30 30

31 Método de calibración de Tsai Introducción VCO Obtenidos a partir de la imagen de calibración donde Más de 7 ptos de calibración, sistema sobredeterminado El signo depende de que las posiciones recalculadas tengan el mismo signo que (x b,y b ) 31

32 Método de calibración de Tsai (cont) Introducción VCO Sistema sobredeterminado 32

33 Se trata de minimizar una función de error de ajuste de las proyecciones a partir de las coordenadas del mundo y de la imagen, Para obetener un mejor ajuste de los parámetros Coordenadas obtenidas a partir de las coordenadas del mundo Coordenadas obtenidas a partir de las coordenadas de la imagen Función de error a minimizar Minmización por descenso del gradiente 33

34 Imagenes estéreo coplanares 34

35 35

36 Cámaras en posición arbitraria 36

37 Superficie de disparidad nula 37

38 Correspondencia basada en bordes Asume que las lineas epipolares coinciden con las filas de la imagen 38

39 Correspondencia basada en regiones Detección de puntos de interés Calculo de las varianzas direccionales Selección en base a la máxima varianza Selección de máximos locales de interés Emparejamiento de características en base a la correlación de regiones Asume que las lineas epipolares coinciden con las filas de la imagen 39

40 Varianzas direccionales Interés Correlación para decidir la correspondencia 40

41 Radiometría y fotometría La luz está relacionada con la emisión de energía y su transmisión. Una fuente de luz emite la energía que es parcialmente reflejada por uno ó varios objetos. Finalmente parte de la energía es recibida por un sensor de imagen (cámara) y codificado en un valor de intensidad (gris) 41

42 El flujo radiante o potencia radiante es la energía radiante por unidad de tiempo La emitancia radiante o excitación es el flujo en un área radiante A La irradiación es lapotencia radiante recibida por unidad de tiempo y area La intensidad de radiación es el flujo radiante por ángulo sólido, Corresponde a la densidad angular del flujo radiante La radiancia es el flujo radiante por ángulo sólido y área Radiancia de la escena O reflejada 42

43 Relación de intercambio de flujo radiante entre dos superficies 43

44 Intensidad radiante en el área emisora Diferencial de la intensidad radiante Diferencial de la irradiancia en el mismo area Integrando se obtiene la irradiancia sobre el área receptora 44

45 Función de distribución de la reflectancia La función de distribución bidireccional de reflectancia es la herramienta básica de descripción de la reflectancia 45

46 La función de distribución bidireccional de la reflectancia describe como se observa una superficie desde una dirección general cuando se ilumina desde una dirección precisa Si se considera que la irradiación es direccional Integrando sobre el ángulo sólido de llegada de la radiación se obtiene una expressión Para la radiancia reflejada 46

47 BRDF de una superficie perfectamente difusa Introducción VCO Superficie reflectante perfectamente difusa: Igualmente brillante desde cualquier dirección de observación Independiente del tipo de iluminación Superficie reflectante Lambertiana: emite por reflexión toda la energía que le llega. La radiancia es igual a la irradiación de entrada La radiancia reflejada no depende de la dirección y es constante La BRDF es constante La emitancia radiante es igual a la irradiación La emitancia radiante se puede calcular como la integral de la radiancia reflejada Para una fuente de luz 47

48 Relacion geométrica en el caso de materiales isotropicos n normal a la superficie v dirección del observador s dirección de la fuente Dadas direcciones invariantes del observador y la fuente de iluminación, los cambios en la radiación reflejada se deben solo a cambios en la orientación de la superfice: El mapa de reflectancia 48

49 Mapas de reflectancia lineales Gradiente de la iluminación Irradiación de la fuente de luz Albedo (coeficiente de absorción de la luz) 49

50 Mapas de reflectancia Lambertianos Radiancia de una superficie Lambertiana, asumiendo albedo ρ, una fuente de luz con irradiancia E 0 bajo el ángulo de incidencia i Omitiendo factores constantes, el mapa de reflectancia 50

51 Mapas de reflectancia Lambertianos En espacio gradiente En coordenadas estereográficas Mapa rotacionalmente simétrico 51

52 52

53 Ecuación de irradiancia de la imagen Introducción VCO Relaciona la radiancia de la escena con la irradiación del sensor de imagen. La formación de la imagen: Radiancia reflejada Diámetro dela lente Ángulo entre el eje óptico y el rayo Irradiacion dela image Focal length Asunciones: Sistema enfocado. La única fuente de radiación es L. No hay vignetting No hay pérdida por transmisión La refracción es despreciable 53

54 Relación de la imagen con el mapa de reflectancia Asumiendo la proyección ortográfica Obviando el factor de escala La relación lineal entre la irradiación medida y el mapa de reflectancia obliga a que se realice la re-corrección de gamma en las cámaras con corrección de gamma si se trata de recuperar el mapa de reflectancia o realizar el análisis en base a él. 54

55 Color Las imágenes monócromas pueden considerarse como funciones con rango en un intervalo 0 f(x,y) G max Las imágenes en niveles de gris tienen como rango una discretización de ese intervalo Las imágenes en color se representan en los monitores de forma aditiva. Los colores básicos son Rojo (700nm), verde G (546nm) y azul B (435nm). Los triestimulos son Los componentes de color normalizados respecto a la intensidad son Los niveles de gris corresponden a la diagonal del cubo RGB: (u,u,u) RGB es la representación interna más común computacionalmente 55

56 56

57 Espacio HSI Hue ó Matiz: color dominante. Rojo corresponde a 0 ó 360 Saturación: pureza del color. S=1 corresponde al color puro. S=0 corresponde a los niveles de gris Intesidad: brillo. I=0 corresponde al negro. Definido excepto para R=G=B Definido excepto para R=G=B=0 57

58 Conversión RGB a HSI Introducción VCO 58

59 59