PERCEPCIÓN IR / VISUAL

Transcripción

1 VISIÓN POR COMPUTADOR MASTER EN Automática, Robótica y Telemática PERCEPCIÓN IR / VISUAL Dr. J. RAMIRO MARTINEZ DE DIOS

2 Percepción IR/Visual Principios de percepción IR Aplicaciones Correspondencia de Visual / IR Fusión IR / Visual

3 Principios de Percepción IR La banda del infrarrojo Banda de λ entre [0.75, 1000] µm Cercano: µm Medio: 3-6 µm Lejano: 6-15 µm Extremo: µm

4 Principios de Percepción IR Radiación del cuerpo negro (I) Cuerpo negro: trampa de radiación Ley de Planck: distribución espectral en λ de radiación emitida W 5 λ e W λ radiación espectral h: cte de Planck T: Tª del cuerpo negro en Kelvin C: velocidad de la luz K: cte. De Boltzmann λ = 2πhc ch kt λ 2 1

5 Principios de Percepción IR Radiación del cuerpo negro (II) Ley de Wien: picos de radiación de un cuerpo negro λ max = 2898 T Permite relacionar Tª y color del objeto Permite selección de banda de infrarrojos para cada aplicación

6 Principios de Percepción IR Radiación del cuerpo negro (y III) Ley de Stefan-Boltzmann: energía emitida por un cuerpo negro W = 0 Wλ dλ = σt 4 σ: cte. de Stefan-Boltzmann Se emplea para calibración de Tª de cámaras termográficas

7 Principios de Percepción IR Radiación de cuerpos no negros Absorción espectral: α(λ) Reflectancia espectral: ρ(λ) Transmitancia espectral: τ(λ) Ley de Kirchhoff: α(λ)+ρ(λ)+τ(λ) =1 Emisividad: ε(λ)=α(λ) Tipos de objetos: Cuerpos negros: ε(λ)=1, ρ(λ)=τ(λ) =0 Cuerpos grises: τ(λ) =0, (materiales opacos) Espejos perfectos: ε(λ)=0

8 La transmisión atmosférica Transmitancia atmosférica Principios de Percepción IR Tres ventanas del infrarrojo: 3 bandas Permite seleccionar banda: p.e. detección VS monitorización de incendios

9 Detectores de infrarrojos Parámetros: Principios de Percepción IR Sensibilidad: relaciona flujo de radiación con señal del sensor Debe ser cte con la Tª y λ SNR: cociente entre potencia de señal y ruido NEP: potencia de ruido equivalente. Cota inferior de señal para ser diferenciada del ruido Detectividad: inversa de NEP

10 Detectores de infrarrojos Tipos de detectores: Principios de Percepción IR Detectores térmicos: radiación se transforma en calor por absorción del material sensible - Bolómetros: varía la conductividad del material, - Detectores piroeléctricos: general corriente por incre. de Tª - Termopilas: general tensión por efecto termodinámico - Detectores neumáticos: la señal es una variación de presión en Detectores cuánticos cociente la masa del gas al calentarse

11 Principios de Percepción IR Detectores de infrarrojos Tipos de detectores: Detectores cuánticos: señal depende del nivel de excitación de partículas del material sensible - Detectores fotoeléctricos: genera corriente por electrones arrancados del material: IR cercano - Detectores fotoconductores: genera cambio de conductividad por los electrones semilibres - Detectores fotovoltaicos: modificación de V de barrera en unión p-n

12 Principios de Percepción IR Comparación de Detectores

13 Principios de Percepción IR Refrigeración Objetivo: evita la radiación de los detectores Tipos: Refrigeración en ciclo abierto Refrigeración en ciclo cerrado Refrigeración mediante elementos de estado sólido efecto termoeléctrico

14 Principios de Percepción IR Ruido Ruido térmico: la Tª es superior a 0 K Ruido shot: fluctuaciones en la llegada de electrones Ruido flicker: 1/f Ruido de generación-recombinación Ruido fotónico

15 Principios de Percepción IR Cámaras de Infrarrojos Puntuales: pirómetros Scanners de línea Cámaras de infrarrojos Tipos: Térmicas: dan medida cuantitativa Termográficas: dan medida cualitativa de Tª calibración térmica Parámetros típicos: NEI: iluminación equivalente al ruido NETD: dif. de Tª equivalente al ruido MDTD: dif. de Tª mínima detectable

16 Principios de Percepción IR Mitsubishi IRM300 Band 3-5 µm. (cryogenic - Stirling cycle cooler) Weight: 8 kg. Lenses: 30º Output: CCIR video Temperature estimation: NO

17 Principios de Percepción IR Raytheon 2000AS Band 7-14 µm. (uncooled) Weight: 120 gr. Lenses: 30º Output: CCIR video Temperature estimation: NO

18 Indigo Omega Principios de Percepción IR Band µm. (uncooled) Weight: 120 gr. Lenses: 30º Output: CCIR video, IEEE 1394 (Firewire) Temperature estimation: YES Control through IEEE 1394 and RS-232

19 Principios de Percepción IR FLIR ThermaCam P20 Band µm. (uncooled) Weight: 1.5 kg. Lenses: 12º, 24º and 45º width Output: CCIR video, JPG in Flash Card Temperature estimation: YES ( ºC) Programmable image capture Thermal sensitivity: 30º C High temperature filter Control through RS-232 ThermaCam Reporter

20 Principios de Percepción IR FLIR 550 Elite Band µm. (cryogenic) Weight: 2 kg. Lenses: 10º and 20º width Output: CCIR video, JPG in Flash Card Temperature estimation: YES ( ºC) Programmable image capture Thermal sensitivity: 30º C Control through RS-232 ThermaCam Reporter

21 Principios de Percepción IR Band Weight Sensitivity Range Lenses Interface Control Mitsubishi IRM µm 8 kg. Not Thermal Not Thermal 30º CCIR RS-485 Raytheon 2000AS 7-14 µm 120 gr. Not Thermal Not Thermal 30º CCIR RS-232 Indigo Omega 7,5-13,5 µm 120 gr. 30º C [0, 200] ºC 30º CCIR, Firewire RS-232 Firewire FLIR ThermaCa m P20 7,5-13 µm 1.5 kg 30º C [-40, 1500] ºC 12º, 24º, 45º CCIR, JPG in Flash Card RS-232 FLIR 550 Elite µm 2 kg 30º C [-20, 1500] ºC 10º, 20º CCIR, JPG in Flash Card RS-232

22 Principios de Percepción IR Aplicaciones de la visión IR Seguridad Industria Medicina y veterinaria Medio Ambiente

23 Aplicaciones de Percepción IR Detección de fugas térmicas en edificios Detección y seguimiento de objetos Detección de incendios Monitorización de incendios Detección y Monitorización cooperativas con múltiples UAVs

24 Detección de fugas térmicas en edificios Reconocimiento de patrones Detección de fugas térmicas en ventanas - Estabilización de imágenes - Detección de fugas térmicas - Seguimiento

25 Detección de fugas térmicas en edificios Detección de fugas térmicas 1) Conversión a temperatura 2) Selección de zonas de interés Temperatura mínima calculada a partir de Tª ambiente 3) Clasificación 4) Clustering vidrio Marco de ventana TH ROI 1 2 h ( t) = P( ω ) p( t ω ) h ( t) = P( ω ) p( t ω ) + P( ω ) p( t ω )

26 Detección de fugas térmicas en edificios Experimentos. Diciembre 2005

27 Detección y seguimiento de objetos Objetivo: detección y seguimiento Dos fases: Detección Seguimiento Control: Posicionador Cámara de infrarrojos Posicionador: 2 GDL Motores paso-a-paso Datos sensores: 200 ms.

28 Control anticipativo de la cámara de infrarrojos Horizonte T Detección y seguimiento de objetos imagen i imagen i+1 Control del posicionador imagen i+1 predicha Predicción polinómica: Horizonte 5T

29 Ejemplos (I)

30 Ejemplos (y II)

31 Detección de Incendios. Reducción de falsas alarmas Tasa de Detección: 100% Tasa de Falsa Alarmas: 1,93 % 90,0 % proc. infrarrojo 85,4 % análisis de oscilación 24,0 % proc. imagen visual 9,1 % información geográfica

32 Fusión Sensorial Detección inteligente. Reducción de falsas alarmas sensor1 sensors

33 Detección de Incendios. Reducción de falsas alarmas Análisis de falsas alarmas - Reflejos, objetos calientes, luces, actividades humanas Información a integrar: - Análisis temporal de imágenes de infrarrojo - Análisis de imágenes visuales - Análisis del terreno: combustible, uso, pendiente - Análisis de actividades humanas - Índice de riesgo de incendio Sistema Borroso para integración de información (1.0) SI (actividad_humana ES Muy Alta) (0.04) SI (pendiente ES Alta) ENTONCES (FF_posibilidad ES Extrem_Alta) ENTONCES (FF_posibilidad ES Alta)

34 Detección de Incendios. Reducción de falsas alarmas Falsas alarmas Incendio Interpretación: Redes de Neuronas Clásicas (BNP) Neuronas Wavelet no binarias 10 neuronas 120 iteraciones ME = 9 13 iteraciones Neuronas Wavelet binarias MME: ME=9 6 iteraciones (P D =100% P FA =0%) Al-Jaroudi: ME=9 6 iteraciones (P D =100% P FA =0%) 1 N EMME = N u i i T) N i= 1 ( ) (y T)(f(x ) 1 N E JM = ln(1- yi - f(x i ) ) N i= 1

35 Monitorización de Incendios Fusión sensorial para mejorar medidas Objetivo: medir automáticamente parámetros del incendio en tiempo real Fuentes de incertidumbre: - Percepción en exteriores - Específicos de percepción de incendios Sensores de magnitudes heterogéneas en múltiples localizaciones - Redundancia espacial - Redundancia de magnitudes Sensores: - cámaras visuales o de infrarrojos - GPS, medidor de distancias láser

36 Fusión sensorial para mejorar medidas Vista lateral B Vista lateral A Vista aérea Vista frontal

37 Fusión sensorial para mejorar medidas Percepción combinada: obtención indirecta de magnitudes Fusión sensorial: magnitudes obtenidas de varias fuentes M k = j m j jk ω ω jk jk ω 2 jk Filtrado de Kalman jk = F j r Posición frente Ancho frente Altura de llama Frontal IR Lateral IR Frontal Visual Lateral Visual

38 Fusión sensorial para mejorar medidas Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006 Puntos: evolución real Líneas: evolución estimada

39 Fusión sensorial para mejorar medidas

40 Percepción Cooperativa en Entornos Multirrobot Detección y localización cooperativa Monitorización cooperativa Robots heterogéneos Plataformas: varios UAVs o robots terrestres Sensores

41 Percepción Cooperativa en Entornos Multirrobot Misión general: 1) Vigilancia y detección 2) Confirmación 3) Monitorización Vigilancia y detección Área se divide dependiendo de características de UAVs y sus sensores Cada UAV recorre su área buscando aplicando técnicas de detección

42 Percepción Cooperativa en Entornos Multirrobot Demostración del sistema para la detección de fuegos Sensores: cámara IR, cámara visual, sensor de fuego Vigilancia y detección

43 Percepción Cooperativa en Entornos Multirrobot Confirmación Probability Longitud Latitud Altura Posición real del fuego Posición estimada (fusión) Desviación estándar estimada

44 Percepción Cooperativa en Entornos Multirrobot Monitorización y medición de fuegos

45 Percepción Cooperativa en Entornos Multirrobot Extensión a robots aéreos y robots terrestres Hero 3. GRVC. Univ. Sevilla Romeo 4R. GRVC. Univ. Sevilla Auriga. Univ. Málaga

46 Problema: Correspondencia Visual/IR

47 Correspondencia Visual/IR Paso 1 de 6: Selección de las imágenes Sector representativo de imagen (píxeles) 64x64 128x x x512 Resolución/Rango de detección Imagen visual de referencia Imagen de infrarrojos a corregir

48 Correspondencia Visual/IR Paso 2 de 6: Detección de bordes para hallar la rotación Suma cuadrática del gradiente bidireccional Normalización en el rango [0,255] Igualación de histogramas Imagen visual Imagen de infrarrojos

49 Correspondencia Visual/IR Paso 3 de 6: Cálculo de la DFT Visual Elimina DC IR

50 Correspondencia Visual/IR Paso 4 de 6: Conversión a polar-semilogarítmica log ρ Visual IR - Discretización logarítmica polar log ρ - Interpolación bilineal - Suavizado mediante un filtro de la mediana con máscara 5x5 - Filtro sinosoidal y ventana de Hanning θ θ - Desplazamiento centro de masas umbralizado - SPOMF

51 Correspondencia Visual/IR Paso 5 de 6: Preprocesamiento en detección de traslación Detector de bordes direccional Visual Suma cuadrática del gradiente direccional Normalización en el rango [0,255] Infrarrojos Igualación de histogramas Esquema de inversiones de intensidad

52 Correspondencia Visual/IR Paso 6 de 6: Cálculo SPOMF para hallar la traslación Parámetro de calidad: Comparación entre picos máximos distantes para desestimar detecciones incorrectas Superposición de imágenes Desplazamiento vertical Desplazamiento horizontal

53 Adquisición de imágenes Estabilización conjunta Visual/IR Representación por pantalla

54 Estabilización conjunta Visual/IR

55 Fusión IR/Visual o Ejemplo de fusión de imágenes: Imagen visual Imagen IR Objetos calientes sobre imagen visual Suma de ambas imagenes

56 Fusión IR/Visual Fusión mediante selección de umbral Fusión con media sobre la visual Fusión con media de niveles sobre la de IR Fusión con media ponderada sobre la de IR

57 PERCEPCIÓN AVANZADA MASTER EN Automática, Robótica y Telemática PERCEPCIÓN IR / VISUAL Dr. J. RAMIRO MARTINEZ DE DIOS