Promoting Earth Observation Services Big Data en la Observación de la Tierra mediante satélites y sensores aéreos. Participación del IGN en el Proyecto europeo FP7 SenSyf Guillermo Villa Instituto Geográfico Nacional Foro Big Data. Cloud & Network Future XXI Congreso @aslan 14. Madrid, 22 de Abril de 2014
1. La observación de la tierra desde satélites y sensores aerotransportados
La tierra es un planeta muy variado...
...en el que vivimos más de 7.000 millones de personas...
Para satisfacer nuestras necesidades, la humanidad ha desarrollado una gran diversidad de técnicas muy avanzadas: Agricultura Ganadería Pesca Minería Aprovechamiento forestal Construcción Transporte Embalses, pozos, canales, balsas,... Saneamiento (recogida y depuración de aguas residuales) Recogida y disposición de residuos Producción, almacenamiento y transporte de energía,...
Pero estos procesos necesitan utilizar unos recursos escasos... Suelo, para: construcción transporte agricultura y ganadería bosques... Energía Agua dulce Petroleo, gas, minerales madera, piedra,.. etc... Muchos de ellos limitados ó no renovables a la misma velocidad que los consumimos
Y además tienen graves impactos sobre el medio ambiente... Invasión de suelo natural. Expansión urbana acelerada Contaminación de agua, aire, suelos,... Destrucción de hábitats Emisión de gases de efecto invernadero > cambio climático Talas y deforestación Desmontes Vertidos..
Por tanto, no tenemos más remedio que... Gestionar adecuadamente y mejorar la producción y el reparto de recursos renovables (alimentos, agua potable,...) Disminuir al máximo la utilización de los recursos no renovables (petroleo, gas,...) Disminuir los efectos negativos sobre el medio ambiente SOSTENIBILIDAD
Satélites de observación de la tierra De dónde proceden los datos? ven la energía no visible. Adquieren datos sistemáticamente Complementan otras fuentes de datos 9
Cuando la luz del sol (I) llega a una superficie, esta la refleja Los satélites de observación de la tierra captan la luz reflejada, que contiene información sobre los objetos, en varias longitudes de onda (bandas) 10
80 70 60 Firmas espectrales agua vegetación arena hormigón nieve % reflectividad 50 40 30 20 10 0 0,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 2,2 2,4 (m) Vis NIR SWIR 11
Hay muchísimos satélites de observación diseñados específicamente para divresas aplicaciones Y además, otros datos recogidos desde aviones, en tierra o en el mar 12
Aplicaciones a la Agricultura Ej: Control de ayudas de la PAC 13
Agricultura de precisión Las imágenes informan al agricultor de: Cuanto hay que regar Cuanto hay que abonar plagas etc... 14
Aplicaciones forestales 1972 1989 1993 1998 Ej: Control de deforestación por talas ilegales en la Amazonía 15
Prevención y seguimiento de incendios forestales Envisat/Meris Evaluación de riesgos: mapas de uso de suelo, combustibilidad de la cubierta vegetal, humedad del suelo, información meteorológica Detección de incendios Estimación de daños y seguimiento de la regeneración de áreas quemadas 16
Y DESPUES DEL INCENDIO Mapa de clasificación de daños tras el incendio de La Gomera, verano del 2012. 17
Aplicaciones a la Oceanografía Clorofila marina Temperatura superficial del mar 18
Estudio de los usos del suelo 19
Proyecto CORINE Land Cover de la Unión Europea. Es una base de datos de cobertura y uso del suelo de toda la Unión Europea, hecha por fotointerpretación asistida por ordenador de imágenes Landsat utilizando fotos aéreas y otra información auxiliar. El coordinador para España de este proyecto es el Instituto Geográfico Nacional 20
Inundaciones Cartografía de áreas susceptibles (mapas de zonas potencialmente inundables) Seguimiento de las fases secuenciales de la inundación (lluvia, deshielo, accidente) Estimación de daños (cartografía de zonas inundadas) Seguimiento, regeneración y reconstrucción de áreas afectadas JULIO 1993 21
Vertido contaminante en Doñana (Aznalcollar,1998) Spot 4 28/3/98 4/5/98 22
Detección de vertidos de hidrocarburos Seguimiento de la mancha Estimación de daños en la zona intermareal Regeneración (limpieza ) de áreas afectadas (Prestige, Nov.2002) 23
2. Programas de observación de la tierra europeos y mundiales
Copernicus el programa europeo de Observación de la Tierra Mejorar nuestro conocimiento del medio ambiente cambio climático calidad de la atmósfera océanos ayuda a actividades agrícolas Mejorar nuestra seguridad gestión de catástrofes naturales sostenibilidad Garantizar la EUROPA VISTA DESDE UN SATÉLITE 26
The Sentinel constellation Sentinel 1 Sentinel 2 Sentinel 3 Sentinel 4 Sentinel 5 PLUS Contributing Missions Third party EO missions offering their data to Copernicus (EU/ESA MSs, EUMETSAT, commercial, international) AND High Precision Ocean Altimetry (HPOA) mission Copernicus Programme Committee Bruxelles 29 November 2013 Sentinel 6 (Jason CS) 27
Copernicus Programme Committee Bruxelles 29 November 2013 29
Sentinel 1: satélite radar (Abril 2014) Adquiere imágenes independientemente de: las condiciones de iluminación (diurnas, nocturnas) de las condiciones meteorológicas (nubes, niebla, lluvia) Imágenes disponibles en menos de 3 días desde su adquisición (emergencias: en menos de 24 h) Vigilancia del medio marino: vertidos de petróleo desplazamientos de bloques de hielo detección de embarcaciones (seguridad marítima) ayuda a misiones humanitarias Riesgo de desplazamientos de terreno 30
Sentinel 2: satélite óptico de alta resolución (2014) Adquiere imágenes visibles e infrarrojas (13 bandas) Imágenes de 290 km de ancho, resolución de 10 a 20 m Alta Revisita (10 días) 7 IRS Imagen IR Vigilancia del medio terrestre: Catástrofes naturales (inundaciones, incendios ) Mapas de uso del suelo Vegetación Bosques Planificación urbana Gestión del agua SPOT 1-5 31
Sentinel 3: color + temperatura + altímetro radar (2014) Imágenes ópticas y térmicas (21+9 bandas); de 1270 a 1675 km de ancho, resolución de 300 a 500 m IRS Medidas altimétricas precisas (3 cm). Alta Revisita (4 días) 7 Vigilancia del medio marino y terrestre: Color y temperatura del agua (nutrientes, contaminación, corrientes marinas ) Topografía marina Vigor de la vegetación Temperatura del suelo Incendios Cambio climático SPOT 1-5 32
35
Satélites indios de observación de la tierra 39
40
3. El Plan Nacional de Observación del Territorio en España (PNOT)
PNT El Plan Nacional de Teledetección
Spanish National Remote Sensing Program (PNT) provides regular coverage of Spanish territory with satellite imagery, present and historical Geometric and radiometric processing by experts of Spanish scientific community Acquired and processed once Multi-user licenses for all Spanish public Institutions, making possible the massive use of remote sensing These coverages are structured in high, medium and low spatial resolutions. IGN Spain, together with INTA, coordinates this Program Number of images /year: 250 SPOT5 P(2.5m) + 250 SPOT5 XS 800 Landsat 5 / Deimos + MODIS/MERIS (soon) http://www.ign.es/pnt/ 44
Procesado
2005 2006 2007 2008 Ejemplo 1: Evolución costa de Málaga con SPOT 5 anual 46
Productos PNT ALTA RESOLUCIÓN MEDIA RESOLUCIÓN BAJA RESOLUCIÓN -Escenas originales pancromáticas -Escenas originales multiespectrales -Escenas pancromáticas georreferenciadas -Escenas multiespectrales georreferenciadas (remuestreo bi) -Escenas multiespectrales georreferenciadas (remuestreo nn) -Escenas fusionadas 4 bandas -Escenas realzadas pseudocolor natural SIOSE comprimidas ECW -Escenas realzadas FC Corine comprimidas ECW -Escenas realzadas FC Clásico comprimidas ECW -Escenas realzadas pseudocolor natural comprimidas ECW -Mosaico pseudocolor natural SIOSE comprimida ECW -Mosaico falso color clásico comprimida ECW -Mosaico falso color corine comprimida ECW -Metadatos -Escenas originales -Escenas corregidas geométricamente -Escenas en reflectividades -Parámetros biofísicos -Metadatos -Escenas originales -Escenas corregidas geométricamente -Escenas en reflectividades -Parámetros biofísicos -Metadatos 47 47
http://www.ign.es/pnt/ http://blogpnt.wordpress.com/ 48
Almacenamiento ALTA resolución MEDIA resolución MEDIA resolución Histórica BAJA resolución MUY BAJA resolución ESPACIO TOTAL ANUAL ESPACIO en TB 2005 2006 2007 2008 2009 2010 2011 2012 6 3 3 6 6 6 36 36 0 1 17 17 17 30 20 20 1 1 1 1 0 0 0 0 6 3 3 7 44 44 54 67 NUMERO DE FICHEROS 2005 2006 2007 2008 2009 2010 2011 2012 20.576 2.128 2.128 118.496 2.276.756 2.276.756 2.168.004 3.228.804 49
Productos del PNT. Landsat histórico PRODUCTOS Unidades por cobertura MB por unidad Cob. Anual Años GB TOTAL Nº Ficheros ORI Escenas originales (TM) 51 300 20 18 5508 18360 Escenas originales (MSS) 51 15 20 17 257 17340 GEO Escenas corregidas geometricamente (TM) 51 650 20 18 11934 18360 Escenas corregidas geometricamente (MSS) 51 32 20 17 557 17340 CAT Escenas en reflectividades (TM) 51 650 20 18 11934 18360 Escenas en reflectividades (MSS) 51 32 20 17 557 17340 PBF Parámetro biofísico n (TM) 51 500 20 18 9180 91800 Parámetro biofísico n (MSS) 51 25 20 17 428 86700 MET Metadatos ISO 19115 Estimación TOTAL de LANDSAT histórico (35 años): Espacio almacenamiento: 39,9 TB Imágenes: 35.700 escenas Productos disponibles: 285.600 escenas (valores estimados considerando 5 parámetros biofísicos) 50
Programa Nacional de Observación de la Tierra por Satélite - PNOTS XIV Congreso Asociación Española Teledetección (21 de septiembre de 2011) Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)
OBJETIVO GENERAL Y CARACTERÍSTICAS PNOTS OBJETIVO GENERAL Desarrollo coordinado para el desarrollo, financiación y explotación de un satélite Óptico (INGENIO) y un satélite SAR (PAZ). Dos satélites: SEOSAT/Ingenio (tecnología óptica) & SEOSAR/PAZ (tecnología radar - SAR). Primer Programa europeo público con ambas tecnologías: óptica y radar (SAR). Operador gubernamental español: HISDESAT/INTA. Segmento terreno común: INTA. Autonomía e independencia para España en la obtención de datos de satélite. Uso dual (civil y militar). Participación de España con activos propios en programas internacionales (GMES, MUSIS). Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)
PRINCIPALES CARACTERÍSTICAS PNOTS INGENIO/SEOSAT Sistema dual, contribución a GMES. Operativo en 2014 1 banda PAN y 4 bandas MS (RGB, NIR) imágenes de 60 x 60 km resolución PAN: 2.5 m resolución MS: 10m nº de imágenes diarias: ~500 LTDN ± 10:30 horas Acceso lateral ±35 Ciclo repetición: 38 días Mínimo tiempo de revisita: 3 días (con ángulo de visión de 35º) Masa: ± 750 kg PAZ Sistema dual, contribución a GMES Operativo en 2012 Modos de adquisición Spot ( 10 X 5 km @ 1m) Scan ( 100 km @ 15m) Stripmap ( 30 km @ 3m) Más de 200 imágenes al día SEGMENTO TIERRA Segmento terreno común ubicado en el INTA. Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)
SEOSAT / Ingenio (Launch : 2016) Future Spanish High resolution satellite Sistema dual (civil-militar) Vida útil: 7 años. Masa: ± 750 kg. Potencia: 800W MAX Imágenes de alta resolución (2.5m PAN 10m MX:R, G, B, NIR) Ancho de barrido en suelo 60 km Órbita polar heliosíncrona. Altura ~670Km. LTDN ± 10h Acceso lateral ±35 Ciclo de repetición: 38 días Mínimo tiempo de revisita: 3 días (con ángulo de visión de 35º) Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)
El Plan Nacional de Ortofotografía Aérea (PNOA) En marcha desde 2004 Vuelo Fotogramétrico digital multiespectral con NIR con pixel 50 cm o 25 cm Frecuencia de actualización: 3 años Modelo Digital del Terreno y de Superficies con precisión altimétrica de 2 m EMC / 1m 55
Cobertura de ortofoto 25 50cm Años 2014-2016 2 abril 2014 REUNION IGN-CNI
Cobertura de ortofoto 25 50cm SITUACION ACTUAL DE LA COBERTURA DE ORTOFOTO 80 TB ALMACENADOS EN SERVIDOR: 3 COBERTURAS NACIONALES COMPLETAS (imágenes aéreas comprimidas) 4ª COBERTURA A LA MITAD (imágenes aéreas comprimidas) ÚLTIMA COBERTURA DE ORTOFOTOS VALIDADA (comprimidas) + MDE 900 TB ALMACENADOS EN DISCOS DUROS PROXIMAS VALIDACIONES Resto de zonas voladas en 2013: Andalucía Norte Extremadura Sur 2 abril 2014 REUNION IGN-CNI
Vuelo Lidar de España: 2009-2014 Datos Lidar (0,5pulsos/m2; RMSE=15cm) Ficheros LAS 62.864.000.000 puntos /año
LiDAR Periodo 2008-2013 4.474 km 2 volados en 2008 173.850 km 2 volados en 2009 188.000 km 2 volados en 2010 24.403 km 2 volados en 2011 29.767 km 2 volados en 2012 Finalización: 2015 60 TB ALMACENADOS EN DISCOS DUROS Y SERVIDORES
UAVs para fotogrametría 60
5. Soluciones de almacenamiento, cálculo y diseminación masivas
Almacenamiento y backup de datos On line: RAID, Fibre Channel, SAN, NAS, robots de cintas LTO... Off line: Discos SATA 62
Almacenamiento y distribución de productos ALMACENAMIENTO ALTA RESOLUCIÓN MEDIA RESOLUCIÓN BAJA RESOLUCIÓN 1 COBERTURA ANUAL: 22 COBERTURAS ANUALES: COBERTURAS HISTÓRICAS: 1 COBERTURA ANUAL: 334 escenas 3.400 productos 1.020 escenas 4.100 productos 27.000 escenas 110.000 productos 1.825 escenas 3.900 productos 2,3 Tb / año 1 Tb / año 55 Tb (histórico) 1,2 Tb / año VISUALIZACIÓN DISTRIBUCIÓN Enviar solicitud alta a pnt@ign.es DESCARGA mediante registro de usuarios IBERPIX FTP Coberturas SPOT disponibles IDEE 2005 2006 2007 2008 2009 65 65
6. Soluciones y tecnologías Big Data en observación de la tierra
7. El proyecto europeo Big Data SenSyF
Promoting Earth Observation Services SenSyF Sentinels Synergy Framework
Promoting Earth Observation Services Infraestuctura para procesar un gran volumen de datos del Programa Copernicus (datos Sentinel) Herramientas de procesado paralelo y cloud-computing Enfocado a proveedores de servicios Duración: 36 meses (Nov. 2012- Oct. 2016) SIETE SERVICIOS A IMPLEMENTAR Usuarios de los servicios son: http://sensyf.eu/ Empresas (SME s), instituciones y científicos
Promoting Earth Observation Services IMPLEMENTACIÓN Cloud-based Infrastructure o Escalable o Basado en ESA s G-POD (Grid Processing On Demand) Interface Layer o Herramientas de acceso a bases de datos o Acceso a librerías de procesado de datos comunes o Plataforma de visualización web (Basada en Glovisat) Servicios o Inicialmente se implementarán 7 servicios demostrativos
Promoting Earth Observation Services SenSyF SDK (Service Development Kit) SenSyF SDK proporciona un kit de desarrollo de software a los proveedores de servicios: o Funciones de procesamiento en paralelo o Herramientas de acceso a bases de datos (Imágenes y datos Sentinels principalmente) o Herramientas para acceder a datos de test o Herramientas más comunes de pre-procesado de datos o Herramientas para el análisis y difusión de resultados (FTP, Web, etc.) Proporciona una API que sirve de interface entre el framework y los servicios desarrollados en diversos lenguajes de programación (C++, Java, Python, Matlab...) Las funciones son paralelizadas para explotar la infraestructura (Cloud Framework) mediante Hadoop Streaming Los Servicios usarán las herramientas cloud computing de forma transparente y de acuerdo a sus necesidades
Promoting Earth Observation Services SenSyF SDK (Service Development Kit) El SDK está disponible dentro de la máquina virtual (VM) de cada servicio Los servicios acceden al SDK usando la API, que está disponible en varios lenguajes de programación El uso de la infraestructura es sencillo y transparente para los servicios Varias librerías y toolboxes externas pueden ser utilizadas a través de la API (GDAL, BEAM, ORFEO, NEST,...)
Promoting Earth Observation Services Participantes DEIMOS: o Dirección o Interface layer (SenSyF SDK) y S6 Terradue: o Cloud Infrastructure Framework Instituto Geográfico Nacional (IGN): o Desarrollo de S4 ACRI-ST: Northern Research Institute: o Desarrollo de S2 y S3 Instituto Superior Técnico: o Desarrollo de S6 University of Valencia: o Desarrollo de S5 ARGANS Desarrollo de S7 o Desarrollo de S1
Promoting Earth Observation Services SenSyF Services S1: Monitorización de aguas continentales Monitorizar la calidad y cantidad del agua en las reservas continentales (ríos, lagos, embalses) ARGANS S2: Monitorización etapa de crecimiento de vegetación en zonas alpinas y árticas Monitorizar la fase de crecimiento de la vegetación en zonas alpinas y del Ártico del norte de Europa Norut S3: Hielo / deshielo del suelo Clasificación de zonas heladas y de deshielo en suelos basado en Sentinel-1 y 3 Norut S4: Integración espectro temporal Integración espectro-temporal de datos de reflectancia de varios sensores IGN-CNIG (Spain)
Promoting Earth Observation Services SenSyF Services S5: Clasificación de cobertura del suelo y detección de cambios multitemporal Pretende demostrar el potencial de los Sentinels para aplicaciones multitemporales. Aplicaciones: Detección de nubes multitemporal y Clasificación del suelo multitemporal Universidad de Valencia S6: Soporte a la agricultura Soporte a agricultores y asociaciones agrícolas para mejorar la gestión del riego Deimos + Instituto Superior Tecnico S7: Gestión del paisaje Introducir datos de teledetección en los sistemas de gestión del paisaje (parques naturales, zonas urbanas, etc.) ARGANS XV Congreso de la AET INTA Madrid, 22-24 Oct.2013
S4: Spectro-temporal integration cloud removal and generation of synthetic daily composites A few cloudy satellite images 365 cloud-free images
8. Modelos de negocio Big Data en observación de la tierra
La información geoespacial en el S. XXI Los usuarios quieren información: -simple -eficaz -útil - fiable - precisa - a tiempo - en el momento que la necesitan - económica (a ser posible gratis) - segmentada - dirigida a grupos o casos concretos Los usuarios no quieren (ni se les puede vender ya) datos: - complejos - inconexos - incoherentes - incompletos - inadecuados - insuficientes - tardíos - caros
Modelos de negocio Modelos de negocio antiguos: se basan en fomentar y gestionar la escasez de información, y en limitar el acceso a la misma (Ej: licencias de uso restrictivas, ) Modelos de negocio nuevos: basados en gestionar la abundancia de información y en fomentar el acceso masivo, constante, ubicuo y gratuito (aparentemente) a la misma (Ejs: Google, wikipedia, google, youtube, facebook, : - descubrir, organizar, mezclar - hacer interoperable, hacer comprensible - convertir datos en información - servir por internet - archivar, jerarquizar, valorar, filtrar, rellenar huecos -..
9. Dificultades a superar
Dificultades para la transición: Software comercial (licencias por CPU) vs Sofware libre Windows vs Linux Programación en C#, Matlab vs C++, Java, Python Paralelización (Hadoop, ) Procesos interactivos vs fully automated y caja negra etc, etc, etc.
Promoting Earth Observation Services Muchas gracias http://sensyf.eu/ XV Congreso de la AET INTA Madrid, 22-24 Oct.2013