Big Data en la Observación de la Tierra mediante satélites y sensores aéreos. Participación del IGN en el Proyecto

Transcripción

1 Promoting Earth Observation Services Big Data en la Observación de la Tierra mediante satélites y sensores aéreos. Participación del IGN en el Proyecto europeo FP7 SenSyf Guillermo Villa Instituto Geográfico Nacional Foro Big Data. Cloud & Network Future XXI 14. Madrid, 22 de Abril de 2014

2 1. La observación de la tierra desde satélites y sensores aerotransportados

3 La tierra es un planeta muy variado...

4 ...en el que vivimos más de millones de personas...

5 Para satisfacer nuestras necesidades, la humanidad ha desarrollado una gran diversidad de técnicas muy avanzadas: Agricultura Ganadería Pesca Minería Aprovechamiento forestal Construcción Transporte Embalses, pozos, canales, balsas,... Saneamiento (recogida y depuración de aguas residuales) Recogida y disposición de residuos Producción, almacenamiento y transporte de energía,...

6 Pero estos procesos necesitan utilizar unos recursos escasos... Suelo, para: construcción transporte agricultura y ganadería bosques... Energía Agua dulce Petroleo, gas, minerales madera, piedra,.. etc... Muchos de ellos limitados ó no renovables a la misma velocidad que los consumimos

7 Y además tienen graves impactos sobre el medio ambiente... Invasión de suelo natural. Expansión urbana acelerada Contaminación de agua, aire, suelos,... Destrucción de hábitats Emisión de gases de efecto invernadero > cambio climático Talas y deforestación Desmontes Vertidos..

8 Por tanto, no tenemos más remedio que... Gestionar adecuadamente y mejorar la producción y el reparto de recursos renovables (alimentos, agua potable,...) Disminuir al máximo la utilización de los recursos no renovables (petroleo, gas,...) Disminuir los efectos negativos sobre el medio ambiente SOSTENIBILIDAD

9 Satélites de observación de la tierra De dónde proceden los datos? ven la energía no visible. Adquieren datos sistemáticamente Complementan otras fuentes de datos 9

10 Cuando la luz del sol (I) llega a una superficie, esta la refleja Los satélites de observación de la tierra captan la luz reflejada, que contiene información sobre los objetos, en varias longitudes de onda (bandas) 10

11 Firmas espectrales agua vegetación arena hormigón nieve % reflectividad ,4 0,6 0,8 1 1,2 1,4 1,6 1,8 2 2,2 2,4 (m) Vis NIR SWIR 11

12 Hay muchísimos satélites de observación diseñados específicamente para divresas aplicaciones Y además, otros datos recogidos desde aviones, en tierra o en el mar 12

13 Aplicaciones a la Agricultura Ej: Control de ayudas de la PAC 13

14 Agricultura de precisión Las imágenes informan al agricultor de: Cuanto hay que regar Cuanto hay que abonar plagas etc... 14

15 Aplicaciones forestales Ej: Control de deforestación por talas ilegales en la Amazonía 15

16 Prevención y seguimiento de incendios forestales Envisat/Meris Evaluación de riesgos: mapas de uso de suelo, combustibilidad de la cubierta vegetal, humedad del suelo, información meteorológica Detección de incendios Estimación de daños y seguimiento de la regeneración de áreas quemadas 16

17 Y DESPUES DEL INCENDIO Mapa de clasificación de daños tras el incendio de La Gomera, verano del

18 Aplicaciones a la Oceanografía Clorofila marina Temperatura superficial del mar 18

19 Estudio de los usos del suelo 19

20 Proyecto CORINE Land Cover de la Unión Europea. Es una base de datos de cobertura y uso del suelo de toda la Unión Europea, hecha por fotointerpretación asistida por ordenador de imágenes Landsat utilizando fotos aéreas y otra información auxiliar. El coordinador para España de este proyecto es el Instituto Geográfico Nacional 20

21 Inundaciones Cartografía de áreas susceptibles (mapas de zonas potencialmente inundables) Seguimiento de las fases secuenciales de la inundación (lluvia, deshielo, accidente) Estimación de daños (cartografía de zonas inundadas) Seguimiento, regeneración y reconstrucción de áreas afectadas JULIO

22 Vertido contaminante en Doñana (Aznalcollar,1998) Spot 4 28/3/98 4/5/98 22

23 Detección de vertidos de hidrocarburos Seguimiento de la mancha Estimación de daños en la zona intermareal Regeneración (limpieza ) de áreas afectadas (Prestige, Nov.2002) 23

24

25 2. Programas de observación de la tierra europeos y mundiales

26 Copernicus el programa europeo de Observación de la Tierra Mejorar nuestro conocimiento del medio ambiente cambio climático calidad de la atmósfera océanos ayuda a actividades agrícolas Mejorar nuestra seguridad gestión de catástrofes naturales sostenibilidad Garantizar la EUROPA VISTA DESDE UN SATÉLITE 26

27 The Sentinel constellation Sentinel 1 Sentinel 2 Sentinel 3 Sentinel 4 Sentinel 5 PLUS Contributing Missions Third party EO missions offering their data to Copernicus (EU/ESA MSs, EUMETSAT, commercial, international) AND High Precision Ocean Altimetry (HPOA) mission Copernicus Programme Committee Bruxelles 29 November 2013 Sentinel 6 (Jason CS) 27

28

29 Copernicus Programme Committee Bruxelles 29 November

30 Sentinel 1: satélite radar (Abril 2014) Adquiere imágenes independientemente de: las condiciones de iluminación (diurnas, nocturnas) de las condiciones meteorológicas (nubes, niebla, lluvia) Imágenes disponibles en menos de 3 días desde su adquisición (emergencias: en menos de 24 h) Vigilancia del medio marino: vertidos de petróleo desplazamientos de bloques de hielo detección de embarcaciones (seguridad marítima) ayuda a misiones humanitarias Riesgo de desplazamientos de terreno 30

31 Sentinel 2: satélite óptico de alta resolución (2014) Adquiere imágenes visibles e infrarrojas (13 bandas) Imágenes de 290 km de ancho, resolución de 10 a 20 m Alta Revisita (10 días) 7 IRS Imagen IR Vigilancia del medio terrestre: Catástrofes naturales (inundaciones, incendios ) Mapas de uso del suelo Vegetación Bosques Planificación urbana Gestión del agua SPOT

32 Sentinel 3: color + temperatura + altímetro radar (2014) Imágenes ópticas y térmicas (21+9 bandas); de 1270 a 1675 km de ancho, resolución de 300 a 500 m IRS Medidas altimétricas precisas (3 cm). Alta Revisita (4 días) 7 Vigilancia del medio marino y terrestre: Color y temperatura del agua (nutrientes, contaminación, corrientes marinas ) Topografía marina Vigor de la vegetación Temperatura del suelo Incendios Cambio climático SPOT

33

34

35 35

36

37

38

39 Satélites indios de observación de la tierra 39

40 40

41

42 3. El Plan Nacional de Observación del Territorio en España (PNOT)

43 PNT El Plan Nacional de Teledetección

44 Spanish National Remote Sensing Program (PNT) provides regular coverage of Spanish territory with satellite imagery, present and historical Geometric and radiometric processing by experts of Spanish scientific community Acquired and processed once Multi-user licenses for all Spanish public Institutions, making possible the massive use of remote sensing These coverages are structured in high, medium and low spatial resolutions. IGN Spain, together with INTA, coordinates this Program Number of images /year: 250 SPOT5 P(2.5m) SPOT5 XS 800 Landsat 5 / Deimos + MODIS/MERIS (soon) 44

45 Procesado

46 Ejemplo 1: Evolución costa de Málaga con SPOT 5 anual 46

47 Productos PNT ALTA RESOLUCIÓN MEDIA RESOLUCIÓN BAJA RESOLUCIÓN -Escenas originales pancromáticas -Escenas originales multiespectrales -Escenas pancromáticas georreferenciadas -Escenas multiespectrales georreferenciadas (remuestreo bi) -Escenas multiespectrales georreferenciadas (remuestreo nn) -Escenas fusionadas 4 bandas -Escenas realzadas pseudocolor natural SIOSE comprimidas ECW -Escenas realzadas FC Corine comprimidas ECW -Escenas realzadas FC Clásico comprimidas ECW -Escenas realzadas pseudocolor natural comprimidas ECW -Mosaico pseudocolor natural SIOSE comprimida ECW -Mosaico falso color clásico comprimida ECW -Mosaico falso color corine comprimida ECW -Metadatos -Escenas originales -Escenas corregidas geométricamente -Escenas en reflectividades -Parámetros biofísicos -Metadatos -Escenas originales -Escenas corregidas geométricamente -Escenas en reflectividades -Parámetros biofísicos -Metadatos 47 47

48 48

49 Almacenamiento ALTA resolución MEDIA resolución MEDIA resolución Histórica BAJA resolución MUY BAJA resolución ESPACIO TOTAL ANUAL ESPACIO en TB NUMERO DE FICHEROS

50 Productos del PNT. Landsat histórico PRODUCTOS Unidades por cobertura MB por unidad Cob. Anual Años GB TOTAL Nº Ficheros ORI Escenas originales (TM) Escenas originales (MSS) GEO Escenas corregidas geometricamente (TM) Escenas corregidas geometricamente (MSS) CAT Escenas en reflectividades (TM) Escenas en reflectividades (MSS) PBF Parámetro biofísico n (TM) Parámetro biofísico n (MSS) MET Metadatos ISO Estimación TOTAL de LANDSAT histórico (35 años): Espacio almacenamiento: 39,9 TB Imágenes: escenas Productos disponibles: escenas (valores estimados considerando 5 parámetros biofísicos) 50

51 Programa Nacional de Observación de la Tierra por Satélite - PNOTS XIV Congreso Asociación Española Teledetección (21 de septiembre de 2011) Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

52 OBJETIVO GENERAL Y CARACTERÍSTICAS PNOTS OBJETIVO GENERAL Desarrollo coordinado para el desarrollo, financiación y explotación de un satélite Óptico (INGENIO) y un satélite SAR (PAZ). Dos satélites: SEOSAT/Ingenio (tecnología óptica) & SEOSAR/PAZ (tecnología radar - SAR). Primer Programa europeo público con ambas tecnologías: óptica y radar (SAR). Operador gubernamental español: HISDESAT/INTA. Segmento terreno común: INTA. Autonomía e independencia para España en la obtención de datos de satélite. Uso dual (civil y militar). Participación de España con activos propios en programas internacionales (GMES, MUSIS). Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

53 PRINCIPALES CARACTERÍSTICAS PNOTS INGENIO/SEOSAT Sistema dual, contribución a GMES. Operativo en banda PAN y 4 bandas MS (RGB, NIR) imágenes de 60 x 60 km resolución PAN: 2.5 m resolución MS: 10m nº de imágenes diarias: ~500 LTDN ± 10:30 horas Acceso lateral ±35 Ciclo repetición: 38 días Mínimo tiempo de revisita: 3 días (con ángulo de visión de 35º) Masa: ± 750 kg PAZ Sistema dual, contribución a GMES Operativo en 2012 Modos de adquisición Spot ( 10 X 5 1m) Scan ( m) Stripmap ( 30 3m) Más de 200 imágenes al día SEGMENTO TIERRA Segmento terreno común ubicado en el INTA. Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

54 SEOSAT / Ingenio (Launch : 2016) Future Spanish High resolution satellite Sistema dual (civil-militar) Vida útil: 7 años. Masa: ± 750 kg. Potencia: 800W MAX Imágenes de alta resolución (2.5m PAN 10m MX:R, G, B, NIR) Ancho de barrido en suelo 60 km Órbita polar heliosíncrona. Altura ~670Km. LTDN ± 10h Acceso lateral ±35 Ciclo de repetición: 38 días Mínimo tiempo de revisita: 3 días (con ángulo de visión de 35º) Jorge Lomba Ferreras / Jefe del Departamento de Industria de la Ciencia y Espacio (21/09/2011)

55 El Plan Nacional de Ortofotografía Aérea (PNOA) En marcha desde 2004 Vuelo Fotogramétrico digital multiespectral con NIR con pixel 50 cm o 25 cm Frecuencia de actualización: 3 años Modelo Digital del Terreno y de Superficies con precisión altimétrica de 2 m EMC / 1m 55

56 Cobertura de ortofoto 25 50cm Años abril 2014 REUNION IGN-CNI

57 Cobertura de ortofoto 25 50cm SITUACION ACTUAL DE LA COBERTURA DE ORTOFOTO 80 TB ALMACENADOS EN SERVIDOR: 3 COBERTURAS NACIONALES COMPLETAS (imágenes aéreas comprimidas) 4ª COBERTURA A LA MITAD (imágenes aéreas comprimidas) ÚLTIMA COBERTURA DE ORTOFOTOS VALIDADA (comprimidas) + MDE 900 TB ALMACENADOS EN DISCOS DUROS PROXIMAS VALIDACIONES Resto de zonas voladas en 2013: Andalucía Norte Extremadura Sur 2 abril 2014 REUNION IGN-CNI

58 Vuelo Lidar de España: Datos Lidar (0,5pulsos/m2; RMSE=15cm) Ficheros LAS puntos /año

59 LiDAR Periodo km 2 volados en km 2 volados en km 2 volados en km 2 volados en km 2 volados en 2012 Finalización: TB ALMACENADOS EN DISCOS DUROS Y SERVIDORES

60 UAVs para fotogrametría 60

61 5. Soluciones de almacenamiento, cálculo y diseminación masivas

62 Almacenamiento y backup de datos On line: RAID, Fibre Channel, SAN, NAS, robots de cintas LTO... Off line: Discos SATA 62

63

64

65 Almacenamiento y distribución de productos ALMACENAMIENTO ALTA RESOLUCIÓN MEDIA RESOLUCIÓN BAJA RESOLUCIÓN 1 COBERTURA ANUAL: 22 COBERTURAS ANUALES: COBERTURAS HISTÓRICAS: 1 COBERTURA ANUAL: 334 escenas productos escenas productos escenas productos escenas productos 2,3 Tb / año 1 Tb / año 55 Tb (histórico) 1,2 Tb / año VISUALIZACIÓN DISTRIBUCIÓN Enviar solicitud alta a pnt@ign.es DESCARGA mediante registro de usuarios IBERPIX FTP Coberturas SPOT disponibles IDEE

66 6. Soluciones y tecnologías Big Data en observación de la tierra

67

68

69

70

71

72

73

74

75

76

77

78

79 7. El proyecto europeo Big Data SenSyF

80 Promoting Earth Observation Services SenSyF Sentinels Synergy Framework

81 Promoting Earth Observation Services Infraestuctura para procesar un gran volumen de datos del Programa Copernicus (datos Sentinel) Herramientas de procesado paralelo y cloud-computing Enfocado a proveedores de servicios Duración: 36 meses (Nov Oct. 2016) SIETE SERVICIOS A IMPLEMENTAR Usuarios de los servicios son: Empresas (SME s), instituciones y científicos

82 Promoting Earth Observation Services IMPLEMENTACIÓN Cloud-based Infrastructure o Escalable o Basado en ESA s G-POD (Grid Processing On Demand) Interface Layer o Herramientas de acceso a bases de datos o Acceso a librerías de procesado de datos comunes o Plataforma de visualización web (Basada en Glovisat) Servicios o Inicialmente se implementarán 7 servicios demostrativos

83 Promoting Earth Observation Services SenSyF SDK (Service Development Kit) SenSyF SDK proporciona un kit de desarrollo de software a los proveedores de servicios: o Funciones de procesamiento en paralelo o Herramientas de acceso a bases de datos (Imágenes y datos Sentinels principalmente) o Herramientas para acceder a datos de test o Herramientas más comunes de pre-procesado de datos o Herramientas para el análisis y difusión de resultados (FTP, Web, etc.) Proporciona una API que sirve de interface entre el framework y los servicios desarrollados en diversos lenguajes de programación (C++, Java, Python, Matlab...) Las funciones son paralelizadas para explotar la infraestructura (Cloud Framework) mediante Hadoop Streaming Los Servicios usarán las herramientas cloud computing de forma transparente y de acuerdo a sus necesidades

84 Promoting Earth Observation Services SenSyF SDK (Service Development Kit) El SDK está disponible dentro de la máquina virtual (VM) de cada servicio Los servicios acceden al SDK usando la API, que está disponible en varios lenguajes de programación El uso de la infraestructura es sencillo y transparente para los servicios Varias librerías y toolboxes externas pueden ser utilizadas a través de la API (GDAL, BEAM, ORFEO, NEST,...)

85 Promoting Earth Observation Services Participantes DEIMOS: o Dirección o Interface layer (SenSyF SDK) y S6 Terradue: o Cloud Infrastructure Framework Instituto Geográfico Nacional (IGN): o Desarrollo de S4 ACRI-ST: Northern Research Institute: o Desarrollo de S2 y S3 Instituto Superior Técnico: o Desarrollo de S6 University of Valencia: o Desarrollo de S5 ARGANS Desarrollo de S7 o Desarrollo de S1

86 Promoting Earth Observation Services SenSyF Services S1: Monitorización de aguas continentales Monitorizar la calidad y cantidad del agua en las reservas continentales (ríos, lagos, embalses) ARGANS S2: Monitorización etapa de crecimiento de vegetación en zonas alpinas y árticas Monitorizar la fase de crecimiento de la vegetación en zonas alpinas y del Ártico del norte de Europa Norut S3: Hielo / deshielo del suelo Clasificación de zonas heladas y de deshielo en suelos basado en Sentinel-1 y 3 Norut S4: Integración espectro temporal Integración espectro-temporal de datos de reflectancia de varios sensores IGN-CNIG (Spain)

87 Promoting Earth Observation Services SenSyF Services S5: Clasificación de cobertura del suelo y detección de cambios multitemporal Pretende demostrar el potencial de los Sentinels para aplicaciones multitemporales. Aplicaciones: Detección de nubes multitemporal y Clasificación del suelo multitemporal Universidad de Valencia S6: Soporte a la agricultura Soporte a agricultores y asociaciones agrícolas para mejorar la gestión del riego Deimos + Instituto Superior Tecnico S7: Gestión del paisaje Introducir datos de teledetección en los sistemas de gestión del paisaje (parques naturales, zonas urbanas, etc.) ARGANS XV Congreso de la AET INTA Madrid, Oct.2013

88 S4: Spectro-temporal integration cloud removal and generation of synthetic daily composites A few cloudy satellite images 365 cloud-free images

89 8. Modelos de negocio Big Data en observación de la tierra

90 La información geoespacial en el S. XXI Los usuarios quieren información: -simple -eficaz -útil - fiable - precisa - a tiempo - en el momento que la necesitan - económica (a ser posible gratis) - segmentada - dirigida a grupos o casos concretos Los usuarios no quieren (ni se les puede vender ya) datos: - complejos - inconexos - incoherentes - incompletos - inadecuados - insuficientes - tardíos - caros

91 Modelos de negocio Modelos de negocio antiguos: se basan en fomentar y gestionar la escasez de información, y en limitar el acceso a la misma (Ej: licencias de uso restrictivas, ) Modelos de negocio nuevos: basados en gestionar la abundancia de información y en fomentar el acceso masivo, constante, ubicuo y gratuito (aparentemente) a la misma (Ejs: Google, wikipedia, google, youtube, facebook, : - descubrir, organizar, mezclar - hacer interoperable, hacer comprensible - convertir datos en información - servir por internet - archivar, jerarquizar, valorar, filtrar, rellenar huecos -..

92 9. Dificultades a superar

93 Dificultades para la transición: Software comercial (licencias por CPU) vs Sofware libre Windows vs Linux Programación en C#, Matlab vs C++, Java, Python Paralelización (Hadoop, ) Procesos interactivos vs fully automated y caja negra etc, etc, etc.

94 Promoting Earth Observation Services Muchas gracias XV Congreso de la AET INTA Madrid, Oct.2013