Publicació de dades i serveis d ADRECES conformes a INSPIREutilitzant FME

Transcripción

1 Publicació de dades i serveis d ADRECES conformes a INSPIREutilitzant FME Oficina Tècnica de Cartografia i SIG Local ÀREA DE TERRITORI I SOSTENIBILITAT Josefina Saez Burgaya Marta Codinachs Serra FME World Tour Barcelona 11 d abril de

2 Publicació de dades i serveis d ADRECES conformes a INSPIRE utilitzant FME Antecedents Procés FMEde transformació a INSPIREAD Generació automàtica dels fitxers zip/gml Publicació del servei ATOM Feed Decisions i aspectes rellevants Conclusions

3 Antecedents Fitxers: Múltiples formats Cartografia no contínua Càrrega fitxers a base de dades via FME desktop Estructura homogènia Territori continu Operacions massives EPSG:23031 Reprojecció coordenades via FME desktop Canvi a EPSG:25831 a massivament (tota la carto. de la BD!!) Requeriment de treballar subconjunts dades en fitxers Extracció de BD a fitxer via FME Server Formats Sist. coord. Subconjunts atributs Subconjunts territori Publicar dades INSPIRE Transformació via FME INSPIRE Solution Pack Facilita molt!! Programat via Scheduler FME Server

4 Antecedents ANNEX I 1. Coordinate ref. systems 2. Geographical grid systems 3. Geographical names 4. Administrative units 5. Addresses 6. Cadastral parcels 7. Transport networks 8. Hydrography 9. Protected sites ANNEX II 1. Elevation 2. Land cover 3. Orthoimagery 4. Geology ANNEX III 1. Statistical units 2. Buildings 3. Soil 4. Land use 5. Human health and safety 6. Utility and governmental services 7. Environmental monitoring facilities 8. Production and industrial facilities 9. Agricultural and aquaculture facilities 10. Population distribution demography 11. Area management/restriction/regulation zones and reporting units 12. Natural risk zones 13. Atmospheric conditions 14. Meteorological geographical features 15. Oceanographic geographical features 16. Sea regions 17. Bio-geographical regions 18. Habitats and biotopes 19. Species distribution 20. Energy resources 21. Mineral resources

5 Procés FME de transformació a INSPIRE AD

6 Procés FME de transformació a INSPIRE AD automatitzable fàcil de mantenir no patir per les evolucions d INSPIRE unificat en 1 únic sw

7 Procés FME de transformació a INSPIRE AD Addresses Mapping Table.xml

8 Procés FME de transformació a INSPIRE AD FME + INSPIRE Solution Pack

9 Procés FME de transformació a INSPIRE AD Visió general del workflow del fitxer.fmw

10 Procés FME de transformació a INSPIRE AD 1. Lectura de les dades a Oracle (Locator) Readers: Oracle SpatialObjecti Oracle Non-Spatial Les taules de Portals i Edificis tenen geometria: Oracle Spatial Object La taula de Viesno té geometria: Oracle Non-Spatial

11 Procés FME de transformació a INSPIRE AD 2. Accions prèvies a la transformació Obtenir totes les dades necessàries abans d iniciar la transformació (unitats pobl., zones postals, etc.) Operacions amb transformadors FME com Merge, creació i rename d atributs, etc.

12 Procés FME de transformació a INSPIRE AD 3. Transformació a INSPIRE Utilitza els transformadors propis d FME INSPIRE Solution Packque faciliten moltíssim la tasca Exemple: generació d elements a partir dels CodeList d INSPIRE

13 Procés FME de transformació a INSPIRE AD 3. Transformació a INSPIRE Exemple: canviar el valor levelde adadminunitname fàcil!!!

14 Procés FME de transformació a INSPIRE AD 3. Transformació a INSPIRE INSPIREGML_IdentifierSetter: from attribute, timestamp, void, etc. INSPIREGML_LifeSpanSetter INSPIRE_ValiditySetter adaddress.status, adaddresscomponent.status adgeographicposition.method: list (byadministrator, byotherparty, etc.) adgeographicposition.specification: list (building, entrance, parcel, etc.) GeometryPropertySetter: GeometryName position{0}.geographicposition.geometry adadminunitname.level: from attribute, list(1storder.. 6thOrder)...

15 Procés FME de transformació a INSPIRE AD 4. Escriptura dels elements al fitxer GML S escriuen els següents elements al Writerde tipus GML: Address (portal i/o edifici) ThoroughfareName (via) PostalDescriptor (codi postal) AdminUnitName (municipi) AddressAreaName (unitat població)

16 Procés FME de transformació a INSPIRE AD 5. Control de qualitat Aplica validacions per detectar possibles anomalies a la informació generada Envia mailinformatiu a la bústia que li hem indicat control de qualitat

17 Procés FME de transformació a INSPIRE AD 6. Activació procés de LOG A través del transformador FMEServerJobSubmitters executa un procés que inserta informació a una taula de logde la nostra base de dades En aquest cas hi guardem el nom del procés, el municipi, l SRS, el format i la data

18 Generació automàtica de tots els fitxers zip/gml Programat a FME Server per executar-se periòdicament

19 Generació automàtica de tots els fitxers zip/gml 1. Detecta municipis amb canvis a la cartografia adreces 2. Crida al procés de transformació: municipi i EPSG: Crida al procés de transformació: municipi i EPSG:4285

20 Publicació del servei ATOM Feed 1 fitxer pel servei SPADBADATOM.atom.xml 268 fitxers pels datasets SPADBADATOM_08001.atom.xml

21 Decisions i aspectes rellevants 1. AddressRepresentation: Per representar al mapa, però no és un gml:abstractfeature no pot anar al fitxer GML. Ho substituïm pel addressidentifiergeneralque conté el camp PORTAL composat. 2. Ordre dels elements del Portal: No hi ha cap restricció a INSPIREsobre l ordre dels elements dins d una adreça. AddressNumberi addressnumberextensiond un mateix portal no se sap a quin número pertany cada complement. Ex. 18B-20 : el complement B no se sap si pertany al número 18 o al 20 S ha forçat un ordre amb Pythondins.fmw(només útil a nivell visual) Hem afegit addressidentifiergeneral: conté el Portal composat 3. SRS: INSPIRE obliga a publicar-ho amb EPSG:4258. Admet altres SRS addicionals Els generem amb EPSG:4258 (lat/lon) i també EPSG:25831 (X/Y) Ordre coordenades en funció de l SRS: control amb script Python

22 Decisions i aspectes rellevants 4. Identificadors: Jeràrquics a partir de SPA.DB.AD. Exemple: Unitat administrativa: codi INE municipi. <ad:adminunitname gml:id="spa.db.ad.08246"> Unitat poblacional: codi INE unitat pobl. <ad:addressareaname gml:id="spa.db.ad "> Carrer: codi via DIBA. <ad:thoroughfarename gml:id="spa.db.ad "> Adreça: codi portal/edifici DIBA. <ad:address gml:id="spa.db.ad "> Geometria: mateix codi que Adreça però amb un sufix (gml:id ha de ser únic!). <gml:point gml:id="spa.db.ad "> Codi postal: codi Correus. <ad:postaldescriptorgml:id="spa.db.ad.08552"> 5. Nom i compressió dels fitxers generats: tot des del Fanout Dataset Nom fitxer: inclou codi INE municipi Nom fitxer: inclou SRS Compressió: comprimeix el GML a.zip i esborra el.gml(gran volum!!!!) Ex: SPA_DB_AD_INSPIRE_08246_25831.zip, pel municipi i SRS 25831

23 Decisions i aspectes rellevants 6. Directoris: Directori treball (servidor A) i directori on es publiquen (servidor B) Moure fitxers d A a B: Shutdown Python Script dins del mateix workflow transf. Directori on es publiquen GML(zip) i ATOM: accessible via web (http)

24 Decisions i aspectes rellevants 7. Fitxers FME(.fmw) involucrats DIBA_AD_INSPIRE_ONE.fmw: Tansformaciócompleta per 1 municipi i 1 SRSgeneral.GML(zip) Disponible a FME Server DIBA_AD_INSPIRE_DIFF.fmw: Busca els municipis amb canvis a les adreces i crida 2 cops a DIBA_AD_INSPIRE_ONE.fmw(paràmetres: MUN_INE + SRS1 i MUN_INE + SRS2). Mou els fitxers al servidor públic (ATOM Feed) Està a FME Server Scheduler i s executa cada periòdicament (setmana) DIBA_AD_INSPIRE_ALL.fmw: Busca tots els municipis que tenen portals i/o edificis i crida 2 cops a DIBA_AD_INSPIRE_ONE.fmw(paràmetres MUN_INE + SRS1 i MUN_INE + SRS2) Temps per generar 536 fitxers.zip(268 municipis, un fitxer per cada SRS): 58 DIBA_AD_AtomFeed.fmw: A partir de les metadades del servei SPADBADATOM del catàleg (CSW) genera: 1 fitxer atom.xml pel servei: SPADBADATOM.atom.xml 268 fitxers pels datasets: SPADBADATOM_<mun_ine>.atom.xml (1 per mun.)

25 Conclusions 1 únic procés automatitzat, programat a FME Server, desatès transformació FME INSPIRE SolutionPack: molt fàcil d entendre i de mantenir, parametritzat evolucions d INSPIRE: upgrade versió FME INSPIRE Solution Pack

26 gràcies!