Cosas que hacer en compañía de OpenStreetMap

Transcripción

1 Cosas que hacer en compañía de OpenStreetMap Alexandre Busquets, Laura Olivas, Pep Sitjar, Toni Hernández (1) Servicio de Sistemas de Información Geográfica y Teledetección (SIGTE), Facultat de Lletres, Universitat de Girona, Plaça Ferrater i Mora, 1, Girona, sigte@sigte.udg.edu. RESUMEN OpenStreetMap es mucho más que una colección e datos. En este artículo veremos, en primer lugar, que datos podemos descargar de OpenStreetMap y como los podemos descargar de manera totalmente personalizada y siguiendo criterios totalmente customatizables. Además de la descarga veremos otras herramientas que añaden valor a OSM ya sea como Editores, Importadores a bases de datos, servicios de geolocalización, Renderización de imágenes, algoritmos de routing, etc. Palabras clave: osm, descarga, importacion a bases de datos, renderización, routing ABSTRACT OpenStreetmap is more than a mere collection of data. In this article we will see, not only what kind of data is available to download, but how to download it. Trom pre-generating extracts to customizable queries using OSM API's. Besides we will introduce a set of free tools that we can use on top of osm data allowing us to give osm data new uses and possibilities like importing data to spacial databases, rendering images, routing applications, etc. Key words: osm, download, import to database, rendering, routing INTRODUCCIÓN Este estudio de las cosas que podemos hacer en compañía de OpenStreetMap surge de la necesidad del SIGTE, como servicio dentro de la Universitat de Girona, de ofrecer a la comunidad universitaria nuevos servicios cartográficos basados en datos libres y, más concretamente, en OpenStreetMap: desde la elaboración de mapas en formato papel hasta aplicaciones informáticas como la publicación de mapas, renderizado de capas personalizadas, routing, etc. En este artículo veremos que posibilidades nos brida OpenStreetMap y cuales son las principales herramientas que permiten operar con esos datos. Las herramientas que aparecen en este artículo se pueden agrupar en función de los siguiente usos: - Datos disponibles y vías de descarga. Desde datos pre-generados hasta la descarga más personalizada en tiempo real - Posibilidades para la generación y edición de datos

2 - Publicación en la red de mapas personalizados mostrando cartografía de OSM - Importación de datos OSM a bases de datos - Renderización de imágenes a partir de estilos definidos por el usuario - Routing - Programación avanzada de aplicaciones 1. Datos disponibles y descarga. Existen tres tipos de ficheros listos para ser descargados. -planet.osm. Este fichero, que ocupa alrededor de 26Gb en formato comprimido (pbf), contiene toda la cartografía de OpenStreetMap para todo el planeta y se genera semanalmente. -history.osm. Este fichero (39Gb en formato comprimido) se genera con menos frecuencia que el fichero planet y contiene toda la historia de la base de datos de OSM. Este fichero, por lo tanto, contiene tanto las inserciones de nodos como las modificaciones y eliminaciones. Con este fichero, pues, podemos reproducir la cartografía existente de OSM en una fecha concreta del pasado. -Ficheros diff. Debido al gran volumen de datos manejados en OpenStreetMap, existen una serie de ficheros diferenciales (.diff) que contienen las modificaciones de la base de datos llevadas a cabo durante un período de tiempo concreto (inserciones, modificaciones, eliminaciones). OpenStreetMap genera estos ficheros diferenciales cada minuto, cada hora y cada día. Aplicando el contenido de estos ficheros diferenciales podemos mantener nuestros datos actualizados de manera más cómoda y eficiente. Si lo que queremos es llevar a cabo descargas más personalizadas (por país, región, ciudad, etc) podemos descargar extractos pregenerados de la base de datos original. Estos extractos se pueden descargar desde sitios de terceros que OSM pone a nuestra disposición en su wiki ( Pero si todavía queremos personalizar más nuestras descargas (por zonas más concretas o por la tipología de les entidades como carreteras principales, parques, etc), OSM nos ofrece también la posibilidad de utilizar sus API s (Xpai, Overpass API) que gracias a su interfaz REST permiten la descarga de esos datos mediante la generación de URL s. Veamos un ejemplo de petición para cada API. Xapi: Descarga de datos por bounding box. Petición HTTP: Overpass API: Descarga de datos por proximidad a las entidades con nobre Bonn Petición basada en un formulario con lenguaje propio de la API.

3 node["name"="bonn"]; node (around:1000) ["name"="gielgen"]; out body; 2. Generación y edición de datos. OSM es un proyecto colaborativo para crear y proveer datos geográficos libres a nivel mundial. La principal manera de participar en esta iniciativa es editando el mapa ya sea capturando los datos geográficos a través de dispositivos GPS y móvil o utilizando otras fuentes de datos abiertas. Actualmente, los datos OpenStreetMap están bajo licencia Open Database Licence (ODbL). Esto significa que el usuario es libre de copiar, distribuir y adaptar los datos como sea necesario, pero siempre manteniendo la misma licencia. Editar el mapa de OpenStreetMap es el proceso de realizar cambios en los datos geográficos existentes como por ejemplo, añadir nuevas vías, introducir puntos de interés (POIs) que no estén presentes en el mapa, definir las características para cada elemento, o incluso modificar los datos en el caso que sean incorrectos. Al tratarse de un proyecto de mapeo colaborativo (también llamado crowdsourcing), cada usuario es libre de incorporar la información que considere necesaria, siempre que se respeten una serie de normalizaciones consensuadas por la comunidad OSM. Debido a su naturaleza, el mapa de OpenStreetMap tiene un nivel de detalle normalmente muy alto. Cada elemento del mapa tiene asociada una o varias etiquetas (o tags) que nos dan las características espaciales del objeto concreto. Contienen información acerca el tipo de elemento que hemos dibujado (si se trata de una autopista, un sendero, un árbol, un museo ), características físicas (número de carriles de una vía, tipo de superficie del suelo, ), u otra información adicional. En la página wiki Map Features se recogen una serie de recomendaciones sobre cómo etiquetar los elementos geográficos para que el mapa pueda ser interpretado correctamente. Figura1. Flujo recomendado. Fuente: Map Compare. Geofabrik tools

4 Para empezar a colaborar en el proyecto OpenStreetMap es necesario registrarse en la página principal ( El flujo de trabajo para generar datos OpenStreetMap es el siguiente: 1. Captura y adquisición de datos: Es posible utilizar tanto fuentes datos abiertas como generando nosotros mismos la información geográfica. 2. Generación y edición de datos: Existen distintos editores para introducir información a la base de datos de OpenStreetMap. 3. Etiquetado de los datos: Es una parte muy importante del proceso de edición de los datos. Se trata de añadir las etiquetas o propiedades de los elementos que hemos dibujado para poder interpretar la información del mapa. 4. Generación el mapa: Es la última fase de la edición, en la que una vez dibujados o modificados los elementos del mapa, deberemos validar los cambios y subirlos a la base de datos de OpenStreetMap. A continuación se presentan las características de los principales editores OpenStreetMap. En la wiki de OSM aparece una lista más completa de los editores ( Editor web Potlacth: Editor online disponible en la web de OpenStreetMap. Permite realizar ediciones simples y de forma rápida ya que los cambios se almacenan directamente al servidor de OpenStreetMap. Dispone de herramientas básicas para la edición de elementos, así como el etiquetado de los mismos. Editor avanzado JOSM: Es el editor offline más utilizado ya que permite crear tanto ediciones básicas como más complejas. Permite cargar tracks GPS propios o externos, guardar conjuntos de datos en formato.osm (sin subirlos al servidor), añadir cartografía base de otras fuentes de datos permitidas, añadir extensiones, validar la topología de los datos, etc. Merkaartor: Es un editor de OSM para Unix, Windows y Mac. Tiene algunas funcionalidades que otros editores no tienen como la transparencia de los elementos.

5 Tabla 1: Principales editores Pros Contras Potlacth Muy intuitivo y fácil de utilizar. Curva de aprendizaje baja Permite realizar ediciones sencillas desde la web. Los cambios se actualizan directamente al servidor OpenStreetMap No permite realizar una edición avanzada de los elementos del mapa No permite modificar grandes conjuntos de datos No es posible trabajar offline Posibilidad de utilizar tracks GPS como una nueva capa Disponible en varios idiomas Dispone de un modo de edición básica y avanzada Posibilidad de editar los datos en modo offline Posibilidad de añadir cartografía base de otras fuentes de datos abiertas Requiere instalación del software Curva de aprendizaje más alta La actualización de las modificaciones realizadas en el mapa no es inmediata. Permite modificar grandes conjuntos de datos JOSM Posibilidad de introducir fotografías y grabaciones de voz realizadas en el trabajo de campo Dispone de una herramienta para la validación topológica y de etiquetado de los datos. Permite la resolución de conflictos en el caso que dos usuarios estén editando los mismos datos simultáneamente Disponible en varios idiomas

6 Merkaartor Tiene algunas características únicas como la transparencia de los elementos Posibilidad de añadir cartografía base de otras fuentes de datos permitidas Los estilos de las etiquetas se pueden modificar Posibilidad de guardar los mapas renderizados en formato.svg y.bmp. En desarrollo, no hay una versión estable Curva de aprendizaje media No disponible en castellano Menos popular que JOSM Requiere instalación del software 3. Publicación en la red de mapas personalizados. La publicación en la red de mapas es una de las tareas más habituales que se llevan a cabo sobre datos OSM. Gracias a herramientas libres como Leaflet u OpenLayers (por citar dos de las más extendidas) podemos, en pocas líneas de código, generar mapas para nuestras páginas web, blogs, etc. Estas herramientas están desarrolladas en código Javascript que se ejecuta en la parte cliente, por lo que estos mapas no tienen ningún requerimiento en la parte servidor y se pueden aplicar a cualquier página de la red. A continuación se muestra el código necesario para, haciendo uso de la API de Leaflet, generar un mapa que muestre la cartografía de OSM con la vista inicial que le indiquemos (nivel de zoom y coordenadas iniciales del mapa). Figura 2. Mapa web con LeafLet Como se aprecia en el código, solo es necesario cambiar un par de líneas para obtener nuestro propio mapa en el que podemos mostrar nuestra empresa, negocio, etc.

7 4. Importación de datos OSM a bases de datos Existen varias herramientas para la importación de datos en formato.osm a bases de datos. Las principales son osm2pgsql, osmosis, imposm y nominatim. Estas herramientas están pensadas para organizar los datos (dentro de las bases de datos) siguiendo unos esquemas diseñados para unos usos muy concretos. Por ejemplo, las herramientas osm2pgsql y imposm está diseñadas para que generen unas bases de datos muy eficientes de caras a la renderización. Otras herramientas como nominatim generan un esquema diseñado para la geocodificación, etc. Cada herramienta, pues, genera un esquema. Las características principales de estos esquemas son tres: Que sean actualizables. Un esquema actualizable es aquel que permite aplicar ficheros.diff. De este modo es posible mantener la base de datos actualizada. Que contengan geometrías predefinidas. Dentro de la base de datos, las geometrías pueden estar ya calculadas, o bien, pueden estar almacenadas en forma de nodos y relaciones entre nodos. En este segundo caso, antes de representar cada geometría, ésta debe antes ser calculada a partir de esos nodos y relaciones. Que contenga todos los atributos (integral). En la base de datos de OSM existen algunos atributos relacionados con los usuarios editores. Estos atributos no tienen ningún uso, por ejemplo, si lo que queremos hacer es renderizar esos datos. Por esta razón, algunas herramientas descartan estos atributos durante el proceso de instalación. En la siguiente tabla se muestran las principales herramientas de importación de datos.osm junto con sus características más importantes. Algunas herramientas como osmosis (una especie de navaja suiza para formatos.osm) permite utilizar más de un esquema. Tabla 2: Herramientas de importación. Herramienta Uso Schema Uso de Diff Geometrías Integral pregeneradas osm2pgsql Renderizar osm2pgsql Sí Sí No osmosis Mirroring apidb Sí No Sí osmosis Análisis pgnapshot Sí Sí No imposm Renderizar imposm No Sí No osm2pgsql Geocoding nominatim Sí Sí Sí Dos de las herramientas más utilizadas son : osm2pgsql y imposm. Como se ve en la tabla 1, ambas fueron concebidas para la renderización de imágenes, motivo por el cual, contienen las geometrías predefinidas. Cada una de esas herramientas dispone de un fichero de configuración que permite flexibilizar (hasta cierto punto) la importación. En el caso de osm2pgsql disponemos del fichero default.style. Su

8 equivalente para imposm es defaultmapping.py. En términos generales, estos ficheros permiten indicar qué clase de atributos queremos importar a qué tabla. El siguiente ejemplo muestra una porción del fichero defaultmapping.py en el que se indica que deseamos importar, en la tabla towers, las entidades cuyo nombre sea igual a towers y que además tengan en el atributo man_made alguno de los valores tower, water_tower. También estamos indicando que deseamos crear en nuestra tabla tower un nuevo atributo de tipo entero con el contenido del atributo height. towers = Points( name = 'towers', mapping = {'man_made': ('tower', 'water_tower') } fields = ( ('height', Integer()), ) ) 5. Renderización y estilos La renderización es la conversión de los datos a imagen. Durante el proceso de renderización se definen qué datos incluir en la imagen (en función de sus atributos), y su estilo (color, grosor, color del borde, simbología, escala del mapa en la que debe aparecer un elemento, escala del mapa en la que debe desaparecer, etc). La complejidad de la renderización de datos OSM viene determinada principalmente por tres factores: la complejidad de cada estilo, la gran variedad de elementos distintos que contiene OSM y, en tercer lugar, el hecho de que cada nivel de zoom (hasta 22) puede tener asignados unos estilos propios para cada elemento del mapa. Es fácil pues, imaginar el esfuerzo requerido durante la renderización. La herramienta utilizada para este proceso es mapnik (disponible tanto en sistemas windows como linux). Mapnik, además de incorporar unos estilos muy versátiles, nos da la posibilidad de particionar las imágenes generadas en teselas para agilizar el tránsito en la red. De este modo las imágenes transferidas son de menor tamaño y la navegación del mapa gana fluidez. Mapnik reconoce formatos de entrada muy diversos (PostGIS, shp, tiff, formatos OGR, GDAL, raster, etc) y permite generar imágenes de salida en formato png, jpg, pdf, svg, tiff, etc. Si bien la generación de estilos es un proceso muy laborioso existen herramientas como TileMill que permiten agilizar esos procesos mediante una interfaz gráfica y amigable. Tilemill, incluye en su instalación a mapnik como motor de renderizado. Dentro de TileMill podemos cargar el proyecto OSMBright que contiene unos estilos para OpenStreetMap ya definidos. De este modo, podemos personalizar nuestros datos partiendo ya de una definición previa y centrándonos únicamente en los elementos que queremos destacar o customizar. 6. Routing

9 Actualmente existen muchas herramientas para el cálculo de rutas óptimas mediante datos de OpenStreetMap tanto para dispositivos de sobremesa como para dispositivos móviles y tanto para entornos de red como en entornos offline. Una de las herramientas más fáciles de utilizar para un usuario medio es osm2po. Osm2po es una herramienta desarrollada en Java (multiplataforma) que permite, mediante la ejecución de sencillos comandos, la importación de datos.osm y la creación de un servicio web para atender las peticiones de cálculos de ruta óptimas en un entorno web tal y como se aprecia en la siguiente imagen. Figura 1: osm2po. Interfaz web. Otra herramienta, para un perfil de usuario un poco más avanzado, es osm2pgrouting. Osm2pgrouting, disponible en sistemas linux, permite importar datos.osm a una base de datos PostgreSQL/PostGIS. Además genera la estructura de grafo (como una tabla más) necesaria para el cálculo de rutas optimas. Al disponer del grafo podemos modificar los costes asociados a las conexiones entre nodos y, de este modo, personalizar las rutas según las necesidades en cada caso. Osm2pgrouting requiere, además, de una base de datos de tipo PostGIS, las funciones de pgrouting. pgrouting extiende una base de datos espacial PostgreSQL/PostGIS para incluir la funcionalidad de cálculo de rutas. 7. Herramientas avanzadas

10 Además de las herramientas vistas en este artículo, existe toda una serie de herramientas disponibles para usuarios con perfiles de programación. Estas herramientas (librerías, widgets y frameworks) permiten desarrollar nuevas aplicaciones en distintos lenguajes de programación. Entre algunas de estas herramientas encontramos: Librerías para distintos lenguajes de programación. Java, Perl, PHP, PHP, Python, R, Ruby imposm parser, osmread, J2memap, libosm, libosm, libosmscout, libroadnav, MapJumper, osm4routing, OSMLib, OsmSharp... Widgets. Elementos incrustables en aplicaciones. BruTile, COSMCtrl, Halcyon, JXMapViewer, JmapViewer, JXMapKit, kogutowicz, libchamplain, Mapsforge... Frameworks. Entornos de desarrollo. CloudMade, Osmium, Osmosis, OSMNavigation, libosm CONCLUSIONES Como hemos ido viendo a lo largo de este articulo, OpenStreetMap es algo más que una colección de datos que podemos descargar de la red. Además de la propia descarga y edición de datos, existen herramientas que permiten dar a OSM un recorrido mucho más amplio permitiendo la posibilidad de generar distintas aplicaciones, tanto online como offline, con componente espacial libre. Ente estas aplicaciones destacan las herramientas de renderización de imágenes con mapnik, tilemill y osmbright y las herramientas para el cálculo de rutas optimas muy habituales en la industria automovilística. El estado de evolución de la cartografía OpenStreetMap ha favorecido la aparición de nuevas herramientas, cuyo resultado ha enriquecido más si cabe el valor intrínseco de la propia cartografía. Algo muy habitual en los proyectos colaborativos de software Libre.