Cuando un servicio o una aplicación se basa en datos de OpenStreetMap, la “frescura” de los datos no es suficiente. También es necesario poder integrar los cambios con un nivel de confianza adaptado a los usos previstos.
Ese es el papel de Clearance, un software libre desarrollado por Teritorio: filtrar los cambios de OSM antes de su integración en una base de datos replicada, para asegurar su reutilización.
La versión 0.5 marca una etapa importante en la madurez técnica del proyecto. Interesará, por supuesto, a los usuarios actuales de Clearance, pero también refuerza su interés para proyectos que se apoyan en datos OSM en usos exigentes: cálculo de rutas, redes ciclistas, infraestructura viaria, accesibilidad, servicios de emergencia y aplicaciones profesionales.
En estos contextos, los datos OSM no se muestran únicamente en un mapa. Alimentan cadenas de tratamiento, análisis, servicios de enrutamiento o herramientas de ayuda a la decisión. La cuestión no es solo disponer de datos actualizados, sino poder integrar los cambios de OSM con un nivel de confianza adaptado a cada uso. Clearance v0.5: hacer más fiables las reutilizaciones exigentes de los datos de OpenStreetMap.
Breve recordatorio de lo que hace Clearance
Clearance sigue modificaciones temáticas y territoriales en OSM, y mantiene actualizados extractos, diffs y una API Overpass local.
- Clearance evalúa las modificaciones mediante reglas de calidad configurables. Estas reglas pueden basarse en las etiquetas OSM, los metadatos, la geometría, los usuarios contribuidores o las características de los changesets.
- Los cambios conformes se aplican automáticamente a la base de datos replicada. Los cambios sospechosos se retienen. Después deben corregirse directamente en OSM o ser aprobados manualmente por revisores.
- Todas las contribuciones a los datos se realizan únicamente en OSM. La revisión y la corrección de los cambios sospechosos se llevan a cabo de forma colaborativa por el equipo responsable del tema y del territorio correspondientes.
Clearance no valida únicamente los objetos de forma individual. Utiliza el concepto de LoCha: un conjunto de modificaciones relacionadas, agrupadas espacialmente, para que los controles de calidad tengan en cuenta la coherencia local, tanto geográfica como semántica.
Qué cambia con la versión 0.5
La versión 0.5 introduce varios cambios importantes. Refuerzan la capacidad de Clearance para analizar los cambios OSM en su contexto, garantizar la coherencia de los datos aceptados y facilitar el trabajo de los curadores de datos.
Rediseño del motor LoCha
El motor LoCha ha sido profundamente rediseñado.
Ahora utiliza los objetos modificados conectados topológicamente como un nivel de análisis más fino. Esto ayuda a mojorar la coherencia de los datos de cambio aceptados.
Después, LoCha utiliza una agrupación por distancia con otros objetos, para asegurar la coherencia semántica con los cambios cercanos.
Los LoCha se dividen luego de forma recursiva hasta alcanzar un tamaño aceptable, antes de la conflación entre las versiones antigua y nueva de los datos OSM.
Este cambio es importante para las reutilizaciones exigentes de OSM. Permite que Clearance no razone solo objeto por objeto, sino que tenga mejor en cuenta conjuntos coherentes de modificaciones relacionadas.
Conflación semántica trasladada a una biblioteca externa
El núcleo de la conflación semántica de los cambios OSM antes/después se ha trasladado a una biblioteca externa: https://github.com/teritorio/openstreetmap-logical-history
Esta biblioteca también cuenta con su propia herramienta en línea. Para probarla, empeza eligiendo un ejemplo: https://teritorio.github.io/openstreetmap-logical-history-component
Esta separación hace que este componente técnico sea más legible, más reutilizable y más fácil de movilizar en otros contextos relacionados con el historial lógico de OpenStreetMap.
Nuevo validador “Delayed”
Se ha añadido un nuevo validador “Delayed”.
Retiene los cambios recientes antes de la sincronización y acepta automáticamente los cambios más antiguos. Este mecanismo permite mantener temporalmente apartadas las modificaciones aún “calientes”, potencialmente discutidas o todavía en curso de estabilización.
Esta funcionalidad es importante para usos operativos. Algunos cambios recientes en OSM pueden ser perfectamente válidos, pero aun así puede ser útil dejar pasar un tiempo antes de integrarlos en una base de datos replicada utilizada por un servicio profesional, una aplicación, un calculador de rutas o una cadena de tratamiento.
Nuevo validador “Invalid Geometry”
También se ha añadido un validador “Invalid Geometry”.
Permite detectar ways OSM o polígonos autointersecantes, así como otros problemas geométricos.
Este tipo de control es importante cuando los datos OSM se consumen automáticamente en bases de datos locales, API o cadenas de tratamiento. Una geometría inválida puede perturbar tratamientos espaciales, exportaciones, análisis, servicios de cálculo o aplicaciones de enrutamiento.
Rendimiento y controles de integridad
Se ha mejorado el rendimiento de la base de datos.
También se han añadido autocontroles de integridad de los datos. Como el flujo de trabajo de datos de Clearance no es simple, se han implementado herramientas y controles de base de datos que van más allá de las claves foráneas, para garantizar que ningún dato se pierda o se vuelva inválido.
Este trabajo refuerza Clearance como componente robusto de tratamiento para reutilizadores que necesitan fiabilidad en sus cadenas de datos OSM.
Feed Atom filtrable para curadores
Se ha añadido un feed Atom, con capacidades de filtrado, para facilitar el trabajo de los curadores de datos.
Permite seguir más fácilmente los cambios retenidos, revisarlos, corregirlos o validarlos, especialmente para los equipos responsables de un tema o de un territorio determinado.
Un desarrollo apoyado por la NLnet Foundation
Esta versión fue financiada parcialmente por NGI Zero Core, de la NLnet Foundation.
Este apoyo contribuye a consolidar Clearance como software libre al servicio de reutilizaciones exigentes de OpenStreetMap, con un principio central: las correcciones de datos se hacen en OSM, no en una base paralela.
También con el apoyo de la NLnet Foundation, la próxima versión se centrará en la implementación de validaciones sobre objetos relacionados, con dos ejes principales:
- objeto duplicado: evitar la introducción de objetos duplicados en los datos;
- cambios topológicos de red: evitar romper la continuidad de una red o crear sobreconexiones.
Estos próximos desarrollos son especialmente importantes para usos relacionados con redes, transporte, infraestructura viaria, ciclismo, enrutamiento o servicios de emergencia.
Demo y código fuente
- Más información sobre Clearance: https://clearance.teritorio.xyz/en
- Código fuente e imágenes Docker: https://github.com/teritorio/clearance
- Instancia pública de demostración: https://app.clearance.teritorio.xyz
- También puede solicitarnos que añadamos una nueva zona de demostración.