Clearance v0.5 : fiabiliser les réutilisations exigeantes des données OpenStreetMap

Quand un service ou une application s’appuie sur les données d’OpenStreetMap, la « fraîcheur » des données ne suffit pas. Il faut aussi pouvoir intégrer les changements avec un niveau de confiance adapté aux usages.

C’est le rôle de Clearance, logiciel libre développé par Teritorio : filtrer les changements OSM avant leur intégration dans une base répliquée, afin de sécuriser leur réutilisation.

La version 0.5 marque une étape importante dans la maturité technique du projet. Elle intéressera bien sûr les utilisateurs actuels de Clearance, mais elle renforce aussi son intérêt pour les projets qui s’appuient sur les données OSM dans des usages exigeants : calcul d’itinéraires, réseaux cyclables, voirie, accessibilité, services d’urgence, applications métiers.

Dans ces contextes, les données OSM ne sont pas seulement affichées sur une carte. Elles alimentent des chaînes de traitement, des analyses, des services de routage ou des outils d’aide à la décision. La question n’est donc pas seulement de disposer de données à jour, mais de pouvoir intégrer les changements OSM avec un niveau de confiance adapté aux usages.

Bref rappel de ce que fait Clearance

Clearance suit des modifications thématiques ou territoriales dans OSM, puis maintient à jour des extraits, des diffs et une API Overpass locale.

• Clearance évalue les modifications à partir de règles qualité configurables. Ces règles peuvent porter sur les tags OSM, les métadonnées, la géométrie, les utilisateurs contributeurs ou les caractéristiques des changesets.
• Les changements conformes sont appliqués automatiquement à la base répliquée. Les changements suspects sont retenus. Ils doivent ensuite être corrigés directement dans OSM ou approuvés manuellement par des relecteurs.
• Toutes les contributions aux données se font uniquement dans OSM. La revue et la correction des changements suspects se font de manière collaborative par l’équipe responsable du thème et du territoire concernés.

Clearance ne valide pas seulement les objets individuellement. Il utilise le concept de LoCha : un ensemble de modifications liées, regroupées spatialement, afin que les contrôles qualité tiennent compte de la cohérence locale (géographique et sémantique).

Ce que change la version 0.5

La version 0.5 introduit plusieurs évolutions importantes. Elles renforcent la capacité de Clearance à analyser les changements OSM dans leur contexte, à sécuriser les données acceptées et à faciliter le travail des curateurs.

Refonte du moteur LoCha

Le moteur LoCha a été profondément revu.

Il utilise désormais les objets modifiés connectés topologiquement comme niveau d’analyse plus fin. Cela permet de mieux garantir la cohérence des données de changement acceptées.

LoCha utilise ensuite un regroupement par distance avec les autres objets, afin d’assurer une cohérence sémantique avec les changements proches.

Les LoCha sont ensuite découpés récursivement jusqu’à atteindre une taille acceptable, avant la conflation entre les anciennes et les nouvelles versions des données OSM.

Cette évolution est importante pour les réutilisations exigeantes d’OSM. Elle permet à Clearance de ne pas raisonner seulement objet par objet, mais de mieux prendre en compte des ensembles cohérents de modifications liées.

Externalisation de la conflation sémantique

Le cœur de la conflation sémantique des changements OSM avant/après a été déplacé dans une bibliothèque externe : https://github.com/teritorio/openstreetmap-logical-history

Cette bibliothèque dispose également de son propre outil en ligne. Pour le tester, il suffit de commencer par choisir un exemple : https://teritorio.github.io/openstreetmap-logical-history-component

Cette séparation rend cette brique technique plus lisible, plus réutilisable et plus facilement mobilisable dans d’autres contextes liés à l’historique logique d’OpenStreetMap.

Nouveau validateur “Delayed”

Un nouveau validateur “Delayed” a été ajouté.

Il retient les changements récents avant synchronisation et accepte automatiquement les changements plus anciens. Ce mécanisme permet de conserver temporairement à l’écart les modifications encore “chaudes”, potentiellement contestées ou encore en cours de stabilisation.

Cette fonctionnalité est importante pour des usages opérationnels. Certains changements OSM récents peuvent être parfaitement valides, mais il peut être utile de leur laisser un délai avant qu’ils ne soient intégrés dans une base répliquée utilisée par un service métier, une application, un calculateur ou une chaîne de traitement.

Nouveau validateur “Invalid Geometry”

Un validateur “Invalid Geometry” a également été ajouté.

Il permet de détecter les ways OSM ou polygones auto-sécants, ainsi que d’autres problèmes géométriques.

Ce type de contrôle est important lorsque les données OSM sont consommées automatiquement dans des bases locales, des API ou des chaînes de traitement. Une géométrie invalide peut perturber des traitements spatiaux, des exports, des analyses, des services de calcul ou des applications de routage.

Performances et contrôles d’intégrité

Les performances de la base de données ont été améliorées.

Des auto-contrôles d’intégrité des données ont également été ajoutés. Le workflow de données de Clearance n’étant pas simple, des outils et des contrôles de base de données allant au-delà des seules clés étrangères ont été mis en place afin de garantir qu’aucune donnée ne soit perdue ou rendue invalide.

Ce travail renforce la robustesse de Clearance comme brique de traitement pour des réutilisateurs qui ont besoin de fiabilité dans leurs chaînes de données OSM.

Flux Atom filtrable pour les curateurs

Un flux Atom, avec des capacités de filtrage, a été ajouté afin de faciliter le travail des curateurs de données.

Il permet de suivre plus facilement les changements retenus, leur revue, leur correction ou leur validation, en particulier pour les équipes qui suivent un thème ou un territoire donné.

Un développement soutenu par la NLnet Foundation

Cette version a été partiellement financée par NGI Zero Core, porté par la NLnet Foundation.

Ce soutien contribue à consolider Clearance comme logiciel libre au service de réutilisations exigeantes d’OpenStreetMap, avec un principe central : les corrections de données se font dans OSM, et non dans une base parallèle.

Toujours avec le soutien de la NLnet Foundation, la prochaine version se concentrera sur la mise en œuvre de validations portant sur les objets liés, avec deux axes principaux :

• objet dupliqué : éviter l’introduction d’objets dupliqués dans les données ;
• changements topologiques de réseau : éviter de rompre la continuité d’un réseau ou de créer des connexions excessives.

Ces prochains développements sont particulièrement importants pour des usages liés aux réseaux, aux transports, à la voirie, au vélo, au routage ou aux services d’urgence.

Démo et code source

• Code source et images Docker : https://github.com/teritorio/clearance
• Instance publique de démonstration : https://app.clearance.teritorio.xyz
  • Vous pouvez également nous demander d’ajouter une nouvelle zone de démonstration.
• Pour en savoir plus sur Clearance : https://clearance.teritorio.xyz/en