Archives par mot-clé : josm

Un jour, j’ai voulu voir à quel point OSM était à jour concernant les bornes de recharge électrique, et ce qu’il existait comme jeu de données à disposition. C’est alors que je me suis lancé dans un recensement, puis dans la lecture du wiki concernant les bonnes pratiques à propos de l’intégration de jeux de données ouverts.

• contribuer sur le site du projet du mois sur les IRVE. https://projetdumois.fr/projects/2020-03_evcharging
• mettre à contribution ma fille sur le projet du mois et sur JOSM
• lire plein de doc, en commençant par les guidelines d’import. https://wiki.openstreetmap.org/wiki/FR:Import/Guidelines
• voir qu’Enedis se vante d’avoir raccordé 110 000 points de charge à l’été 2023, mais que l’open data n’en comporte que 44 000, soit moins de la moitié. Le Gireve est censé réunir les infos, mais rien n’est ouvert par défaut. Cet organisme n’a jamais souhaité publier de jeux de données au public. L’association OSM France en a fait la demande pour en discuter dès 2015 mais n’a jamais obtenu le moindre entretien.
• fouiller les jeux de données à utiliser. trouver des tas de liens morts dans des sites de documentation sur l’open data.
• causer avec les autres gens qui ont déjà poncé le sujet sur le canal matrix-telegram osm-fr.
• lire la doc produite par les autres gens.
• voir l’existant du boulot déjà réalisé et de la documentation à disposition concernant les bornes de recharge, la correspondance attendue entre les données ouvertes et les tags OSM. La conversion du fichier de données qui liste des points de charge et des stations de recharge par Jungle Bus / nlehuby. France/data.gouv.fr/Bornes de Recharge pour Véhicules Électriques – OpenStree…
• fouiller les libs utilisées habituellement par les personnes dont la data scionnnnce est le métier. me décider à opter pour de la bidouille très lisible et commentée en nodejs àpartir de fichiers geojson.
• découvrir qu’il est archi courant que les données ouvertes soient d’une piètre qualité, les témoignages de gens qui ont déjà bossé avec depuis longtemps en attestant. C’est assez incroyable à quel point les jeux de données sont produits sans cohérence (et de plein de façons pourries différentes) comparé à ce qui en est attendu, même quand la documentation et qu’un outil de validation sont mises à disposition. Il semble qu’ils soient produits par des tas de gens différents, mais visiblement pas des gens à l’aise avec l’informatique, qui font des tableaux dans des poweurpouaint et les envoient en screenshot dans un pdf. C’est assez impressionant d’amateurisme et étonnament compliqué.
• espérer que ce ne sont pas les mêmes énergumènes qui sont aux commandes pour ce qui concerne les choses stratégiques à la survie des gens du pays.
• trouver une procédure qui permette de n’ajouter que des informations dont on peut estimer qu’elles sont bonnes en s’inspirant des analyses faites par Osmose.

tykayn/mapping-geojson-osm: Conversion de jeux de données geojson en tags OSM…

• lire des documentations sur les bonnes pratiques dans l’open data, pleine de liens morts.
• trouver un moyen de mettre à jour l’existant tout en faisant de la mise en qualité, se renseigner sur la conflation. https://www.openstreetmap.org/user/Lejun/diary/400790

JOSM/Plugins/Conflation – OpenStreetMap Wiki

• créer un compte dédié à l’intégration: Bender l’importateur.
• faire un essai de conflation sur un seul point de recharge avec succès.
• jouer avec OpenRefine et le jeu de données conseillé.
• recevoir direct un commentaire qui me fait remarquer que cette contribution est pas terrible.
• s’apercevoir que j’ai ajouté des tags qui n’ont rien à voir avec les tags osm, mettre encore moins d’informations dans les données à ajouter.
• constater avec horreur que même les valeurs censées être booléennes ne sont pas cohérentes avec des variations dans la casse, des fois true/false, et des fois 1 ou 0.
• développer des scripts pour sonder la saleté du jeu de données en rapportant des valeurs uniques par colonne, et en sortir un fichier utilisable dans l’éditeur JOSM pour comparer visuellement les données disponibles dans OSM dans deux calques différents.
• aller à la pêche aux infos auprès de gens qui sont censés libérer les données mais qui font tout pour ne surtout pas remplir leurs obligations, en faire état aux autres gens qui cherchent à faire avancer les choses sur le sujet.
• s’apercevoir qu’il manque près de 90 000 points de charge à la publication malgré une loi qui prévoit des sanctions à hauteur de 300€ par point de charge non publié.
• avoir une procédure d’ajout de point avec un minimum d’informations valables.
• faire des ajouts en comparant visuellement avec les points déjà présents dans JOSM, faire de la sélection au lasso, valider les données dans un calque « à envoyer ». Bien regarder que les nouveaux points de charge ne contiennent rien de bizarre, et zou.
• faire progressivement des ajouts sur des zones de plus en plus grandes.
• découvrir une option dans JOSM pour sectionner automatiquement les ajouts en plus petits envois pour faciliter le suivi des modifications par zone.
• and vouala, en environ 5 jours, 11 000 points de charge ajoutés à partir du jeu de données nettoyées.
• fouiller des outils libres sur le sujet des IRVE. Voir le projet clean_frenchirve qui fait un suivi et nettoyage quotidien du jeu de données de data gouv.

https://github.com/BastienGauthier/clean_french_irve constater que l’open data a supprimé plein de points de charge « pour cause de dédoublonnage », le jeu de données IRVE sur data gouv comporte maintenant environ 20 000 points.

• voir que plein de gens ont détecté des coordonnées de bornes inexistantes ou totalement aux fraises dans pas mal de cas.
• avoir la joie de voir pas mal de contributeux s’emparer du sujet et faire croitre la quantité et qualité des données.
• faire un décompte par pays des nombres de points de charge avec Overpass Turbo ou OsHome pour avoir une vue graphique de l’évolution dans le temps, voir que la France est dans les deuxième au monde dans OSM .

affaire à suivre 🙂