Fichier basé sur le fichier principal de data.gouv.fr, mais nettoyé et avec un effet mémoire pour éviter les chutes de nombre de bornes sur quelques jours.
Il est mis à jour quotidiennement.

Analyse de l’intégrité du jeu de données IRVE

(Le fichier fourni ici contient uniquement les pdc à corriger en fonction des erreur d’intégrité indiqué dans les derniers champs.
L’étude complète et l’ensemble des fichiers sont disponibles sous Github)

1 - Introduction

Le jeu de données IRVE est un jeu de données complexe avec un processus de production et de consolidation des données spécifique.
Il fait l’objet également de questions concernant l’intégrité des données.

L’étude présentée ici a pour objectif de faciliter la réutilisation des données grace d’une part à une meilleure compréhension de la structure des données et d’autre part à une amélioration du niveau de qualité des données.

Les travaux réalisés sont présentés dans le document d’analyse ainsi que dans le Notebook pour la partie logicielle.

2 - Données IRVE

Les données IRVE sont décrites dans le schéma de données mis à disposition. Celui-ci décrit chacun des champs qui le compose.
Par contre, il ne décrit pas la structure globale des données qui permet de comprendre les dépendances entre chaque champs.

Le modèle de données identifie les principales entités que décrivent les champs et les relations entre celles-ci (station en itinerance uniquement et hors historique des mises à jour).

Les relations exprimées dans ce modèle permettent de déduire les règles d’intégrité qui sont à respecter pour obtenir un jeu de données cohérent.

Par exemple :

• un point de recharge (pdc) est unique et correspond à une ligne du tableau
• un pdc est représenté par le champ ‘id_pdc_itinerance’
• un pdc est associé à une et une seule station (représentée par le champ ‘id_station_itinerance’)
• une station est associée à une et une seule localisation (représentée par le champ ‘coordonneesXY’)

Douze règles ont ainsi été retenues pour valider l’intégrité du jeu de données (voir analyse).

3 - Etat des lieux

L’état des lieux décrit ici correspond au jeu de données du 03/03/2023.

Il contient 51 000 lignes dont 50 000 associées à des pdc en itinerance et correspondant à 18 500 stations.

L’application des règles d’intégrité permet d’identifier un faible niveau d’intégrité du jeu de données (pour les 12 règles retenues) :

• 32 000 lignes respectent les règles
• 18 000 lignes présentent un ou plusieurs écarts

Ce faible niveau justifie les questions posées.

Deux raisons principales expliquent ce niveau :

• Les règles d’intégrité ne sont ni exprimées dans le schéma de données ni contrôlées au cours du processus de consolidation.
• Le processus de mise à jour des données laisse la possibilité de conserver les anciennes versions qui génèrent des incohérences.

4 - Mise en cohérence des données

Le principal écart identifié dans l’analyse correspond au non respect de la règle d’unicité des pdc (16 000 lignes).
Après élimination des 8 300 doublons (identifiés par le champ ‘date_maj’), le nombre de lignes en écart tombe à 2 170.

Un deuxième écart, lié au précédent, correspond à la présence d’anciens pdc dans une station qui a été mise à jour.
La suppression de ces 380 anciens pdc permet alors de réduire le nombre de pdc en écart à 1 610.

Après ces deux opérations, le jeu de données “nettoyé” des anciens pdc comporte 42 000 pdc associées à 18 500 stations.
Parmi ces 42 000 pdc, 1 600 présentent des écarts par rapport aux règles retenues soit un taux de 3,8 %.

5 - Documentation

Données

• fichier d’origine (consolidation du 03/03/2023) : consolidation-etalab-schema-irve-statique-v-2.2.0-20230303.csv
• fichier d’origine avec deux champs booléens supplémentaires ‘lignes_a_corriger’ et ‘doublons_a_supprimer’ : IRVE_itinerance_complet2023-03-03.csv
• fichier des lignes à corriger avec un champ (booléen) par contrôle (12 champs) : IRVE_itinerance_residuel2023-03-03.csv
• fichier des données validées : IRVE_itinerance_valide2023-03-03.csv
• fichier des doublons à supprimer : IRVE_itinerance_doublons2023-03-03.csv

Documents

• présentation de l’étude : IRVE_analyse.pdf
• modèle de données : IRVE_modele.ipynb

code source

• Jupyter Notebook : IRVE_v3.ipynb

Borne de recharge Mercedes

Ajout de la borne SCEA Domaine des Baumard

Fichier recensant les bornes de recharge mises à jour depuis le 1er novembre 2018 extraites du fichier publié par ETALAB.

Nettoyage des données IRVE de data.gouv.fr

Ce fichier vise à avoir des données de borne de recharge électrique à jour et nettoyées, basées sur les données de data.gouv.fr.
Il est mis à jour quotidiennement.

Le nettoyage effectué est très simple et s’appuie sur deux règles :

1 - Le id_pdc_itinerance est unique  
2 - La puissance_nominale d'une borne publique ne peut être supérieure à 2MW  

Les détails des corrections et le code sont disponibles sur github :
https://github.com/BastienGauthier/clean_french_irve