|
|
Une chaine de traitement de données est disponible dans le projet.
|
|
Une chaine de traitement de données est disponible dans le projet. Il s'agit du script **run_pipeline.R** rangé dans le dossier **./data-raw.** Ce script appelle les différents scripts du pipeline dans un ordre précis pour traiter les données recuperer via les URL renseignés et transformer ces données brutes en données propres utilisables par l'application. Les **données propres sont stockées automatiquement dans le dossier ./data** paré pour le déploiement. Elles écrasent les données précédentes. On peut également retrouver les données brutes et les données nettoyées d'**une version dans le dossier .data-raw/data/{millesime}/{version}/donnee_propres**
|
|
|
Il s'agit du script **run_pipeline.R** rangé dans le dossier **./data-raw.**
|
|
|
|
|
Ce script appelle les différents scripts du pipeline dans un ordre précis pour traiter les données recuperer via les URL renseignés et transformer ces données brutes en données propres utilisables par l'application.
|
|
|
|
|
Les **données propres sont stockées automatiquement dans le dossier ./data** paré pour le déploiement. Elles écrasent les données précédentes.
|
|
|
|
|
On peut également retrouver les données brutes et les données nettoyées d'**une version dans le dossier .data-raw/data/{millesime}/{version}/donnee_propres**
|
|
|
|
|
|
|
|
|
|
À la base, on trouve les **données brutes extraites de différentes sources** :
|
|
À la base, on trouve les **données brutes extraites de différentes sources** :
|
|
|
|
|
|
|
- Contour IGN des IRIS et zones administratives (EPCI, dep, region)
|
|
- Contour IGN des IRIS et zones administratives (EPCI, dep, region)
|
|
|
- Registre ODRE gaz et électricité
|
|
- Registre ODRE gaz et électricité
|
|
|
- Tableau de bord PV et Eolien du SDES
|
|
- Tableau de bord PV et Eolien du SDES
|
| ... | @@ -13,17 +10,20 @@ On peut également retrouver les données brutes et les données nettoyées d'** |
... | @@ -13,17 +10,20 @@ On peut également retrouver les données brutes et les données nettoyées d'** |
|
|
Des informations détaillées sur les données sources sont disponibles sur l'onglet Aide de l'application.
|
|
Des informations détaillées sur les données sources sont disponibles sur l'onglet Aide de l'application.
|
|
|
|
|
|
|
|
Pour **mettre à jour les données à l'année N-1** (où N est l'année en cours), voila le process à suivre :
|
|
Pour **mettre à jour les données à l'année N-1** (où N est l'année en cours), voila le process à suivre :
|
|
|
1. ouvrir le script run_pipeline.R
|
|
|
|
|
2. Mettre à jour le millesime à l'année N-1
|
|
1. Activer et installer l'environnement puis lancer l'appli pour vérifier que tout fonctionne (voir le [README](https://gitlab-forge.din.developpement-durable.gouv.fr/dreal-grandest/scdd/outilsenr/outilenr_etatdeslieux/-/blob/master/README.md?ref_type=heads))
|
|
|
3. Mettre à jour les données SRADDET manuellement (data-raw/data/SRADDET.xlsx) si les objectifs ont évolués
|
|
2. ouvrir le script run_pipeline.R
|
|
|
4. Mettre à jour les URLs avec les versions l'année N-1 (4ᵉ trimestre ou 31 déc. de préférence)
|
|
3. Mettre à jour le millesime à l'année N-1
|
|
|
5. Faire tourner le script run_pipeline.R
|
|
4. Mettre à jour les données SRADDET manuellement (data-raw/data/SRADDET.xlsx) si les objectifs ont évolués
|
|
|
6. Mettre à jour les sources renseignées sur la page Aide de l'application <br>
|
|
5. Mettre à jour les URLs avec les versions l'année N-1 (4ᵉ trimestre ou 31 déc. de préférence)
|
|
|
7. Redéployer l'application
|
|
6. Faire tourner le script run_pipeline.R
|
|
|
|
7. Mettre à jour les sources renseignées sur la page Aide de l'application
|
|
|
|
8. Redéployer l'application (voir [Déploiement](https://gitlab-forge.din.developpement-durable.gouv.fr/dreal-grandest/scdd/outilsenr/outilenr_etatdeslieux/-/wikis/D%C3%A9ploiement))
|
|
|
|
|
|
|
|
_Si le format de données brutes a été modifié, une intervention manuelle sera nécessaire pour que le traitement des données puisse se faire._
|
|
_Si le format de données brutes a été modifié, une intervention manuelle sera nécessaire pour que le traitement des données puisse se faire._
|
|
|
|
|
|
|
|
<details><summary>Comment trouver les URLs ?</summary>
|
|
<details>
|
|
|
|
<summary>Comment trouver les URLs ?</summary>
|
|
|
|
|
|
|
|
Voici où **trouver les URL en fonction de la source** (enregistrer le lien du jeu de données avec clic droit) :
|
|
Voici où **trouver les URL en fonction de la source** (enregistrer le lien du jeu de données avec clic droit) :
|
|
|
|
|
|
| ... | @@ -32,10 +32,10 @@ Voici où **trouver les URL en fonction de la source** (enregistrer le lien du j |
... | @@ -32,10 +32,10 @@ Voici où **trouver les URL en fonction de la source** (enregistrer le lien du j |
|
|
- [SDES éolien et photovoltaïque](https://www.statistiques.developpement-durable.gouv.fr/les-energies-renouvelables?rubrique=21) : Trouver le tableau de bord du 4ᵉ trimestre de l'année N-1 (accessible depuis la version la plus recente du tableau de bord) et copier le lien des données. ATTENTION : les données du SDES sont parfois formatées différemment d'une année à l'autre.
|
|
- [SDES éolien et photovoltaïque](https://www.statistiques.developpement-durable.gouv.fr/les-energies-renouvelables?rubrique=21) : Trouver le tableau de bord du 4ᵉ trimestre de l'année N-1 (accessible depuis la version la plus recente du tableau de bord) et copier le lien des données. ATTENTION : les données du SDES sont parfois formatées différemment d'une année à l'autre.
|
|
|
|
|
|
|
|
Les URL des registres ODRE n'ont pas besoin d'être mises à jour.
|
|
Les URL des registres ODRE n'ont pas besoin d'être mises à jour.
|
|
|
|
|
|
|
|
</details>
|
|
</details>
|
|
|
|
|
|
|
|
<details><summary>Type de jeux de données</summary>
|
|
<details>
|
|
|
|
<summary>Type de jeux de données</summary>
|
|
|
|
|
|
|
|
On trouve **deux types de jeux de données** :
|
|
On trouve **deux types de jeux de données** :
|
|
|
|
|
|
| ... | @@ -44,21 +44,21 @@ On trouve **deux types de jeux de données** : |
... | @@ -44,21 +44,21 @@ On trouve **deux types de jeux de données** : |
|
|
|
|
|
|
|
</details>
|
|
</details>
|
|
|
|
|
|
|
|
|
|
<details>
|
|
|
<details><summary>Revenir à une version précédente</summary>
|
|
<summary>Revenir à une version précédente</summary>
|
|
|
|
|
|
|
|
Pour revenir à une **version précédente**, il suffit de copier-coller le contenu du dossier .data-raw/data/{millesime}/{version}/donnee_propres dans le dossier data et de redéployer l'application.
|
|
Pour revenir à une **version précédente**, il suffit de copier-coller le contenu du dossier .data-raw/data/{millesime}/{version}/donnee_propres dans le dossier data et de redéployer l'application.
|
|
|
|
|
|
|
|
</details>
|
|
</details>
|
|
|
|
|
|
|
|
|
|
<details>
|
|
|
<details><summary>Mettre à jour les objectifs SRADDET uniquement</summary>
|
|
<summary>Mettre à jour les objectifs SRADDET uniquement</summary>
|
|
|
|
|
|
|
|
Lorsque l'on fait tourner run_pipeline.R, les objectifs SRADDET sont automatiquement mises à jour à partir du fichier Excel **data-raw/data/ SRADDET.xlsx**.
|
|
Lorsque l'on fait tourner run_pipeline.R, les objectifs SRADDET sont automatiquement mises à jour à partir du fichier Excel **data-raw/data/ SRADDET.xlsx**.
|
|
|
|
|
|
|
|
Mais il est également possible de mettre à jour uniquement les objectifs SRADDET sans faire tourner la chaine de traitement en entier. Pour cela, mettre à jour les objectifs dans le fichier Excel, sauvegarder puis faire tourner le script **data-raw/data/2_SRADDET.R**.
|
|
Mais il est également possible de mettre à jour uniquement les objectifs SRADDET sans faire tourner la chaine de traitement en entier. Pour cela, mettre à jour les objectifs dans le fichier Excel, sauvegarder puis faire tourner le script **data-raw/data/2_SRADDET.R**.
|
|
|
|
|
|
|
|
Il faut ensuite **redéployer l'application**.
|
|
Il faut ensuite **redéployer l'application**.
|
|
|
</details>
|
|
|
|
|
|
|
|
|
|
|
</details>
|
|
|
|
|
|