diff --git a/R/add_code_analyse.R b/R/add_code_analyse.R index 13edf2fa0fe666248212864d8f93acca62ff7260..b60c7f84aae6bc9692fea027c581d92d0585947c 100644 --- a/R/add_code_analyse.R +++ b/R/add_code_analyse.R @@ -19,6 +19,19 @@ #' @importFrom glue glue #' @importFrom datalibaba connect_to_db #' @export +#' @examples +#' # Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +#' dataframe <- data.frame( +#' id_prelevement = 1:5, +#' autre_colonne = sample(letters, 5) +#' ) +#' # Définir une version pour l'exemple +#' version <- "v1" +#' +#' # Utiliser la fonction add_code_analyse() avec la version souhaitée +#' dataframe <- add_code_analyse( +#' dataframe, version) +#' add_code_analyse <- function(dataframe, version) { # Établir une connexion à la base de données PostgreSQL connexion <- datalibaba::connect_to_db(db = "si_eau", user = "admin") diff --git a/R/add_code_prelevement.R b/R/add_code_prelevement.R index 2d75139dec9e677e1ffc6c0e68f1985a64952e86..b8b943f00d380738c102caf7bf84e3965b62a381 100644 --- a/R/add_code_prelevement.R +++ b/R/add_code_prelevement.R @@ -19,6 +19,19 @@ #' @importFrom glue glue #' @importFrom datalibaba connect_to_db #' @export +#' @examples +#' # Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +#' dataframe <- data.frame( +#' id_prelevement = 1:5, +#' autre_colonne = sample(letters, 5) +#' ) +#' # Définir une version pour l'exemple +#' version <- "v1" +#' +#' # Utiliser la fonction add_code_prelevement() avec la version souhaitée +#' dataframe <- add_code_prelevement( +#' dataframe, version) +#' add_code_prelevement <- function(dataframe, version) { # Établir une connexion à la base de données PostgreSQL connexion <- datalibaba::connect_to_db(db = "si_eau", user = "admin") diff --git a/README.Rmd b/README.Rmd index 12c04b42fea512860875f9b0720c27bd15325223..1e2616f0bd978a5569cd4d796e3dd25c466a442d 100644 --- a/README.Rmd +++ b/README.Rmd @@ -81,3 +81,19 @@ Sélectionner *From Template* dans la fenêtre puis le template souhaité parmi Un nouveau fichier .Rmd est créé à partir du template et peut être enregistré par l'utilisateur sur son poste de travail. Il faut ensuite suivre les différentes étapes (en adaptant si besoin les paramètres) pour mettre à jour le lot de données concerné. + +### Ordre des scripts + +| Ordre | Nom du Script | Description | +|-------|------------------------------|---------------------------------------| +| 1 | `flat_list_existing_tables.Rmd` | Visualise les tables existantes (optionnel) | +| 2 | `flat_create_tables_sequences.Rmd` | Créé les tables de la nouvelle version | +| 3 | `flat_import_ars_data.Rmd` | Importe les données de l'ARS | +| 4 | `flat_import_hubeau_eso_data.Rmd` | Importe les données Eau souterraine à partir de Hubeau | +| 5 | `flat_import_hubeau_esu_data.Rmd` | Importe les données Eau de surface à partir de Hubeau | +| 6 | `flat_insert_ars_into_prelevement.Rmd` | Importe les prélèvements ARS dans la table des prélèvements | +| 7 | `flat_insert_hubeau_eso_into_prelevement.Rmd` | Importe les prélèvements HUbeau Eau souterraine dans la table des prélèvements | +| 8 | `flat_insert_hubeau_esu_into_prelevement.Rmd` | Importe les prélèvements Hubeau Eau de surface dans la table des prélèvements | +| 9 | `flat_insert_ars_into_analyse.Rmd` | Importe les analyses ARS dans la table des analyses | +| 10 | `flat_insert_hubeau_eso_into_analyse.Rmd` | Importe les analyses HUbeau Eau souterraine dans la table des analyses | +| 11 | `flat_insert_hubeau_esu_into_analyse.Rmd` | Importe les analyses Hubeau Eau de surface dans la table des analyses | diff --git a/README.md b/README.md index 5d1bf6f2147f3e2461582fc7ed3f56d0d04e3df8..d22ea397e4b96101d8da22f38d975f01f74163bf 100644 --- a/README.md +++ b/README.md @@ -93,3 +93,19 @@ enregistré par l’utilisateur sur son poste de travail. Il faut ensuite suivre les différentes étapes (en adaptant si besoin les paramètres) pour mettre à jour le lot de données concerné. + +### Ordre des scripts + +| Ordre | Nom du Script | Description | +|-------|-----------------------------------------------|--------------------------------------------------------------------------------| +| 1 | `flat_list_existing_tables.Rmd` | Visualise les tables existantes (optionnel) | +| 2 | `flat_create_tables_sequences.Rmd` | Créé les tables de la nouvelle version | +| 3 | `flat_import_ars_data.Rmd` | Importe les données de l’ARS | +| 4 | `flat_import_hubeau_eso_data.Rmd` | Importe les données Eau souterraine à partir de Hubeau | +| 5 | `flat_import_hubeau_esu_data.Rmd` | Importe les données Eau de surface à partir de Hubeau | +| 6 | `flat_insert_ars_into_prelevement.Rmd` | Importe les prélèvements ARS dans la table des prélèvements | +| 7 | `flat_insert_hubeau_eso_into_prelevement.Rmd` | Importe les prélèvements HUbeau Eau souterraine dans la table des prélèvements | +| 8 | `flat_insert_hubeau_esu_into_prelevement.Rmd` | Importe les prélèvements Hubeau Eau de surface dans la table des prélèvements | +| 9 | `flat_insert_ars_into_analyse.Rmd` | Importe les analyses ARS dans la table des analyses | +| 10 | `flat_insert_hubeau_eso_into_analyse.Rmd` | Importe les analyses HUbeau Eau souterraine dans la table des analyses | +| 11 | `flat_insert_hubeau_esu_into_analyse.Rmd` | Importe les analyses Hubeau Eau de surface dans la table des analyses | diff --git a/dev/config_fusen.yaml b/dev/config_fusen.yaml index 22be351e2cb2d0ceb71fe7c1b613292b90cb011c..e1b062b14634d3420866813f821add87f1ea0ed3 100644 --- a/dev/config_fusen.yaml +++ b/dev/config_fusen.yaml @@ -2,10 +2,10 @@ flat_create_tables_sequences.Rmd: path: dev/flat_create_tables_sequences.Rmd state: active R: - - R/create_nitrate_prelevement_table.R - - R/create_nitrate_analyse_table.R - - R/add_code_prelevement.R - R/add_code_analyse.R + - R/add_code_prelevement.R + - R/create_nitrate_analyse_table.R + - R/create_nitrate_prelevement_table.R tests: [] vignettes: vignettes/creation-des-tables-et-des-sequences.Rmd inflate: @@ -15,7 +15,6 @@ flat_create_tables_sequences.Rmd: check: true document: true overwrite: ask - clean: ask flat_import_ars_data.Rmd: path: dev/flat_import_ars_data.Rmd state: active @@ -35,28 +34,28 @@ flat_import_hubeau_eso_data.Rmd: state: active R: [] tests: [] - vignettes: vignettes/import-des-donnees-hub-eau-eso.Rmd + vignettes: vignettes/import-des-donnees-hubeau-eso.Rmd inflate: flat_file: dev/flat_import_hubeau_eso_data.Rmd - vignette_name: Import des données Hub'eau ESO + vignette_name: Import des données Hubeau ESO open_vignette: true check: true document: true overwrite: ask - clean: ask flat_import_hubeau_esu_data.Rmd: path: dev/flat_import_hubeau_esu_data.Rmd state: active R: [] tests: [] - vignettes: vignettes/import-des-donnees-hub-eau-esu.Rmd + vignettes: vignettes/import-des-donnees-hubeau-esu.Rmd inflate: flat_file: dev/flat_import_hubeau_esu_data.Rmd - vignette_name: Import des données Hub'eau ESU + vignette_name: Import des données Hubeau ESU open_vignette: true check: true document: true overwrite: ask + clean: ask flat_insert_ars_into_analyse.Rmd: path: dev/flat_insert_ars_into_analyse.Rmd state: active @@ -84,7 +83,6 @@ flat_insert_ars_into_prelevement.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_eso_into_analyse.Rmd: path: dev/flat_insert_hubeau_eso_into_analyse.Rmd state: active @@ -98,7 +96,6 @@ flat_insert_hubeau_eso_into_analyse.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_eso_into_prelevement.Rmd: path: dev/flat_insert_hubeau_eso_into_prelevement.Rmd state: active @@ -112,7 +109,6 @@ flat_insert_hubeau_eso_into_prelevement.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_esu_into_analyse.Rmd: path: dev/flat_insert_hubeau_esu_into_analyse.Rmd state: active @@ -126,7 +122,6 @@ flat_insert_hubeau_esu_into_analyse.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_esu_into_prelevement.Rmd: path: dev/flat_insert_hubeau_esu_into_prelevement.Rmd state: active @@ -140,7 +135,6 @@ flat_insert_hubeau_esu_into_prelevement.Rmd: check: true document: true overwrite: ask - clean: ask flat_list_existing_tables.Rmd: path: dev/flat_list_existing_tables.Rmd state: active diff --git a/dev/flat_create_tables_sequences.Rmd b/dev/flat_create_tables_sequences.Rmd index fbfa5891178f41f3f67e02925dfe778d5fd3787d..86a67e781dd92fc211cf158f4d3a6ca039fd750a 100644 --- a/dev/flat_create_tables_sequences.Rmd +++ b/dev/flat_create_tables_sequences.Rmd @@ -27,6 +27,12 @@ version <- config$version last_year <- config$last_year ``` +# Présentation + +Cette page contient les fonctions permettant : +- de créer en base les tables `nitrates.nitrate_prelevement_version` et `nitrates.nitrate_analyse_version`, +- d'incrémenter les séquences correspondantes au moment de l'import des données. + # Création des tables en base ## Création de la table des prélèvements et ajout des commentaires @@ -225,6 +231,7 @@ Création de la table `nitrates.nitrate_analyse_version` : ```{r create_nitrate_analyse_table, eval=FALSE} # Création du script SQL avec la version choisie sql <- create_nitrate_analyse_table(version, last_year) + ``` # Incrémentation des séquences @@ -280,6 +287,23 @@ add_code_prelevement <- function(dataframe, version) { ``` +La fonction est utilisée au moment d'importer les données des différentes +sources dans la table `nitrates.nitrate_prelevement_version` : +```{r example_add_code_prelevement, eval=FALSE} +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_prelevement() avec la version souhaitée +dataframe <- add_code_prelevement( + dataframe, version) + +``` + ## Incrémentation de la table des analyses ```{r function-add_code_analyse, eval=FALSE} @@ -331,6 +355,24 @@ add_code_analyse <- function(dataframe, version) { ``` +La fonction est utilisée au moment d'importer les données des différentes +sources dans la table `nitrates.nitrate_analyse_version` : +On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : +```{r example_add_code_analyse, eval=FALSE} +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_analyse() avec la version souhaitée +dataframe <- add_code_analyse( + dataframe, version) + +``` + ```{r development-skeleton-dir, eval=FALSE} # Créer de l'arborescence et des fichiers du template usethis::use_rmarkdown_template( diff --git a/dev/flat_insert_ars_into_prelevement.Rmd b/dev/flat_insert_ars_into_prelevement.Rmd index ad96c14ab0db60b674a0a3c15f88a52f87250d4d..8136fdbc6def6f4f7da124cd0560fc056a26f68f 100644 --- a/dev/flat_insert_ars_into_prelevement.Rmd +++ b/dev/flat_insert_ars_into_prelevement.Rmd @@ -122,7 +122,7 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_prelevement_ars, eval=FALSE} -# Utiliser la fonction add_code_prelevement_ars avec la version souhaitée +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_data_analyse_ars <- add_code_prelevement( nitrate_data_analyse_ars, version) diff --git a/dev/flat_insert_hubeau_eso_into_analyse.Rmd b/dev/flat_insert_hubeau_eso_into_analyse.Rmd index 6655e54a96b6a97af9eaa5853783789516f335c8..155ee67b0d0ca6bb0d76bcc49546e5b802e3a09c 100644 --- a/dev/flat_insert_hubeau_eso_into_analyse.Rmd +++ b/dev/flat_insert_hubeau_eso_into_analyse.Rmd @@ -142,7 +142,7 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_analyse_hubeau_eso, eval=FALSE} -# Utiliser la fonction add_code_analyse_ars avec la version souhaitée +# Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_nappes_analyses <- add_code_analyse( nitrate_qualite_nappes_analyses, version) diff --git a/dev/flat_insert_hubeau_eso_into_prelevement.Rmd b/dev/flat_insert_hubeau_eso_into_prelevement.Rmd index 839cb2d8fbc021c547e26a7b18279433d808aa96..17e7005cd3d1fe1d2b8b94064cadfcfc04445691 100644 --- a/dev/flat_insert_hubeau_eso_into_prelevement.Rmd +++ b/dev/flat_insert_hubeau_eso_into_prelevement.Rmd @@ -96,7 +96,7 @@ nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_prelevement_hubeau_eso, eval=FALSE} -# Utiliser la fonction add_code_prelevement avec la version souhaitée +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_nappes_prelevements <- add_code_prelevement( nitrate_qualite_nappes_prelevements, version) diff --git a/dev/flat_insert_hubeau_esu_into_analyse.Rmd b/dev/flat_insert_hubeau_esu_into_analyse.Rmd index 5c8863a17311cb0e39f59a1f58c45e2bb7683d87..73c74292fb0383efebae5fa25aead34f7c3579d6 100644 --- a/dev/flat_insert_hubeau_esu_into_analyse.Rmd +++ b/dev/flat_insert_hubeau_esu_into_analyse.Rmd @@ -132,7 +132,7 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_analyse_hubeau_esu, eval=FALSE} -# Utiliser la fonction add_code_analyse_ars avec la version souhaitée +# Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_rivieres_analyses <- add_code_analyse( nitrate_qualite_rivieres_analyses, version) diff --git a/dev/flat_insert_hubeau_esu_into_prelevement.Rmd b/dev/flat_insert_hubeau_esu_into_prelevement.Rmd index 23432b596ffb0413781a3616255565e91f76f73f..595e5fb99b9bc13bbfd35d98e30cbc561270cff8 100644 --- a/dev/flat_insert_hubeau_esu_into_prelevement.Rmd +++ b/dev/flat_insert_hubeau_esu_into_prelevement.Rmd @@ -98,7 +98,7 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_prelevement_hubeau_esu, eval=FALSE} -# Utiliser la fonction add_code_prelevement avec la version souhaitée +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_rivieres_prelevements <- add_code_prelevement( nitrate_qualite_rivieres_prelevements, version) diff --git a/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd b/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd index 28c7dbf2bf50d08f79f928895a97c5978694751c..86a67e781dd92fc211cf158f4d3a6ca039fd750a 100644 --- a/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd +++ b/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd @@ -27,6 +27,12 @@ version <- config$version last_year <- config$last_year ``` +# Présentation + +Cette page contient les fonctions permettant : +- de créer en base les tables `nitrates.nitrate_prelevement_version` et `nitrates.nitrate_analyse_version`, +- d'incrémenter les séquences correspondantes au moment de l'import des données. + # Création des tables en base ## Création de la table des prélèvements et ajout des commentaires @@ -225,6 +231,7 @@ Création de la table `nitrates.nitrate_analyse_version` : ```{r create_nitrate_analyse_table, eval=FALSE} # Création du script SQL avec la version choisie sql <- create_nitrate_analyse_table(version, last_year) + ``` # Incrémentation des séquences @@ -280,6 +287,23 @@ add_code_prelevement <- function(dataframe, version) { ``` +La fonction est utilisée au moment d'importer les données des différentes +sources dans la table `nitrates.nitrate_prelevement_version` : +```{r example_add_code_prelevement, eval=FALSE} +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_prelevement() avec la version souhaitée +dataframe <- add_code_prelevement( + dataframe, version) + +``` + ## Incrémentation de la table des analyses ```{r function-add_code_analyse, eval=FALSE} @@ -331,7 +355,25 @@ add_code_analyse <- function(dataframe, version) { ``` -```{r development-skeleton, eval=FALSE} +La fonction est utilisée au moment d'importer les données des différentes +sources dans la table `nitrates.nitrate_analyse_version` : +On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : +```{r example_add_code_analyse, eval=FALSE} +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_analyse() avec la version souhaitée +dataframe <- add_code_analyse( + dataframe, version) + +``` + +```{r development-skeleton-dir, eval=FALSE} # Créer de l'arborescence et des fichiers du template usethis::use_rmarkdown_template( template_name = "Cr\u00e9ation des tables et des s\u00e9quences", @@ -339,7 +381,9 @@ usethis::use_rmarkdown_template( template_description = "Cr\u00e9ation des tables et des s\u00e9quences", template_create_dir = TRUE ) +``` +```{r development-skeleton-copy, eval=FALSE} # Définir les chemins source et destination source_file <- "dev/flat_create_tables_sequences.Rmd" destination_dir <- "inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton" @@ -351,10 +395,8 @@ message("File copied and renamed successfully.") ``` - ```{r development-inflate, eval=FALSE} # Run but keep eval=FALSE to avoid infinite loop # Execute in the console directly fusen::inflate(flat_file = "dev/flat_create_tables_sequences.Rmd", vignette_name = "Cr\u00e9ation des tables et des s\u00e9quences") ``` - diff --git a/inst/rmarkdown/templates/insertion-des-analyses-hubeau-eso/skeleton/skeleton.Rmd b/inst/rmarkdown/templates/insertion-des-analyses-hubeau-eso/skeleton/skeleton.Rmd index 5b93e1b7a3b31485b3fe49cbc3234d67a4ae4eaa..155ee67b0d0ca6bb0d76bcc49546e5b802e3a09c 100644 --- a/inst/rmarkdown/templates/insertion-des-analyses-hubeau-eso/skeleton/skeleton.Rmd +++ b/inst/rmarkdown/templates/insertion-des-analyses-hubeau-eso/skeleton/skeleton.Rmd @@ -25,9 +25,8 @@ pkgload::load_all(export_all = FALSE) # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` # Consolidation et insertion des analyses Hub'eau ESO dans la table des analyses @@ -143,7 +142,7 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_analyse_hubeau_eso, eval=FALSE} -# Utiliser la fonction add_code_analyse_ars avec la version souhaitée +# Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_nappes_analyses <- add_code_analyse( nitrate_qualite_nappes_analyses, version) diff --git a/inst/rmarkdown/templates/insertion-des-analyses-hubeau-esu/skeleton/skeleton.Rmd b/inst/rmarkdown/templates/insertion-des-analyses-hubeau-esu/skeleton/skeleton.Rmd index a56efcdfab55f3d796491f60e1c7186872b233a5..73c74292fb0383efebae5fa25aead34f7c3579d6 100644 --- a/inst/rmarkdown/templates/insertion-des-analyses-hubeau-esu/skeleton/skeleton.Rmd +++ b/inst/rmarkdown/templates/insertion-des-analyses-hubeau-esu/skeleton/skeleton.Rmd @@ -25,9 +25,8 @@ pkgload::load_all(export_all = FALSE) # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` # Consolidation et insertion des analyses Hub'eau ESU dans la table des analyses @@ -133,7 +132,7 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_analyse_hubeau_esu, eval=FALSE} -# Utiliser la fonction add_code_analyse_ars avec la version souhaitée +# Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_rivieres_analyses <- add_code_analyse( nitrate_qualite_rivieres_analyses, version) diff --git a/inst/rmarkdown/templates/insertion-des-prelevements-ars/skeleton/skeleton.Rmd b/inst/rmarkdown/templates/insertion-des-prelevements-ars/skeleton/skeleton.Rmd index 2931a8d2f8536bd4fc187df47db211f3be9a5c4a..8136fdbc6def6f4f7da124cd0560fc056a26f68f 100644 --- a/inst/rmarkdown/templates/insertion-des-prelevements-ars/skeleton/skeleton.Rmd +++ b/inst/rmarkdown/templates/insertion-des-prelevements-ars/skeleton/skeleton.Rmd @@ -25,9 +25,8 @@ pkgload::load_all(export_all = FALSE) # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` # Consolidation et insertion des données de l'ARS dans la table des prélèvements @@ -123,7 +122,7 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_prelevement_ars, eval=FALSE} -# Utiliser la fonction add_code_prelevement_ars avec la version souhaitée +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_data_analyse_ars <- add_code_prelevement( nitrate_data_analyse_ars, version) @@ -158,8 +157,8 @@ collectr::import_and_merge_tables(database = "si_eau", ``` -```{r development-skeleton, eval=FALSE} -# Créer de l'arborescence et des fichiers du template +```{r development-skeleton-dir, eval=FALSE} +# Créer initialement l'arborescence et des fichiers du template usethis::use_rmarkdown_template( template_name = "Insertion des pr\u00e9l\u00e8vements ARS", template_dir = "insertion-des-prelevements-ars", @@ -167,6 +166,9 @@ usethis::use_rmarkdown_template( template_create_dir = TRUE ) +``` + +```{r development-skeleton-copy, eval=FALSE} # Définir les chemins source et destination source_file <- "dev/flat_insert_ars_into_prelevement.Rmd" destination_dir <- "inst/rmarkdown/templates/insertion-des-prelevements-ars/skeleton" diff --git a/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-eso/skeleton/skeleton.Rmd b/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-eso/skeleton/skeleton.Rmd index 94a8a53d035afe7bce054b834f633f1b014263c1..17e7005cd3d1fe1d2b8b94064cadfcfc04445691 100644 --- a/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-eso/skeleton/skeleton.Rmd +++ b/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-eso/skeleton/skeleton.Rmd @@ -25,9 +25,8 @@ pkgload::load_all(export_all = FALSE) # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` # Consolidation et insertion des données Hub'eau ESO dans la table des prélèvements @@ -97,7 +96,7 @@ nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_prelevement_hubeau_eso, eval=FALSE} -# Utiliser la fonction add_code_prelevement avec la version souhaitée +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_nappes_prelevements <- add_code_prelevement( nitrate_qualite_nappes_prelevements, version) @@ -132,8 +131,8 @@ collectr::import_and_merge_tables(database = "si_eau", ``` -```{r development-skeleton, eval=FALSE} -# Créer de l'arborescence et des fichiers du template +```{r development-skeleton-dir, eval=FALSE} +# Créer initialement l'arborescence et des fichiers du template usethis::use_rmarkdown_template( template_name = "Insertion des pr\u00e9l\u00e8vements Hubeau ESO", template_dir = "insertion-des-prelevements-hubeau-eso", @@ -141,6 +140,9 @@ usethis::use_rmarkdown_template( template_create_dir = TRUE ) +``` + +```{r development-skeleton-copy, eval=FALSE} # Définir les chemins source et destination source_file <- "dev/flat_insert_hubeau_eso_into_prelevement.Rmd" destination_dir <- "inst/rmarkdown/templates/insertion-des-prelevements-hubeau-eso/skeleton" diff --git a/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-esu/skeleton/skeleton.Rmd b/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-esu/skeleton/skeleton.Rmd index 70e2525d1c26b31b4f29896f99fb37ca98b3e27d..595e5fb99b9bc13bbfd35d98e30cbc561270cff8 100644 --- a/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-esu/skeleton/skeleton.Rmd +++ b/inst/rmarkdown/templates/insertion-des-prelevements-hubeau-esu/skeleton/skeleton.Rmd @@ -25,9 +25,8 @@ pkgload::load_all(export_all = FALSE) # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` # Consolidation et insertion des données Hub'eau ESU dans la table des prélèvements @@ -99,7 +98,7 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : ```{r add_code_prelevement_hubeau_esu, eval=FALSE} -# Utiliser la fonction add_code_prelevement avec la version souhaitée +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_rivieres_prelevements <- add_code_prelevement( nitrate_qualite_rivieres_prelevements, version) @@ -134,8 +133,8 @@ collectr::import_and_merge_tables(database = "si_eau", ``` -```{r development-skeleton, eval=FALSE} -# Créer de l'arborescence et des fichiers du template +```{r development-skeleton-dir, eval=FALSE} +# Créer initialement l'arborescence et des fichiers du template usethis::use_rmarkdown_template( template_name = "Insertion des pr\u00e9l\u00e8vements Hubeau ESU", template_dir = "insertion-des-prelevements-hubeau-esu", @@ -143,6 +142,9 @@ usethis::use_rmarkdown_template( template_create_dir = TRUE ) +``` + +```{r development-skeleton-copy, eval=FALSE} # Définir les chemins source et destination source_file <- "dev/flat_insert_hubeau_esu_into_prelevement.Rmd" destination_dir <- "inst/rmarkdown/templates/insertion-des-prelevements-hubeau-esu/skeleton" diff --git a/man/add_code_analyse.Rd b/man/add_code_analyse.Rd index 59d62eef5ee2af7648c5e514011a2baaf0829724..0ec07e08008a0ecca715ae5e748665152afca6f1 100644 --- a/man/add_code_analyse.Rd +++ b/man/add_code_analyse.Rd @@ -22,3 +22,17 @@ Cette fonction ajoute une nouvelle variable \code{code_analyse} au dataframe en utilisant une séquence PostgreSQL dynamique. La séquence est construite en fonction du paramètre \code{version} fourni. } +\examples{ +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_analyse() avec la version souhaitée +dataframe <- add_code_analyse( + dataframe, version) + +} diff --git a/man/add_code_prelevement.Rd b/man/add_code_prelevement.Rd index f325b8e38fe56bcf26f684968b4f102b51d84966..1c47da57d03766474b6eec04b9aa08aeb498eac4 100644 --- a/man/add_code_prelevement.Rd +++ b/man/add_code_prelevement.Rd @@ -22,3 +22,17 @@ Cette fonction ajoute une nouvelle variable \code{code_prelevement} au dataframe en utilisant une séquence PostgreSQL dynamique. La séquence est construite en fonction du paramètre \code{version} fourni. } +\examples{ +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_prelevement() avec la version souhaitée +dataframe <- add_code_prelevement( + dataframe, version) + +} diff --git a/vignettes/creation-des-tables-et-des-sequences.Rmd b/vignettes/creation-des-tables-et-des-sequences.Rmd index c9498328ef147c7ef2f62ef9d118833ef406172d..dd7ee8187db165a03e265f1f268a4e97c97b339a 100644 --- a/vignettes/creation-des-tables-et-des-sequences.Rmd +++ b/vignettes/creation-des-tables-et-des-sequences.Rmd @@ -2,7 +2,7 @@ title: "Création des tables et des séquences" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Création des tables et des séquences} + %\VignetteIndexEntry{creation-des-tables-et-des-sequences} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_create_tables_sequences.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -34,36 +29,74 @@ version <- config$version last_year <- config$last_year ``` +# Présentation + +Cette page contient les fonctions permettant : +- de créer en base les tables `nitrates.nitrate_prelevement_version` et `nitrates.nitrate_analyse_version`, +- d'incrémenter les séquences correspondantes au moment de l'import des données. + # Création des tables en base ## Création de la table des prélèvements et ajout des commentaires Création de la table `nitrates.nitrate_prelevement_version` : -```{r create_nitrate_prelevement_table_version} -#| eval: no +```{r create_nitrate_prelevement_table_version, eval = FALSE} # Création du script SQL avec la version choisie sql <- create_nitrate_prelevement_table(version, last_year) ``` - ## Création de la table des analyses et ajout des commentaires Création de la table `nitrates.nitrate_analyse_version` : -```{r create_nitrate_analyse_table} -#| eval: no +```{r create_nitrate_analyse_table, eval = FALSE} # Création du script SQL avec la version choisie sql <- create_nitrate_analyse_table(version, last_year) -``` +``` # Incrémentation des séquences ## Incrémentation de la table des prélèvements +La fonction est utilisée au moment d'importer les données des différentes +sources dans la table `nitrates.nitrate_prelevement_version` : + +```{r example_add_code_prelevement, eval = FALSE} +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_prelevement() avec la version souhaitée +dataframe <- add_code_prelevement( + dataframe, version) + +``` + ## Incrémentation de la table des analyses +La fonction est utilisée au moment d'importer les données des différentes +sources dans la table `nitrates.nitrate_analyse_version` : +On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : +```{r example_add_code_analyse, eval = FALSE} +# Crée un dataframe fictif avec les colonnes nécessaires pour l'exemple +dataframe <- data.frame( + id_prelevement = 1:5, + autre_colonne = sample(letters, 5) +) +# Définir une version pour l'exemple +version <- "v1" + +# Utiliser la fonction add_code_analyse() avec la version souhaitée +dataframe <- add_code_analyse( + dataframe, version) + +``` diff --git a/vignettes/import-des-donnees-hub-eau-esu.Rmd b/vignettes/import-des-donnees-hub-eau-esu.Rmd deleted file mode 100644 index c668c651da8c8e93da94dc4afabb84784162270b..0000000000000000000000000000000000000000 --- a/vignettes/import-des-donnees-hub-eau-esu.Rmd +++ /dev/null @@ -1,181 +0,0 @@ ---- -title: "Import des données Hub'eau ESU" -output: rmarkdown::html_vignette -vignette: > - %\VignetteIndexEntry{import-des-donnees-hub-eau-esu} - %\VignetteEngine{knitr::rmarkdown} - %\VignetteEncoding{UTF-8} ---- - -```{r, include = FALSE} -knitr::opts_chunk$set( - collapse = TRUE, - comment = "#>" -) -``` - -```{r setup} -library(data.nitrates) -``` - -<!-- WARNING - This vignette is generated by {fusen} from dev/flat_import_hubeau_esu_data.Rmd: do not edit by hand --> - -# Présentation - -> Cette page contient la logique métier concernant l'import des données de -l'[API Hub'eau "Qualité des cours d'eau"](https://hubeau.eaufrance.fr/page/api-qualite-cours-deau) dans le cadre du projet Nitrates - - -# Connexion à la base de données PostgreSQL - -```{r connect_to_db, eval = FALSE} -# Se connecter à la base de données PostgreSQL si_eau -connexion <- datalibaba::connect_to_db(db = "si_eau", user = "admin") -``` - -```{r list_schemas, eval = FALSE} -# Lister les schémas présents dans la base -schemas_list <- data.frame(datalibaba::list_schemas(connexion)) - -# Renommer la variable unique en "nom_schema" -schemas_list <- schemas_list |> - rename(nom_schema = unique(names(.))) - -# Trier le dataframe par la variable nom_schema -schemas_list <- schemas_list |> - arrange(nom_schema) -``` - -```{r list_tables, eval = FALSE} -# Lister les tables présentes dans le schéma spécifié -tables_list <- data.frame(datalibaba::list_tables( - con = connexion, - db = "si_eau", - schema = "qualite_cours_d_eau")) - -# Renommer la variable unique en "nom_table" -tables_list <- tables_list |> - rename(nom_table = names(tables_list)[1]) - -# Trier le dataframe par la variable nom_table -tables_list <- tables_list |> - arrange(nom_table) - -``` - -# Import des données Hub'eau ESU dans un dataframe par millésime - -On utilise la fonction `get_qualite_rivieres_analyse()` du package [{hubeau}](https://github.com/inrae/hubeau) - - -```{r create-nitrate_analyse_esu_2020, eval = FALSE} -nitrate_analyse_esu_2020 <- hubeau::get_qualite_rivieres_analyse(code_parametre = "1340", - code_region = "52", - date_debut_prelevement = "2020-01-01", - date_fin_prelevement = "2020-12-31", - size = "5000") -``` - -```{r create-nitrate_analyse_esu_2021, eval = FALSE} -nitrate_analyse_esu_2021 <- hubeau::get_qualite_rivieres_analyse(code_parametre = "1340", - code_region = "52", - date_debut_prelevement = "2021-01-01", - date_fin_prelevement = "2021-12-31", - size = "5000") -``` - -```{r create-nitrate_analyse_esu_2022, eval = FALSE} -nitrate_analyse_esu_2022 <- hubeau::get_qualite_rivieres_analyse(code_parametre = "1340", - code_region = "52", - date_debut_prelevement = "2022-01-01", - date_fin_prelevement = "2022-12-31", - size = "5000") - -``` - -```{r create-nitrate_analyse_esu_2023, eval = FALSE} -nitrate_analyse_esu_2023 <- hubeau::get_qualite_rivieres_analyse(code_parametre = "1340", - code_region = "52", - date_debut_prelevement = "2023-01-01", - date_fin_prelevement = "2023-12-31", - size = "5000") -``` - -# Correction de l'encodage si nécessaire pour certaines variables - -```{r change-encoding, eval = FALSE} -nitrate_analyse_esu_2023 <- nitrate_analyse_esu_2023 |> - dplyr::mutate(libelle_station = iconv(libelle_station, from = "ISO-8859-1", to = "UTF-8")) -``` - -# Création d'une table pour le nouveau millésime - -```{r create-nitrate_data_ars, eval = FALSE} -# Charger les données dans une nouvelle table en base -datalibaba::poster_data(data = nitrate_analyse_esu_2023, - table = "nitrate_qualite_rivieres_analyse_pc_2023", - schema = "qualite_cours_d_eau", - db = "si_eau", - overwrite = TRUE, - user = "admin") - -# Ajouter un commentaire sur la table -datalibaba::commenter_table(comment = "Analyses \"Nitrates\" ESU issues de l''API Hub''eau qualite_rivieres : données brutes", - table = "nitrate_qualite_rivieres_analyse_pc_2023", - schema = "qualite_cours_d_eau", - db = "si_eau", - user = "admin") - -``` - -# Modification du type des champs si besoin - -```{r modify_column_type, eval = FALSE} -# Modifier le type de colonne pour les champs de date -collectr::modify_column_type(database = "si_eau", - schema = "qualite_cours_d_eau", - table = "nitrate_qualite_rivieres_analyse_pc_2023", - column_name = "date_prelevement", - column_type = "date", - role = "admin") - -collectr::modify_column_type(database = "si_eau", - schema = "qualite_cours_d_eau", - table = "nitrate_qualite_rivieres_analyse_pc_2023", - column_name = "date_analyse", - column_type = "date", - role = "admin") - -``` - -# Archivage de la version précédente de la table - -```{r archive_table, eval = FALSE} -# Archiver la version actuelle de la table avec tous les millésimes -collectr::archive_table(database = "si_eau", - schema = "qualite_cours_d_eau", - new_schema = "zz_archives", - table = "nitrate_qualite_rivieres_analyse_pc", - role = "admin") - -``` - -# Insertion des données du nouveau millésime en base dans la table globale - -```{r import_and_merge_tables, eval = FALSE} -# Insérer les données de la table du dernier millésime vers la table complète -collectr::import_and_merge_tables(database = "si_eau", - source_table = "nitrate_qualite_rivieres_analyse_pc_2023", - source_schema = "qualite_cours_d_eau", - target_table = "nitrate_qualite_rivieres_analyse_pc", - target_schema = "qualite_cours_d_eau", - role = "admin") - -# Actualiser le commentaire sur la table -datalibaba::commenter_table(comment = "Analyses Nitrates ESU API Hub'eau Qualité des cours d'eau (2007-2023)", - table = "nitrate_qualite_rivieres_analyse_pc", - schema = "qualite_cours_d_eau", - db = "si_eau", - user = "admin") -``` - diff --git a/vignettes/import-des-donnees-hub-eau-eso.Rmd b/vignettes/import-des-donnees-hubeau-eso.Rmd similarity index 77% rename from vignettes/import-des-donnees-hub-eau-eso.Rmd rename to vignettes/import-des-donnees-hubeau-eso.Rmd index db8192814ffcc4cda6b3ea2dc3a6adfc9a4d20ee..9cc6dc758f6f93e7c2394bfb8bdf331beb54f281 100644 --- a/vignettes/import-des-donnees-hub-eau-eso.Rmd +++ b/vignettes/import-des-donnees-hubeau-eso.Rmd @@ -1,8 +1,8 @@ --- -title: "Import des données Hub'eau ESO" +title: "Import des données Hubeau ESO" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Import des données Hub'eau ESO} + %\VignetteIndexEntry{import-des-donnees-hubeau-eso} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_import_hubeau_eso_data.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -33,31 +28,32 @@ config <- yaml::read_yaml("config.yml") last_year <- config$last_year ``` - # Présentation Cette page contient la logique métier concernant l'import des données de l'[API Hub'eau "Qualit\u00e9 des nappes d\'eau souterraine"](https://hubeau.eaufrance.fr/page/api-qualite-nappes) dans le cadre du projet Nitrates. + # Import des données Hub'eau ESU dans un dataframe par millésime On utilise la fonction `get_qualite_nappes_analyses()` du package [{hubeau}](https://github.com/inrae/hubeau) -```{r create-nitrate_analyse_esu_last_year} -#| eval: no - -nitrate_analyse_eso_last_year <- hubeau::get_qualite_nappes_analyses(code_param = "1340", - code_region = "52", - date_debut_prelevement = glue::glue(last_year, "-01-01"), - date_fin_prelevement = glue::glue(last_year, "-12-31"), - size = "5000") -``` +```{r create-nitrate_analyse_esu_last_year, eval = FALSE} +nitrate_analyse_eso_last_year <- hubeau::get_qualite_nappes_analyses( + code_param = "1340", + code_region = "52", + date_debut_prelevement = glue::glue(last_year, "-01-01"), + date_fin_prelevement = glue::glue(last_year, "-12-31"), + size = "5000" + ) + +``` + # Création d'une table pour le nouveau millésime -```{r create-nitrate_data_ars} -#| eval: no +```{r create-nitrate_data_ars, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_analyse_eso_last_year, table = glue::glue("nitrate_qualite_nappes_analyses_", last_year), @@ -69,7 +65,7 @@ datalibaba::poster_data(data = nitrate_analyse_eso_last_year, # Ajouter un commentaire sur la table datalibaba::commenter_table( comment = glue::glue( - "Analyses \"Nitrates\" ESO issues de l\'\'API Hub\'\'eau qualite_nappes : donn\u00e9es brutes", + "Analyses \"Nitrates\" ESO issues de l\'\'API Hubeau qualite_nappes : donn\u00e9es brutes ", last_year), table = glue::glue("nitrate_qualite_nappes_analyses_", last_year), schema = "qualite_nappes_eau_souterraine", @@ -78,11 +74,9 @@ datalibaba::commenter_table( ``` - # Modification du type des champs si besoin -```{r modify_column_type} -#| eval: no +```{r modify_column_type, eval = FALSE} # Modifier le type de colonne pour les champs de date collectr::modify_column_type(database = "si_eau", schema = "qualite_nappes_eau_souterraine", @@ -93,11 +87,9 @@ collectr::modify_column_type(database = "si_eau", ``` - # Archivage de la version précédente de la table -```{r archive_table} -#| eval: no +```{r archive_table, eval = FALSE} # Archiver la version actuelle de la table avec tous les millésimes collectr::archive_table(database = "si_eau", schema = "qualite_nappes_eau_souterraine", @@ -107,11 +99,9 @@ collectr::archive_table(database = "si_eau", ``` - # Insertion des données du nouveau millésime en base dans la table globale -```{r import_and_merge_tables} -#| eval: no +```{r import_and_merge_tables, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_qualite_nappes_analyses_", last_year), @@ -123,15 +113,14 @@ collectr::import_and_merge_tables(database = "si_eau", # Actualiser le commentaire sur la table datalibaba::commenter_table( comment = glue::glue( - "Analyses Nitrates ESO API Hub\'eau Qualit\u00e9 des nappes d\'eau souterraine (2007-", + "Analyses Nitrates ESO API Hubeau Qualit\u00e9 des nappes d\'eau souterraine (2007-", last_year, ")"), table = "nitrate_qualite_nappes_analyses", schema = "qualite_nappes_eau_souterraine", db = "si_eau", - user = "admin") -``` - - + user = "admin" + ) +``` diff --git a/vignettes/import-des-donnees-hubeau-esu.Rmd b/vignettes/import-des-donnees-hubeau-esu.Rmd new file mode 100644 index 0000000000000000000000000000000000000000..20a1cae4fab8f3a119c7c6050e78dfbfc24a6477 --- /dev/null +++ b/vignettes/import-des-donnees-hubeau-esu.Rmd @@ -0,0 +1,159 @@ +--- +title: "Import des données Hubeau ESU" +output: rmarkdown::html_vignette +vignette: > + %\VignetteIndexEntry{Import des données Hubeau ESU} + %\VignetteEngine{knitr::rmarkdown} + %\VignetteEncoding{UTF-8} +--- + +```{r, include = FALSE} +knitr::opts_chunk$set( + collapse = TRUE, + comment = "#>" +) +``` + +```{r} +library(data.nitrates) +``` + +<!-- WARNING - This vignette is generated by {fusen} from dev/flat_import_hubeau_esu_data.Rmd: do not edit by hand --> + + + + +```{r config} +#| eval: no + +# Lire le fichier de configuration +config <- yaml::read_yaml("config.yml") + +# Accéder à la valeur pour last_year +last_year <- config$last_year +``` + + +# Présentation + +Cette page contient la logique métier concernant l'import des données de +l'[API Hub'eau "Qualit\u00e9 des cours d\'eau"](https://hubeau.eaufrance.fr/page/api-qualite-cours-deau) +dans le cadre du projet Nitrates. + +# Import des données Hub'eau ESU dans un dataframe par millésime + +On utilise la fonction `get_qualite_rivieres_analyse()` du package [{hubeau}](https://github.com/inrae/hubeau) +```{r create-nitrate_analyse_esu_last_year} +#| eval: no + +nitrate_analyse_esu_last_year <- hubeau::get_qualite_rivieres_analyse( + code_parametre = "1340", + code_region = "52", + date_debut_prelevement = glue::glue(last_year, "-01-01"), + date_fin_prelevement = glue::glue(last_year, "-12-31"), + size = "5000" +) + +``` + + +# Correction de l'encodage si nécessaire pour certaines variables +```{r change-encoding} +#| eval: no + +nitrate_analyse_esu_last_year <- nitrate_analyse_esu_last_year |> + dplyr::mutate(libelle_station = iconv(libelle_station, from = "ISO-8859-1", to = "UTF-8")) +``` + + +# Création d'une table pour le nouveau millésime +```{r create-nitrate_data_ars} +#| eval: no + +# Charger les données dans une nouvelle table en base +datalibaba::poster_data(data = nitrate_analyse_esu_last_year, + table = glue::glue("nitrate_qualite_rivieres_analyse_pc_", last_year), + schema = "qualite_cours_d_eau", + db = "si_eau", + overwrite = TRUE, + user = "admin") + +# Ajouter un commentaire sur la table +datalibaba::commenter_table( + comment = glue::glue( + "Analyses \"Nitrates\" ESU issues de l\'\'API Hubeau qualite_rivieres : donn\u00e9es brutes ", + last_year + ), + table = glue::glue("nitrate_qualite_rivieres_analyse_pc_", last_year), + schema = "qualite_cours_d_eau", + db = "si_eau", + user = "admin") + +``` + + +# Modification du type des champs si besoin +```{r modify_column_type} +#| eval: no + +# Modifier le type de colonne pour les champs de date +collectr::modify_column_type(database = "si_eau", + schema = "qualite_cours_d_eau", + table = glue::glue("nitrate_qualite_rivieres_analyse_pc_", last_year), + column_name = "date_prelevement", + column_type = "date", + role = "admin") + +collectr::modify_column_type(database = "si_eau", + schema = "qualite_cours_d_eau", + table = glue::glue("nitrate_qualite_rivieres_analyse_pc_", last_year), + column_name = "date_analyse", + column_type = "date", + role = "admin") + +``` + + +# Archivage de la version précédente de la table +```{r archive_table} +#| eval: no + +# Archiver la version actuelle de la table avec tous les millésimes +collectr::archive_table(database = "si_eau", + schema = "qualite_cours_d_eau", + new_schema = "zz_archives", + table = "nitrate_qualite_rivieres_analyse_pc", + role = "admin") + +``` + + +# Insertion des données du nouveau millésime en base dans la table globale +```{r import_and_merge_tables} +#| eval: no + +# Insérer les données de la table du dernier millésime vers la table complète +collectr::import_and_merge_tables(database = "si_eau", + source_table = glue::glue("nitrate_qualite_rivieres_analyse_pc_", last_year), + source_schema = "qualite_cours_d_eau", + target_table = "nitrate_qualite_rivieres_analyse_pc", + target_schema = "qualite_cours_d_eau", + role = "admin") + +# Actualiser le commentaire sur la table +datalibaba::commenter_table( + comment = glue::glue( + "Analyses Nitrates ESU API Hubeau Qualit\u00e9 des nappes d\'eau souterraine (2007-", + last_year, + ")"), + table = "nitrate_qualite_rivieres_analyse_pc", + schema = "qualite_cours_d_eau", + db = "si_eau", + user = "admin" + ) + +``` + + + + diff --git a/vignettes/insertion-des-analyses-hubeau-eso.Rmd b/vignettes/insertion-des-analyses-hubeau-eso.Rmd index 5d7ce0d56111183015da643d8b408cd89a93fa8e..5632c37c8ea794a83474d39e40b1c03b6a6f3099 100644 --- a/vignettes/insertion-des-analyses-hubeau-eso.Rmd +++ b/vignettes/insertion-des-analyses-hubeau-eso.Rmd @@ -2,7 +2,7 @@ title: "Insertion des analyses Hubeau ESO" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des analyses Hubeau ESO} + %\VignetteIndexEntry{insertion-des-analyses-hubeau-eso} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,35 +14,27 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_eso_into_analyse.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` - # Consolidation et insertion des analyses Hub'eau ESO dans la table des analyses ## Chargement des analyses Hub'eau ESO La table des données brutes Nitrates Hub'eau ESO est chargée : -```{r load-nitrate_qualite_nappes_analyses} -#| eval: no +```{r load-nitrate_qualite_nappes_analyses, eval = FALSE} # Charger la table qualite_nappes_eau_souterraine.nitrate_qualite_nappes_analyses nitrate_qualite_nappes_analyses <- datalibaba::importer_data( table = "nitrate_qualite_nappes_analyses", @@ -52,26 +44,22 @@ nitrate_qualite_nappes_analyses <- datalibaba::importer_data( ) ``` - ## Filtre par code_producteur pour exclure les données ARS On sélectionne les code_producteur correspondants aux enregistrements hors données ARS de la région : -```{r select-code_producteur_hubeau_eso} -#| eval: no +```{r select-code_producteur_hubeau_eso, eval = FALSE} # Filtrer pour exclure les données ARS nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::filter(!code_producteur %in% c('44','49','53','72','85')) ``` - ## Consolidation des données Hub'eau ESO On remplace des valeurs dans limite_detection et limite_quantification : -```{r replace-dot_limite_detection} -#| eval: no +```{r replace-dot_limite_detection, eval = FALSE} # Remplacer les valeurs dans les colonnes limite_detection et limite_quantification nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::mutate( @@ -82,11 +70,9 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - On sélectionne les champs utiles à la table des analyses : -```{r select-variables-hubeau_eso} -#| eval: no +```{r select-variables-hubeau_eso, eval = FALSE} # Sélectionner les variables nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::select(code_station = bss_id, @@ -102,11 +88,9 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - On modifie le type des variables numériques : -```{r change-fieldtypes} -#| eval: no +```{r change-fieldtypes, eval = FALSE} # Remplacer les valeurs dans les colonnes resultat_analyse et limite_quantification nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::mutate(resultat_analyse = as.numeric(resultat_analyse), @@ -119,13 +103,11 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - # Jointure avec la table des prélèvements créée auparavant La table des prélèvements est chargée : -```{r load-nitrate_prelevement} -#| eval: no +```{r load-nitrate_prelevement, eval = FALSE} # Charger la table nitrates.nitrate_prelevement_version nitrate_prelevement <- datalibaba::importer_data( table = glue::glue("nitrate_prelevement_", version), @@ -136,23 +118,19 @@ nitrate_prelevement <- datalibaba::importer_data( ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_eso} -#| eval: no +```{r select-distinct-rows_hubeau_eso, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On joint le dataframe des prélèvements pour récupérer la variable code_prelevement : -```{r join-prelevement_hubeau_eso} -#| eval: no +```{r join-prelevement_hubeau_eso, eval = FALSE} # Joindre les dataframes nitrate_qualite_nappes_analyses et nitrate_prelevement nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::left_join(nitrate_prelevement |> @@ -160,24 +138,20 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> by = c("code_station" = "code_station", "date_prelevement" = "date_prelevement")) ``` - On dédoublonne les lignes en utilisant les champs `code_prelevement`, `code_parametre` et `resultat_analyse` afin de ne conserver qu'une analyse : -```{r select-distinct-rows_hubeau_eso_2} -#| eval: no +```{r select-distinct-rows_hubeau_eso_2, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::distinct(code_prelevement, code_parametre, resultat_analyse, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_analyse_hubeau_eso} -#| eval: no -# Utiliser la fonction add_code_analyse_ars avec la version souhaitée +```{r add_code_analyse_hubeau_eso, eval = FALSE} +# Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_nappes_analyses <- add_code_analyse( nitrate_qualite_nappes_analyses, version) @@ -186,13 +160,11 @@ print(nitrate_qualite_nappes_analyses) ``` - # Chargement en base On corrige l'ordre des champs les champs utiles à la table des analyses : -```{r select-variables-hubeau_eso_final} -#| eval: no +```{r select-variables-hubeau_eso_final, eval = FALSE} # Sélectionner les variables dans l'ordre des champs de la table à alimenter nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::select(code_analyse, @@ -208,11 +180,9 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - On charge les données consolidées dans un table dédiée : -```{r insert-into_nitrate_prelevement_v0_xx} -#| eval: no +```{r insert-into_nitrate_prelevement_v0_xx, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_nappes_analyses, table = glue::glue("nitrate_analyse_hubeau_eso_", version), @@ -223,13 +193,11 @@ datalibaba::poster_data(data = nitrate_qualite_nappes_analyses, user = "admin") ``` - # Insertion des données Hub'eau ESO en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_eso} -#| eval: no +```{r import_and_merge_tables_hubeau_eso, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_analyse_hubeau_eso_", version), @@ -240,7 +208,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - - diff --git a/vignettes/insertion-des-analyses-hubeau-esu.Rmd b/vignettes/insertion-des-analyses-hubeau-esu.Rmd index 7e3af132890cec31ada9e785da7d6a9477f862c5..e945158a3a4e33d87655ffc86a4fda6885bdf18f 100644 --- a/vignettes/insertion-des-analyses-hubeau-esu.Rmd +++ b/vignettes/insertion-des-analyses-hubeau-esu.Rmd @@ -2,7 +2,7 @@ title: "Insertion des analyses Hubeau ESU" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des analyses Hubeau ESU} + %\VignetteIndexEntry{insertion-des-analyses-hubeau-esu} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,35 +14,27 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_esu_into_analyse.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` - # Consolidation et insertion des analyses Hub'eau ESU dans la table des analyses ## Chargement des analyses Hub'eau ESU La table des données brutes Nitrates Hub'eau ESU est chargée : -```{r load-nitrate_qualite_rivieres_analyse_pc} -#| eval: no +```{r load-nitrate_qualite_rivieres_analyse_pc, eval = FALSE} # Charger la table qualite_cours_d_eau.nitrate_qualite_rivieres_analyse_pc nitrate_qualite_rivieres_analyses <- datalibaba::importer_data( table = "nitrate_qualite_rivieres_analyse_pc", @@ -52,13 +44,11 @@ nitrate_qualite_rivieres_analyses <- datalibaba::importer_data( ) ``` - ## Consolidation des analyses Hub'eau ESU On remplace des valeurs dans limite_detection et limite_quantification : -```{r replace-dot_limite_detection} -#| eval: no +```{r replace-dot_limite_detection, eval = FALSE} # Remplacer les valeurs dans les colonnes limite_detection et limite_quantification nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::mutate( @@ -69,11 +59,9 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - On sélectionne les champs utiles à la table des analyses : -```{r select-variables-hubeau_esu} -#| eval: no +```{r select-variables-hubeau_esu, eval = FALSE} # Sélectionner les variables nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::select(code_station, @@ -89,11 +77,9 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - On modifie le type des variables resultat_analyse et limite_quantification : -```{r change-fieldtypes} -#| eval: no +```{r change-fieldtypes, eval = FALSE} # Remplacer les valeurs dans les colonnes resultat_analyse et limite_quantification nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::mutate(resultat_analyse = as.numeric(resultat_analyse), @@ -106,13 +92,11 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - # Jointure avec la table des prélèvements créée auparavant La table des prélèvements est chargée : -```{r load-nitrate_prelevement} -#| eval: no +```{r load-nitrate_prelevement, eval = FALSE} # Charger la table nitrates.nitrate_prelevement_version nitrate_prelevement <- datalibaba::importer_data( table = glue::glue("nitrate_prelevement_", version), @@ -123,23 +107,19 @@ nitrate_prelevement <- datalibaba::importer_data( ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_esu} -#| eval: no +```{r select-distinct-rows_hubeau_esu, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On joint le dataframe des prélèvements pour récupérer la variable code_prelevement : -```{r join-prelevement_hubeau_esu} -#| eval: no +```{r join-prelevement_hubeau_esu, eval = FALSE} # Joindre les dataframes nitrate_qualite_rivieres_analyses et nitrate_prelevement nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::left_join(nitrate_prelevement |> @@ -147,24 +127,20 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> by = c("code_station" = "code_station", "date_prelevement" = "date_prelevement")) ``` - On dédoublonne les lignes en utilisant les champs `code_prelevement`, `code_parametre` et `resultat_analyse` afin de ne conserver qu'une analyse : -```{r select-distinct-rows_hubeau_esu_2} -#| eval: no +```{r select-distinct-rows_hubeau_esu_2, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::distinct(code_prelevement, code_parametre, resultat_analyse, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_analyse_hubeau_esu} -#| eval: no -# Utiliser la fonction add_code_analyse_ars avec la version souhaitée +```{r add_code_analyse_hubeau_esu, eval = FALSE} +# Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_rivieres_analyses <- add_code_analyse( nitrate_qualite_rivieres_analyses, version) @@ -173,13 +149,11 @@ print(nitrate_qualite_rivieres_analyses) ``` - # Chargement en base On corrige l'ordre des champs les champs utiles à la table des analyses : -```{r select-variables-hubeau_esu_final} -#| eval: no +```{r select-variables-hubeau_esu_final, eval = FALSE} # Sélectionner les variables dans l'ordre des champs de la table à alimenter nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::select(code_analyse, @@ -195,11 +169,9 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - On charge les données consolidées dans une table dédiée : -```{r insert-into_nitrate_analyse_hubeau_esu_version} -#| eval: no +```{r insert-into_nitrate_analyse_hubeau_esu_version, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_rivieres_analyses, table = glue::glue("nitrate_analyse_hubeau_esu_", version), @@ -210,13 +182,11 @@ datalibaba::poster_data(data = nitrate_qualite_rivieres_analyses, user = "admin") ``` - # Insertion des analyses Hub'eau ESU en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_esu} -#| eval: no +```{r import_and_merge_tables_hubeau_esu, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_analyse_hubeau_esu_", version), @@ -227,7 +197,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - - diff --git a/vignettes/insertion-des-prelevements-ars.Rmd b/vignettes/insertion-des-prelevements-ars.Rmd index fa0e73cdd215f4f747d4c7f96870d81e8a53b23b..edcbfae0613015250a2dc0001ed52641171a15e5 100644 --- a/vignettes/insertion-des-prelevements-ars.Rmd +++ b/vignettes/insertion-des-prelevements-ars.Rmd @@ -2,7 +2,7 @@ title: "Insertion des prélèvements ARS" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des prélèvements ARS} + %\VignetteIndexEntry{insertion-des-prelevements-ars} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,35 +14,27 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_ars_into_prelevement.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` - # Consolidation et insertion des données de l'ARS dans la table des prélèvements ## Chargement des données ARS brutes et des stations ESO La table des données brutes Nitrates de l'ARS est chargée : -```{r load-nitrate_data_analyse_ars} -#| eval: no +```{r load-nitrate_data_analyse_ars, eval = FALSE} nitrate_data_analyse_ars <- datalibaba::importer_data( table = "nitrate_data_analyse_ars", schema = "nitrates", @@ -51,11 +43,9 @@ nitrate_data_analyse_ars <- datalibaba::importer_data( ) ``` - La table des stations ESO est chargée afin de remplacer ultérieurement le code SISE-EAUX par le code BSS pour les prélèvements ESO : -```{r load-nitrate_station_eso} -#| eval: no +```{r load-nitrate_station_eso, eval = FALSE} station_eso <- datalibaba::importer_data( table = "station_eso", schema = "stations", @@ -64,13 +54,11 @@ station_eso <- datalibaba::importer_data( ) ``` - ## Consolidation des données ARS On ajoute les variables `source` et `code_support` : -```{r add-source_code_support_ars} -#| eval: no +```{r add-source_code_support_ars, eval = FALSE} # Ajouter les variables source et code_support nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::mutate( @@ -79,21 +67,17 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> ) ``` - On remplace "h" par ":" dans la variable `plv_heure` : -```{r replace-in_plv_heure} -#| eval: no +```{r replace-in_plv_heure, eval = FALSE} # Remplacer "h" par ":" dans la colonne plv_heure nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::mutate(plv_heure = stringr::str_replace_all(plv_heure, "h", ":")) ``` - On sélectionne les champs utiles à la table des prélèvements : -```{r select-variables-ars} -#| eval: no +```{r select-variables-ars, eval = FALSE} # Sélectionner les variables nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::select(code_intervenant = geo_dept_ddass_gest_code, @@ -108,22 +92,18 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows-ars} -#| eval: no +```{r select-distinct-rows-ars, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On met à jour le champs code_station avec le code BSS : -```{r update_code_bss} -#| eval: no +```{r update_code_bss, eval = FALSE} nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::left_join(station_eso, by = c("code_station" = "code_sise_eaux"), suffix = c("_ars", "_station_eso")) @@ -132,11 +112,9 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::select(-code_station_station_eso, -source_station_eso) ``` - On ne conserve que les champs utiles à la table des prélèvements : -```{r select-variables-ars_v2} -#| eval: no +```{r select-variables-ars_v2, eval = FALSE} nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::select(code_intervenant, source = source_ars, @@ -149,12 +127,10 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> id_prelevement_motif) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_prelevement_ars} -#| eval: no -# Utiliser la fonction add_code_prelevement_ars avec la version souhaitée +```{r add_code_prelevement_ars, eval = FALSE} +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_data_analyse_ars <- add_code_prelevement( nitrate_data_analyse_ars, version) @@ -163,11 +139,9 @@ print(nitrate_data_analyse_ars) ``` - On charge les données consolidées dans un table dédiée : -```{r insert-into_nitrate_prelevement_v0_16} -#| eval: no +```{r insert-into_nitrate_prelevement_v0_16, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_data_analyse_ars, table = glue::glue("nitrate_prelevement_ars_", version), @@ -178,13 +152,11 @@ datalibaba::poster_data(data = nitrate_data_analyse_ars, user = "admin") ``` - # Insertion des données ARS du nouveau millésime en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_ars} -#| eval: no +```{r import_and_merge_tables_ars, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_prelevement_ars_", version), @@ -195,6 +167,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - diff --git a/vignettes/insertion-des-prelevements-hubeau-eso.Rmd b/vignettes/insertion-des-prelevements-hubeau-eso.Rmd index 9390f4f36c3a8aa09777db910565dfb6a560a57f..cefbe0e3a1879a64f6f3326292e7e0a05dfaba29 100644 --- a/vignettes/insertion-des-prelevements-hubeau-eso.Rmd +++ b/vignettes/insertion-des-prelevements-hubeau-eso.Rmd @@ -2,7 +2,7 @@ title: "Insertion des prélèvements Hubeau ESO" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des prélèvements Hubeau ESO} + %\VignetteIndexEntry{insertion-des-prelevements-hubeau-eso} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,35 +14,27 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_eso_into_prelevement.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` - # Consolidation et insertion des données Hub'eau ESO dans la table des prélèvements ## Chargement des prélèvements Hub'eau ESO La table des données brutes Nitrates Hub'eau ESO est chargée : -```{r load-nitrate_qualite_nappes_analyses} -#| eval: no +```{r load-nitrate_qualite_nappes_analyses, eval = FALSE} # Charger la table qualite_nappes_eau_souterraine.nitrate_qualite_rivieres_analyse_pc nitrate_qualite_nappes_prelevements <- datalibaba::importer_data( table = "nitrate_qualite_nappes_analyses", @@ -52,26 +44,22 @@ nitrate_qualite_nappes_prelevements <- datalibaba::importer_data( ) ``` - ## Filtre par code_producteur pour exclure les données ARS On sélectionne les code_producteur correspondants aux enregistrements hors données ARS de la région : -```{r select-code_producteur_hubeau_eso} -#| eval: no +```{r select-code_producteur_hubeau_eso, eval = FALSE} # Filtrer pour exclure les données ARS nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::filter(!code_producteur %in% c('44','49','53','72','85')) ``` - ## Consolidation des prélèvements Hub'eau ESO On ajoute les variables `source`, `code_support` et `nature_eau` : -```{r add-source_code_support_hubeau_eso} -#| eval: no +```{r add-source_code_support_hubeau_eso, eval = FALSE} # Ajouter les variables source, code_support et nature_eau nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::mutate( @@ -80,11 +68,9 @@ nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> nature_eau = "ESO") ``` - On sélectionne les champs utiles à la table des prélèvements : -```{r select-variables_hubeau_eso} -#| eval: no +```{r select-variables_hubeau_eso, eval = FALSE} # Sélectionner les variables nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::select(source, @@ -95,34 +81,28 @@ nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> nature_eau) ``` - On modifie le type de la variable `code_support` de character en integer : -```{r change-type_code_support} -#| eval: no +```{r change-type_code_support, eval = FALSE} # Convertir la variable code_support de character en integer nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::mutate(code_support = as.integer(code_support)) ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_eso} -#| eval: no +```{r select-distinct-rows_hubeau_eso, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_prelevement_hubeau_eso} -#| eval: no -# Utiliser la fonction add_code_prelevement avec la version souhaitée +```{r add_code_prelevement_hubeau_eso, eval = FALSE} +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_nappes_prelevements <- add_code_prelevement( nitrate_qualite_nappes_prelevements, version) @@ -131,11 +111,9 @@ print(nitrate_qualite_nappes_prelevements) ``` - On charge les données consolidées dans un table dédiée : -```{r insert-into_nitrate_prelevement_hubeau_eso} -#| eval: no +```{r insert-into_nitrate_prelevement_hubeau_eso, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_nappes_prelevements, table = glue::glue("nitrate_prelevement_hubeau_eso_", version), @@ -146,13 +124,11 @@ datalibaba::poster_data(data = nitrate_qualite_nappes_prelevements, user = "admin") ``` - # Insertion des prélèvements Hub'eau ESO en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_eso} -#| eval: no +```{r import_and_merge_tables_hubeau_eso, eval = FALSE} # Insérer les prélèvements Hub'eau ESO vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_prelevement_hubeau_eso_", version), @@ -163,6 +139,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - diff --git a/vignettes/insertion-des-prelevements-hubeau-esu.Rmd b/vignettes/insertion-des-prelevements-hubeau-esu.Rmd index 00278219b017f69f728b8be6b5b6e3d5a897ec52..2152ab243c77e22fd330a65e7af57e2cb8aed739 100644 --- a/vignettes/insertion-des-prelevements-hubeau-esu.Rmd +++ b/vignettes/insertion-des-prelevements-hubeau-esu.Rmd @@ -2,7 +2,7 @@ title: "Insertion des prélèvements Hubeau ESU" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des prélèvements Hubeau ESU} + %\VignetteIndexEntry{insertion-des-prelevements-hubeau-esu} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,35 +14,27 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_esu_into_prelevement.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") -# Accéder aux valeurs pour version et last_year +# Accéder à la valeur pour version version <- config$version -last_year <- config$last_year ``` - # Consolidation et insertion des données Hub'eau ESU dans la table des prélèvements ## Chargement des prélèvements Hub'eau ESU La table des données brutes Nitrates Hub'eau ESU est chargée : -```{r load-nitrate_qualite_rivieres_analyse_pc} -#| eval: no +```{r load-nitrate_qualite_rivieres_analyse_pc, eval = FALSE} # Charger la table qualite_nappes_eau_souterraine.nitrate_qualite_rivieres_analyse_pc nitrate_qualite_rivieres_prelevements <- datalibaba::importer_data( table = "nitrate_qualite_rivieres_analyse_pc", @@ -52,13 +44,11 @@ nitrate_qualite_rivieres_prelevements <- datalibaba::importer_data( ) ``` - ## Consolidation des prélèvements Hub'eau ESU On remplace "." par "," dans les variables `limite_detection` et `limite_quantification` : -```{r replace-in_limite_detection} -#| eval: no +```{r replace-in_limite_detection, eval = FALSE} # Remplacer "." par "," dans les colonnes limite_detection et limite_quantification nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::mutate( @@ -67,11 +57,9 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | ) ``` - On ajoute les variables `source` et `nature_eau` : -```{r add-source_code_support_hubeau_esu} -#| eval: no +```{r add-source_code_support_hubeau_esu, eval = FALSE} # Ajouter les variables source et nature_eau nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::mutate( @@ -80,11 +68,9 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | ``` - On sélectionne les champs utiles à la table des prélèvements : -```{r select-variables_hubeau_esu} -#| eval: no +```{r select-variables_hubeau_esu, eval = FALSE} # Sélectionner les variables nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::select(source, @@ -97,34 +83,28 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | commentaire = commentaires_analyse) ``` - On modifie le type de la variable `code_support` de character en integer : -```{r change-type_code_support} -#| eval: no +```{r change-type_code_support, eval = FALSE} # Convertir la variable code_support de character en integer nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::mutate(code_support = as.integer(code_support)) ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_esu} -#| eval: no +```{r select-distinct-rows_hubeau_esu, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_prelevement_hubeau_esu} -#| eval: no -# Utiliser la fonction add_code_prelevement avec la version souhaitée +```{r add_code_prelevement_hubeau_esu, eval = FALSE} +# Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_rivieres_prelevements <- add_code_prelevement( nitrate_qualite_rivieres_prelevements, version) @@ -133,11 +113,9 @@ print(nitrate_qualite_rivieres_prelevements) ``` - On charge les données consolidées dans une table dédiée : -```{r insert-into_nitrate_prelevement_hubeau_esu} -#| eval: no +```{r insert-into_nitrate_prelevement_hubeau_esu, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_rivieres_prelevements, table = glue::glue("nitrate_prelevement_hubeau_esu_", version), @@ -148,13 +126,11 @@ datalibaba::poster_data(data = nitrate_qualite_rivieres_prelevements, user = "admin") ``` - # Insertion des prélèvements Hub'eau ESU en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_esu} -#| eval: no +```{r import_and_merge_tables_hubeau_esu, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_prelevement_hubeau_esu_", version), @@ -165,6 +141,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - -