diff --git a/dev/config_fusen.yaml b/dev/config_fusen.yaml index 87c411d64858da5f6e5c35463117e0f281b7cedf..e1b062b14634d3420866813f821add87f1ea0ed3 100644 --- a/dev/config_fusen.yaml +++ b/dev/config_fusen.yaml @@ -42,7 +42,6 @@ flat_import_hubeau_eso_data.Rmd: check: true document: true overwrite: ask - clean: ask flat_import_hubeau_esu_data.Rmd: path: dev/flat_import_hubeau_esu_data.Rmd state: active @@ -84,7 +83,6 @@ flat_insert_ars_into_prelevement.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_eso_into_analyse.Rmd: path: dev/flat_insert_hubeau_eso_into_analyse.Rmd state: active @@ -98,7 +96,6 @@ flat_insert_hubeau_eso_into_analyse.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_eso_into_prelevement.Rmd: path: dev/flat_insert_hubeau_eso_into_prelevement.Rmd state: active @@ -112,7 +109,6 @@ flat_insert_hubeau_eso_into_prelevement.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_esu_into_analyse.Rmd: path: dev/flat_insert_hubeau_esu_into_analyse.Rmd state: active @@ -126,7 +122,6 @@ flat_insert_hubeau_esu_into_analyse.Rmd: check: true document: true overwrite: ask - clean: ask flat_insert_hubeau_esu_into_prelevement.Rmd: path: dev/flat_insert_hubeau_esu_into_prelevement.Rmd state: active @@ -140,7 +135,6 @@ flat_insert_hubeau_esu_into_prelevement.Rmd: check: true document: true overwrite: ask - clean: ask flat_list_existing_tables.Rmd: path: dev/flat_list_existing_tables.Rmd state: active diff --git a/dev/flat_create_tables_sequences.Rmd b/dev/flat_create_tables_sequences.Rmd index 7681843bf3d617d9ee02fcc96e559bae4b4bfb67..86a67e781dd92fc211cf158f4d3a6ca039fd750a 100644 --- a/dev/flat_create_tables_sequences.Rmd +++ b/dev/flat_create_tables_sequences.Rmd @@ -231,6 +231,7 @@ Création de la table `nitrates.nitrate_analyse_version` : ```{r create_nitrate_analyse_table, eval=FALSE} # Création du script SQL avec la version choisie sql <- create_nitrate_analyse_table(version, last_year) + ``` # Incrémentation des séquences diff --git a/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd b/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd index 7681843bf3d617d9ee02fcc96e559bae4b4bfb67..86a67e781dd92fc211cf158f4d3a6ca039fd750a 100644 --- a/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd +++ b/inst/rmarkdown/templates/creation-des-tables-et-des-sequences/skeleton/skeleton.Rmd @@ -231,6 +231,7 @@ Création de la table `nitrates.nitrate_analyse_version` : ```{r create_nitrate_analyse_table, eval=FALSE} # Création du script SQL avec la version choisie sql <- create_nitrate_analyse_table(version, last_year) + ``` # Incrémentation des séquences diff --git a/vignettes/creation-des-tables-et-des-sequences.Rmd b/vignettes/creation-des-tables-et-des-sequences.Rmd index 7ca00a3aa044f629a707453db997b2596ac2aa2c..dd7ee8187db165a03e265f1f268a4e97c97b339a 100644 --- a/vignettes/creation-des-tables-et-des-sequences.Rmd +++ b/vignettes/creation-des-tables-et-des-sequences.Rmd @@ -54,6 +54,7 @@ Création de la table `nitrates.nitrate_analyse_version` : ```{r create_nitrate_analyse_table, eval = FALSE} # Création du script SQL avec la version choisie sql <- create_nitrate_analyse_table(version, last_year) + ``` # Incrémentation des séquences diff --git a/vignettes/import-des-donnees-hubeau-eso.Rmd b/vignettes/import-des-donnees-hubeau-eso.Rmd index bf4a72c665e7ca6fe0d8e6d479e6f7addb777c6d..9cc6dc758f6f93e7c2394bfb8bdf331beb54f281 100644 --- a/vignettes/import-des-donnees-hubeau-eso.Rmd +++ b/vignettes/import-des-donnees-hubeau-eso.Rmd @@ -2,7 +2,7 @@ title: "Import des données Hubeau ESO" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Import des données Hubeau ESO} + %\VignetteIndexEntry{import-des-donnees-hubeau-eso} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_import_hubeau_eso_data.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -33,19 +28,19 @@ config <- yaml::read_yaml("config.yml") last_year <- config$last_year ``` - # Présentation Cette page contient la logique métier concernant l'import des données de l'[API Hub'eau "Qualit\u00e9 des nappes d\'eau souterraine"](https://hubeau.eaufrance.fr/page/api-qualite-nappes) dans le cadre du projet Nitrates. + # Import des données Hub'eau ESU dans un dataframe par millésime On utilise la fonction `get_qualite_nappes_analyses()` du package [{hubeau}](https://github.com/inrae/hubeau) -```{r create-nitrate_analyse_esu_last_year} -#| eval: no + +```{r create-nitrate_analyse_esu_last_year, eval = FALSE} nitrate_analyse_eso_last_year <- hubeau::get_qualite_nappes_analyses( code_param = "1340", code_region = "52", @@ -56,11 +51,9 @@ nitrate_analyse_eso_last_year <- hubeau::get_qualite_nappes_analyses( ``` - # Création d'une table pour le nouveau millésime -```{r create-nitrate_data_ars} -#| eval: no +```{r create-nitrate_data_ars, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_analyse_eso_last_year, table = glue::glue("nitrate_qualite_nappes_analyses_", last_year), @@ -81,11 +74,9 @@ datalibaba::commenter_table( ``` - # Modification du type des champs si besoin -```{r modify_column_type} -#| eval: no +```{r modify_column_type, eval = FALSE} # Modifier le type de colonne pour les champs de date collectr::modify_column_type(database = "si_eau", schema = "qualite_nappes_eau_souterraine", @@ -96,11 +87,9 @@ collectr::modify_column_type(database = "si_eau", ``` - # Archivage de la version précédente de la table -```{r archive_table} -#| eval: no +```{r archive_table, eval = FALSE} # Archiver la version actuelle de la table avec tous les millésimes collectr::archive_table(database = "si_eau", schema = "qualite_nappes_eau_souterraine", @@ -110,11 +99,9 @@ collectr::archive_table(database = "si_eau", ``` - # Insertion des données du nouveau millésime en base dans la table globale -```{r import_and_merge_tables} -#| eval: no +```{r import_and_merge_tables, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_qualite_nappes_analyses_", last_year), @@ -137,6 +124,3 @@ datalibaba::commenter_table( ``` - - - diff --git a/vignettes/insertion-des-analyses-hubeau-eso.Rmd b/vignettes/insertion-des-analyses-hubeau-eso.Rmd index c4aba11e35a5b15ca86b23c2aa985ce68f3189b2..5632c37c8ea794a83474d39e40b1c03b6a6f3099 100644 --- a/vignettes/insertion-des-analyses-hubeau-eso.Rmd +++ b/vignettes/insertion-des-analyses-hubeau-eso.Rmd @@ -2,7 +2,7 @@ title: "Insertion des analyses Hubeau ESO" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des analyses Hubeau ESO} + %\VignetteIndexEntry{insertion-des-analyses-hubeau-eso} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_eso_into_analyse.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -33,15 +28,13 @@ config <- yaml::read_yaml("config.yml") version <- config$version ``` - # Consolidation et insertion des analyses Hub'eau ESO dans la table des analyses ## Chargement des analyses Hub'eau ESO La table des données brutes Nitrates Hub'eau ESO est chargée : -```{r load-nitrate_qualite_nappes_analyses} -#| eval: no +```{r load-nitrate_qualite_nappes_analyses, eval = FALSE} # Charger la table qualite_nappes_eau_souterraine.nitrate_qualite_nappes_analyses nitrate_qualite_nappes_analyses <- datalibaba::importer_data( table = "nitrate_qualite_nappes_analyses", @@ -51,26 +44,22 @@ nitrate_qualite_nappes_analyses <- datalibaba::importer_data( ) ``` - ## Filtre par code_producteur pour exclure les données ARS On sélectionne les code_producteur correspondants aux enregistrements hors données ARS de la région : -```{r select-code_producteur_hubeau_eso} -#| eval: no +```{r select-code_producteur_hubeau_eso, eval = FALSE} # Filtrer pour exclure les données ARS nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::filter(!code_producteur %in% c('44','49','53','72','85')) ``` - ## Consolidation des données Hub'eau ESO On remplace des valeurs dans limite_detection et limite_quantification : -```{r replace-dot_limite_detection} -#| eval: no +```{r replace-dot_limite_detection, eval = FALSE} # Remplacer les valeurs dans les colonnes limite_detection et limite_quantification nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::mutate( @@ -81,11 +70,9 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - On sélectionne les champs utiles à la table des analyses : -```{r select-variables-hubeau_eso} -#| eval: no +```{r select-variables-hubeau_eso, eval = FALSE} # Sélectionner les variables nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::select(code_station = bss_id, @@ -101,11 +88,9 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - On modifie le type des variables numériques : -```{r change-fieldtypes} -#| eval: no +```{r change-fieldtypes, eval = FALSE} # Remplacer les valeurs dans les colonnes resultat_analyse et limite_quantification nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::mutate(resultat_analyse = as.numeric(resultat_analyse), @@ -118,13 +103,11 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - # Jointure avec la table des prélèvements créée auparavant La table des prélèvements est chargée : -```{r load-nitrate_prelevement} -#| eval: no +```{r load-nitrate_prelevement, eval = FALSE} # Charger la table nitrates.nitrate_prelevement_version nitrate_prelevement <- datalibaba::importer_data( table = glue::glue("nitrate_prelevement_", version), @@ -135,23 +118,19 @@ nitrate_prelevement <- datalibaba::importer_data( ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_eso} -#| eval: no +```{r select-distinct-rows_hubeau_eso, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On joint le dataframe des prélèvements pour récupérer la variable code_prelevement : -```{r join-prelevement_hubeau_eso} -#| eval: no +```{r join-prelevement_hubeau_eso, eval = FALSE} # Joindre les dataframes nitrate_qualite_nappes_analyses et nitrate_prelevement nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::left_join(nitrate_prelevement |> @@ -159,23 +138,19 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> by = c("code_station" = "code_station", "date_prelevement" = "date_prelevement")) ``` - On dédoublonne les lignes en utilisant les champs `code_prelevement`, `code_parametre` et `resultat_analyse` afin de ne conserver qu'une analyse : -```{r select-distinct-rows_hubeau_eso_2} -#| eval: no +```{r select-distinct-rows_hubeau_eso_2, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::distinct(code_prelevement, code_parametre, resultat_analyse, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_analyse_hubeau_eso} -#| eval: no +```{r add_code_analyse_hubeau_eso, eval = FALSE} # Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_nappes_analyses <- add_code_analyse( nitrate_qualite_nappes_analyses, version) @@ -185,13 +160,11 @@ print(nitrate_qualite_nappes_analyses) ``` - # Chargement en base On corrige l'ordre des champs les champs utiles à la table des analyses : -```{r select-variables-hubeau_eso_final} -#| eval: no +```{r select-variables-hubeau_eso_final, eval = FALSE} # Sélectionner les variables dans l'ordre des champs de la table à alimenter nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> dplyr::select(code_analyse, @@ -207,11 +180,9 @@ nitrate_qualite_nappes_analyses <- nitrate_qualite_nappes_analyses |> ``` - On charge les données consolidées dans un table dédiée : -```{r insert-into_nitrate_prelevement_v0_xx} -#| eval: no +```{r insert-into_nitrate_prelevement_v0_xx, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_nappes_analyses, table = glue::glue("nitrate_analyse_hubeau_eso_", version), @@ -222,13 +193,11 @@ datalibaba::poster_data(data = nitrate_qualite_nappes_analyses, user = "admin") ``` - # Insertion des données Hub'eau ESO en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_eso} -#| eval: no +```{r import_and_merge_tables_hubeau_eso, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_analyse_hubeau_eso_", version), @@ -239,7 +208,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - - diff --git a/vignettes/insertion-des-analyses-hubeau-esu.Rmd b/vignettes/insertion-des-analyses-hubeau-esu.Rmd index 62f802ce2e4107a706b87b3af598c343f9700b07..e945158a3a4e33d87655ffc86a4fda6885bdf18f 100644 --- a/vignettes/insertion-des-analyses-hubeau-esu.Rmd +++ b/vignettes/insertion-des-analyses-hubeau-esu.Rmd @@ -2,7 +2,7 @@ title: "Insertion des analyses Hubeau ESU" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des analyses Hubeau ESU} + %\VignetteIndexEntry{insertion-des-analyses-hubeau-esu} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_esu_into_analyse.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -33,15 +28,13 @@ config <- yaml::read_yaml("config.yml") version <- config$version ``` - # Consolidation et insertion des analyses Hub'eau ESU dans la table des analyses ## Chargement des analyses Hub'eau ESU La table des données brutes Nitrates Hub'eau ESU est chargée : -```{r load-nitrate_qualite_rivieres_analyse_pc} -#| eval: no +```{r load-nitrate_qualite_rivieres_analyse_pc, eval = FALSE} # Charger la table qualite_cours_d_eau.nitrate_qualite_rivieres_analyse_pc nitrate_qualite_rivieres_analyses <- datalibaba::importer_data( table = "nitrate_qualite_rivieres_analyse_pc", @@ -51,13 +44,11 @@ nitrate_qualite_rivieres_analyses <- datalibaba::importer_data( ) ``` - ## Consolidation des analyses Hub'eau ESU On remplace des valeurs dans limite_detection et limite_quantification : -```{r replace-dot_limite_detection} -#| eval: no +```{r replace-dot_limite_detection, eval = FALSE} # Remplacer les valeurs dans les colonnes limite_detection et limite_quantification nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::mutate( @@ -68,11 +59,9 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - On sélectionne les champs utiles à la table des analyses : -```{r select-variables-hubeau_esu} -#| eval: no +```{r select-variables-hubeau_esu, eval = FALSE} # Sélectionner les variables nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::select(code_station, @@ -88,11 +77,9 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - On modifie le type des variables resultat_analyse et limite_quantification : -```{r change-fieldtypes} -#| eval: no +```{r change-fieldtypes, eval = FALSE} # Remplacer les valeurs dans les colonnes resultat_analyse et limite_quantification nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::mutate(resultat_analyse = as.numeric(resultat_analyse), @@ -105,13 +92,11 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - # Jointure avec la table des prélèvements créée auparavant La table des prélèvements est chargée : -```{r load-nitrate_prelevement} -#| eval: no +```{r load-nitrate_prelevement, eval = FALSE} # Charger la table nitrates.nitrate_prelevement_version nitrate_prelevement <- datalibaba::importer_data( table = glue::glue("nitrate_prelevement_", version), @@ -122,23 +107,19 @@ nitrate_prelevement <- datalibaba::importer_data( ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_esu} -#| eval: no +```{r select-distinct-rows_hubeau_esu, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On joint le dataframe des prélèvements pour récupérer la variable code_prelevement : -```{r join-prelevement_hubeau_esu} -#| eval: no +```{r join-prelevement_hubeau_esu, eval = FALSE} # Joindre les dataframes nitrate_qualite_rivieres_analyses et nitrate_prelevement nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::left_join(nitrate_prelevement |> @@ -146,23 +127,19 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> by = c("code_station" = "code_station", "date_prelevement" = "date_prelevement")) ``` - On dédoublonne les lignes en utilisant les champs `code_prelevement`, `code_parametre` et `resultat_analyse` afin de ne conserver qu'une analyse : -```{r select-distinct-rows_hubeau_esu_2} -#| eval: no +```{r select-distinct-rows_hubeau_esu_2, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::distinct(code_prelevement, code_parametre, resultat_analyse, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_analyse_hubeau_esu} -#| eval: no +```{r add_code_analyse_hubeau_esu, eval = FALSE} # Utiliser la fonction add_code_analyse() avec la version souhaitée nitrate_qualite_rivieres_analyses <- add_code_analyse( nitrate_qualite_rivieres_analyses, version) @@ -172,13 +149,11 @@ print(nitrate_qualite_rivieres_analyses) ``` - # Chargement en base On corrige l'ordre des champs les champs utiles à la table des analyses : -```{r select-variables-hubeau_esu_final} -#| eval: no +```{r select-variables-hubeau_esu_final, eval = FALSE} # Sélectionner les variables dans l'ordre des champs de la table à alimenter nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> dplyr::select(code_analyse, @@ -194,11 +169,9 @@ nitrate_qualite_rivieres_analyses <- nitrate_qualite_rivieres_analyses |> ``` - On charge les données consolidées dans une table dédiée : -```{r insert-into_nitrate_analyse_hubeau_esu_version} -#| eval: no +```{r insert-into_nitrate_analyse_hubeau_esu_version, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_rivieres_analyses, table = glue::glue("nitrate_analyse_hubeau_esu_", version), @@ -209,13 +182,11 @@ datalibaba::poster_data(data = nitrate_qualite_rivieres_analyses, user = "admin") ``` - # Insertion des analyses Hub'eau ESU en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_esu} -#| eval: no +```{r import_and_merge_tables_hubeau_esu, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_analyse_hubeau_esu_", version), @@ -226,7 +197,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - - diff --git a/vignettes/insertion-des-prelevements-ars.Rmd b/vignettes/insertion-des-prelevements-ars.Rmd index fd1555cda35acd98e6176f0fdbf2f6786c7b1b28..edcbfae0613015250a2dc0001ed52641171a15e5 100644 --- a/vignettes/insertion-des-prelevements-ars.Rmd +++ b/vignettes/insertion-des-prelevements-ars.Rmd @@ -2,7 +2,7 @@ title: "Insertion des prélèvements ARS" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des prélèvements ARS} + %\VignetteIndexEntry{insertion-des-prelevements-ars} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_ars_into_prelevement.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -33,15 +28,13 @@ config <- yaml::read_yaml("config.yml") version <- config$version ``` - # Consolidation et insertion des données de l'ARS dans la table des prélèvements ## Chargement des données ARS brutes et des stations ESO La table des données brutes Nitrates de l'ARS est chargée : -```{r load-nitrate_data_analyse_ars} -#| eval: no +```{r load-nitrate_data_analyse_ars, eval = FALSE} nitrate_data_analyse_ars <- datalibaba::importer_data( table = "nitrate_data_analyse_ars", schema = "nitrates", @@ -50,11 +43,9 @@ nitrate_data_analyse_ars <- datalibaba::importer_data( ) ``` - La table des stations ESO est chargée afin de remplacer ultérieurement le code SISE-EAUX par le code BSS pour les prélèvements ESO : -```{r load-nitrate_station_eso} -#| eval: no +```{r load-nitrate_station_eso, eval = FALSE} station_eso <- datalibaba::importer_data( table = "station_eso", schema = "stations", @@ -63,13 +54,11 @@ station_eso <- datalibaba::importer_data( ) ``` - ## Consolidation des données ARS On ajoute les variables `source` et `code_support` : -```{r add-source_code_support_ars} -#| eval: no +```{r add-source_code_support_ars, eval = FALSE} # Ajouter les variables source et code_support nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::mutate( @@ -78,21 +67,17 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> ) ``` - On remplace "h" par ":" dans la variable `plv_heure` : -```{r replace-in_plv_heure} -#| eval: no +```{r replace-in_plv_heure, eval = FALSE} # Remplacer "h" par ":" dans la colonne plv_heure nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::mutate(plv_heure = stringr::str_replace_all(plv_heure, "h", ":")) ``` - On sélectionne les champs utiles à la table des prélèvements : -```{r select-variables-ars} -#| eval: no +```{r select-variables-ars, eval = FALSE} # Sélectionner les variables nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::select(code_intervenant = geo_dept_ddass_gest_code, @@ -107,22 +92,18 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows-ars} -#| eval: no +```{r select-distinct-rows-ars, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On met à jour le champs code_station avec le code BSS : -```{r update_code_bss} -#| eval: no +```{r update_code_bss, eval = FALSE} nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::left_join(station_eso, by = c("code_station" = "code_sise_eaux"), suffix = c("_ars", "_station_eso")) @@ -131,11 +112,9 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::select(-code_station_station_eso, -source_station_eso) ``` - On ne conserve que les champs utiles à la table des prélèvements : -```{r select-variables-ars_v2} -#| eval: no +```{r select-variables-ars_v2, eval = FALSE} nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> dplyr::select(code_intervenant, source = source_ars, @@ -148,11 +127,9 @@ nitrate_data_analyse_ars <- nitrate_data_analyse_ars |> id_prelevement_motif) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_prelevement_ars} -#| eval: no +```{r add_code_prelevement_ars, eval = FALSE} # Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_data_analyse_ars <- add_code_prelevement( nitrate_data_analyse_ars, version) @@ -162,11 +139,9 @@ print(nitrate_data_analyse_ars) ``` - On charge les données consolidées dans un table dédiée : -```{r insert-into_nitrate_prelevement_v0_16} -#| eval: no +```{r insert-into_nitrate_prelevement_v0_16, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_data_analyse_ars, table = glue::glue("nitrate_prelevement_ars_", version), @@ -177,13 +152,11 @@ datalibaba::poster_data(data = nitrate_data_analyse_ars, user = "admin") ``` - # Insertion des données ARS du nouveau millésime en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_ars} -#| eval: no +```{r import_and_merge_tables_ars, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_prelevement_ars_", version), @@ -194,7 +167,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - - diff --git a/vignettes/insertion-des-prelevements-hubeau-eso.Rmd b/vignettes/insertion-des-prelevements-hubeau-eso.Rmd index 4057bba32e40f5753c4c78aaac42da08176cbaea..cefbe0e3a1879a64f6f3326292e7e0a05dfaba29 100644 --- a/vignettes/insertion-des-prelevements-hubeau-eso.Rmd +++ b/vignettes/insertion-des-prelevements-hubeau-eso.Rmd @@ -2,7 +2,7 @@ title: "Insertion des prélèvements Hubeau ESO" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des prélèvements Hubeau ESO} + %\VignetteIndexEntry{insertion-des-prelevements-hubeau-eso} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_eso_into_prelevement.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -33,15 +28,13 @@ config <- yaml::read_yaml("config.yml") version <- config$version ``` - # Consolidation et insertion des données Hub'eau ESO dans la table des prélèvements ## Chargement des prélèvements Hub'eau ESO La table des données brutes Nitrates Hub'eau ESO est chargée : -```{r load-nitrate_qualite_nappes_analyses} -#| eval: no +```{r load-nitrate_qualite_nappes_analyses, eval = FALSE} # Charger la table qualite_nappes_eau_souterraine.nitrate_qualite_rivieres_analyse_pc nitrate_qualite_nappes_prelevements <- datalibaba::importer_data( table = "nitrate_qualite_nappes_analyses", @@ -51,26 +44,22 @@ nitrate_qualite_nappes_prelevements <- datalibaba::importer_data( ) ``` - ## Filtre par code_producteur pour exclure les données ARS On sélectionne les code_producteur correspondants aux enregistrements hors données ARS de la région : -```{r select-code_producteur_hubeau_eso} -#| eval: no +```{r select-code_producteur_hubeau_eso, eval = FALSE} # Filtrer pour exclure les données ARS nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::filter(!code_producteur %in% c('44','49','53','72','85')) ``` - ## Consolidation des prélèvements Hub'eau ESO On ajoute les variables `source`, `code_support` et `nature_eau` : -```{r add-source_code_support_hubeau_eso} -#| eval: no +```{r add-source_code_support_hubeau_eso, eval = FALSE} # Ajouter les variables source, code_support et nature_eau nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::mutate( @@ -79,11 +68,9 @@ nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> nature_eau = "ESO") ``` - On sélectionne les champs utiles à la table des prélèvements : -```{r select-variables_hubeau_eso} -#| eval: no +```{r select-variables_hubeau_eso, eval = FALSE} # Sélectionner les variables nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::select(source, @@ -94,33 +81,27 @@ nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> nature_eau) ``` - On modifie le type de la variable `code_support` de character en integer : -```{r change-type_code_support} -#| eval: no +```{r change-type_code_support, eval = FALSE} # Convertir la variable code_support de character en integer nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::mutate(code_support = as.integer(code_support)) ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_eso} -#| eval: no +```{r select-distinct-rows_hubeau_eso, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_nappes_prelevements <- nitrate_qualite_nappes_prelevements |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_prelevement_hubeau_eso} -#| eval: no +```{r add_code_prelevement_hubeau_eso, eval = FALSE} # Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_nappes_prelevements <- add_code_prelevement( nitrate_qualite_nappes_prelevements, version) @@ -130,11 +111,9 @@ print(nitrate_qualite_nappes_prelevements) ``` - On charge les données consolidées dans un table dédiée : -```{r insert-into_nitrate_prelevement_hubeau_eso} -#| eval: no +```{r insert-into_nitrate_prelevement_hubeau_eso, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_nappes_prelevements, table = glue::glue("nitrate_prelevement_hubeau_eso_", version), @@ -145,13 +124,11 @@ datalibaba::poster_data(data = nitrate_qualite_nappes_prelevements, user = "admin") ``` - # Insertion des prélèvements Hub'eau ESO en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_eso} -#| eval: no +```{r import_and_merge_tables_hubeau_eso, eval = FALSE} # Insérer les prélèvements Hub'eau ESO vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_prelevement_hubeau_eso_", version), @@ -162,7 +139,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - - diff --git a/vignettes/insertion-des-prelevements-hubeau-esu.Rmd b/vignettes/insertion-des-prelevements-hubeau-esu.Rmd index 4c930d8e1b220bf03f7985c3f9e3002f461f8f76..2152ab243c77e22fd330a65e7af57e2cb8aed739 100644 --- a/vignettes/insertion-des-prelevements-hubeau-esu.Rmd +++ b/vignettes/insertion-des-prelevements-hubeau-esu.Rmd @@ -2,7 +2,7 @@ title: "Insertion des prélèvements Hubeau ESU" output: rmarkdown::html_vignette vignette: > - %\VignetteIndexEntry{Insertion des prélèvements Hubeau ESU} + %\VignetteIndexEntry{insertion-des-prelevements-hubeau-esu} %\VignetteEngine{knitr::rmarkdown} %\VignetteEncoding{UTF-8} --- @@ -14,18 +14,13 @@ knitr::opts_chunk$set( ) ``` -```{r} +```{r setup} library(data.nitrates) ``` <!-- WARNING - This vignette is generated by {fusen} from dev/flat_insert_hubeau_esu_into_prelevement.Rmd: do not edit by hand --> - - - -```{r config} -#| eval: no - +```{r config, eval = FALSE} # Lire le fichier de configuration config <- yaml::read_yaml("config.yml") @@ -33,15 +28,13 @@ config <- yaml::read_yaml("config.yml") version <- config$version ``` - # Consolidation et insertion des données Hub'eau ESU dans la table des prélèvements ## Chargement des prélèvements Hub'eau ESU La table des données brutes Nitrates Hub'eau ESU est chargée : -```{r load-nitrate_qualite_rivieres_analyse_pc} -#| eval: no +```{r load-nitrate_qualite_rivieres_analyse_pc, eval = FALSE} # Charger la table qualite_nappes_eau_souterraine.nitrate_qualite_rivieres_analyse_pc nitrate_qualite_rivieres_prelevements <- datalibaba::importer_data( table = "nitrate_qualite_rivieres_analyse_pc", @@ -51,13 +44,11 @@ nitrate_qualite_rivieres_prelevements <- datalibaba::importer_data( ) ``` - ## Consolidation des prélèvements Hub'eau ESU On remplace "." par "," dans les variables `limite_detection` et `limite_quantification` : -```{r replace-in_limite_detection} -#| eval: no +```{r replace-in_limite_detection, eval = FALSE} # Remplacer "." par "," dans les colonnes limite_detection et limite_quantification nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::mutate( @@ -66,11 +57,9 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | ) ``` - On ajoute les variables `source` et `nature_eau` : -```{r add-source_code_support_hubeau_esu} -#| eval: no +```{r add-source_code_support_hubeau_esu, eval = FALSE} # Ajouter les variables source et nature_eau nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::mutate( @@ -79,11 +68,9 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | ``` - On sélectionne les champs utiles à la table des prélèvements : -```{r select-variables_hubeau_esu} -#| eval: no +```{r select-variables_hubeau_esu, eval = FALSE} # Sélectionner les variables nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::select(source, @@ -96,33 +83,27 @@ nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements | commentaire = commentaires_analyse) ``` - On modifie le type de la variable `code_support` de character en integer : -```{r change-type_code_support} -#| eval: no +```{r change-type_code_support, eval = FALSE} # Convertir la variable code_support de character en integer nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::mutate(code_support = as.integer(code_support)) ``` - On dédoublonne les lignes en utilisant les champs `code_station` et `date_prelevement` afin de ne conserver qu'un prélèvement par station et date donnée : -```{r select-distinct-rows_hubeau_esu} -#| eval: no +```{r select-distinct-rows_hubeau_esu, eval = FALSE} # Dédoublonner les lignes sur les colonnes code_station et date_prelevement nitrate_qualite_rivieres_prelevements <- nitrate_qualite_rivieres_prelevements |> dplyr::distinct(code_station, date_prelevement, .keep_all = TRUE) ``` - On ajoute un identifiant unique s'appuyant sur une séquence stockée en base : -```{r add_code_prelevement_hubeau_esu} -#| eval: no +```{r add_code_prelevement_hubeau_esu, eval = FALSE} # Utiliser la fonction add_code_prelevement() avec la version souhaitée nitrate_qualite_rivieres_prelevements <- add_code_prelevement( nitrate_qualite_rivieres_prelevements, version) @@ -132,11 +113,9 @@ print(nitrate_qualite_rivieres_prelevements) ``` - On charge les données consolidées dans une table dédiée : -```{r insert-into_nitrate_prelevement_hubeau_esu} -#| eval: no +```{r insert-into_nitrate_prelevement_hubeau_esu, eval = FALSE} # Charger les données dans une nouvelle table en base datalibaba::poster_data(data = nitrate_qualite_rivieres_prelevements, table = glue::glue("nitrate_prelevement_hubeau_esu_", version), @@ -147,13 +126,11 @@ datalibaba::poster_data(data = nitrate_qualite_rivieres_prelevements, user = "admin") ``` - # Insertion des prélèvements Hub'eau ESU en base dans la table globale On insère enfin les enregistrements de cette table dans la table globale : -```{r import_and_merge_tables_hubeau_esu} -#| eval: no +```{r import_and_merge_tables_hubeau_esu, eval = FALSE} # Insérer les données de la table du dernier millésime vers la table complète collectr::import_and_merge_tables(database = "si_eau", source_table = glue::glue("nitrate_prelevement_hubeau_esu_", version), @@ -164,7 +141,3 @@ collectr::import_and_merge_tables(database = "si_eau", ``` - - - -