Skip to content
Snippets Groups Projects
Commit b20d6753 authored by ronan.vignard's avatar ronan.vignard
Browse files

Merge branch 'dev' into 'master'

Modification des noms de flats et vignettes

See merge request !5
parents 5dc6a6a6 9cba24cd
No related branches found
No related tags found
1 merge request!5Modification des noms de flats et vignettes
......@@ -3,10 +3,10 @@ flat_import_ars_data.Rmd:
state: active
R: []
tests: []
vignettes: vignettes/import-des-donnees-brutes-ars.Rmd
vignettes: vignettes/import-des-donnees-ars.Rmd
inflate:
flat_file: dev/flat_import_ars_data.Rmd
vignette_name: Import des données brutes ARS
vignette_name: Import des données ARS
open_vignette: true
check: true
document: true
......
---
title: "flat_import_ars_data.Rmd"
title: "Import des données ARS"
output: html_document
editor_options:
chunk_output_type: console
......@@ -142,6 +142,6 @@ datalibaba::commenter_table(comment = "Analyses Nitrates ARS (2007-2023)",
```{r development-inflate, eval=FALSE}
# Run but keep eval=FALSE to avoid infinite loop
# Execute in the console directly
fusen::inflate(flat_file = "dev/flat_import_ars_data.Rmd", vignette_name = "Import des données brutes ARS")
fusen::inflate(flat_file = "dev/flat_import_ars_data.Rmd", vignette_name = "Import des données ARS")
```
---
title: "Import des données"
title: "Import des données Hub'eau Cours d'eau"
output: html_document
editor_options:
chunk_output_type: console
......@@ -22,17 +22,17 @@ pkgload::load_all(export_all = FALSE)
# Présentation
> Cette page contient la logique métier concernant l'import des données
ARS et Hub'eau dans le cadre du projet Nitrates
> Cette page contient la logique métier concernant l'import des données de
l'[API Hub'eau "Qualité des cours d'eau"](https://hubeau.eaufrance.fr/page/api-qualite-cours-deau) dans le cadre du projet Nitrates
# Connexion à la base de données PostgreSQL
```{r development-connect_to_db, eval=FALSE}
```{r connect_to_db, eval=FALSE}
# Se connecter à la base de données PostgreSQL si_eau
connexion <- datalibaba::connect_to_db(db = "si_eau")
connexion <- datalibaba::connect_to_db(db = "si_eau", user = "admin")
```
```{r development-list_schemas, eval=FALSE}
```{r list_schemas, eval=FALSE}
# Lister les schémas présents dans la base
schemas_list <- data.frame(datalibaba::list_schemas(connexion))
......@@ -45,7 +45,7 @@ schemas_list <- schemas_list |>
arrange(nom_schema)
```
```{r development-list_tables, eval=FALSE}
```{r list_tables, eval=FALSE}
# Lister les tables présentes dans le schéma spécifié
tables_list <- data.frame(datalibaba::list_tables(
con = connexion,
......@@ -59,98 +59,6 @@ tables_list <- tables_list |>
# Trier le dataframe par la variable nom_table
tables_list <- tables_list |>
arrange(nom_table)
```
# Import des données de l'ARS
```{r import_data_ars_2022, eval=FALSE}
data_ars_2022 <- collectr::import_xlsx(
filepath = "T:\\datalab\\SRNP_DEMA_SI_EAU\\NITRATES\\DONNEES_CLIENT\\SOURCES\\ARS\\2023_06\\Nitrates 2022 pour DREAL EPNT4 2023-05-30.xlsx",
sheet = 1,
row = 2)
```
```{r import_data_ars_2023, eval=FALSE}
data_ars_2023 <- collectr::import_xlsx(
filepath = "T:\\datalab\\SRNP_DEMA_SI_EAU\\NITRATES\\DONNEES_CLIENT\\SOURCES\\ARS\\2024_06\\Nitrates 2023 pour DREAL EPNT4 2024-05-31.xlsx",
sheet = 1,
row = 2)
```
## Première approche : non concluante
### Vérification de la correspondande de la structure du dataframe avec celle de la table
```{r development-check_structure_table, eval=FALSE}
check_structure_table(database = "si_eau",
schema = "nitrates",
table = "nitrate_data_analyse_ars_test",
dataframe = data_ars_2023,
role = "admin")
```
### Adaptation de la structure
```{r development, eval=FALSE}
data_ars_2022 <- data_ars_2022 |>
select(-coord_x,-coord_y) |>
mutate(eligible_ades = rep(NA, n()))
```
### Insertion des données du dataframe dans la table en base
La fonction insert_into_table() doit être corrigée.
```{r development-insert_into_table, eval=FALSE}
collectr::insert_into_table(connexion,
data_ars_2022,
"nitrate_data_analyse_ars_test",
"qualite_cours_d_eau"
)
```
## Deuxième approche : concluante
### Création d'une table pour le nouveau millésime
```{r create-nitrate_data_ars, eval=FALSE}
datalibaba::poster_data(data = data_ars_2022,
table = "nitrate_data_analyse_ars_2023",
schema = "nitrates",
db = "si_eau",
overwrite = TRUE,
user = "admin")
datalibaba::commenter_table(comment = "Analyses Nitrates ARS (2023)",
table = "nitrate_data_analyse_ars_2023",
schema = "nitrates",
db = "si_eau",
user = "admin")
```
### Modification du type des champs si besoin
```{r modify_column_type, eval=FALSE}
# Appeler la fonction pour modifier le type de colonne
collectr::modify_column_type(database = "si_eau",
schema = "nitrates",
table = "nitrate_data_analyse_ars_2023",
column_name = "plv_date ",
column_type = "date",
role = "admin")
```
### Insertion des données du nouveau millésime en base dans la table globale
```{r import_and_merge_tables, eval=FALSE}
collectr::import_and_merge_tables(database = "si_eau",
source_table = "nitrate_data_ars_2023",
source_schema = "nitrates",
target_table = "nitrate_data_analyse_ars_test",
target_schema = "nitrates")
```
......@@ -185,5 +93,5 @@ nitrate_analyse_esu_2022 <- get_json_data(code_parametre = "1340",
```{r development-inflate, eval=FALSE}
# Keep eval=FALSE to avoid infinite loop in case you hit the knit button
# Execute in the console directly
fusen::inflate(flat_file = "dev/flat_import_data.Rmd", vignette_name = "Import des données")
fusen::inflate(flat_file = "dev/flat_import_hubeau_rw_data.Rmd", vignette_name = "Import des données Hub'eau Cours d'eau")
```
---
title: "Import des données brutes ARS"
title: "Import des données ARS"
output: rmarkdown::html_vignette
vignette: >
%\VignetteIndexEntry{import-des-donnees-brutes-ars}
%\VignetteIndexEntry{import-des-donnees-ars}
%\VignetteEngine{knitr::rmarkdown}
%\VignetteEncoding{UTF-8}
---
......
0% Loading or .
You are about to add 0 people to the discussion. Proceed with caution.
Please register or to comment