Skip to content
Snippets Groups Projects
Commit 9cba24cd authored by ronan.vignard's avatar ronan.vignard
Browse files

Modification des noms de flats et vignettes

parent 5dc6a6a6
Branches
Tags
1 merge request!5Modification des noms de flats et vignettes
......@@ -3,10 +3,10 @@ flat_import_ars_data.Rmd:
state: active
R: []
tests: []
vignettes: vignettes/import-des-donnees-brutes-ars.Rmd
vignettes: vignettes/import-des-donnees-ars.Rmd
inflate:
flat_file: dev/flat_import_ars_data.Rmd
vignette_name: Import des données brutes ARS
vignette_name: Import des données ARS
open_vignette: true
check: true
document: true
......
---
title: "flat_import_ars_data.Rmd"
title: "Import des données ARS"
output: html_document
editor_options:
chunk_output_type: console
......@@ -142,6 +142,6 @@ datalibaba::commenter_table(comment = "Analyses Nitrates ARS (2007-2023)",
```{r development-inflate, eval=FALSE}
# Run but keep eval=FALSE to avoid infinite loop
# Execute in the console directly
fusen::inflate(flat_file = "dev/flat_import_ars_data.Rmd", vignette_name = "Import des données brutes ARS")
fusen::inflate(flat_file = "dev/flat_import_ars_data.Rmd", vignette_name = "Import des données ARS")
```
---
title: "Import des données"
title: "Import des données Hub'eau Cours d'eau"
output: html_document
editor_options:
chunk_output_type: console
......@@ -22,17 +22,17 @@ pkgload::load_all(export_all = FALSE)
# Présentation
> Cette page contient la logique métier concernant l'import des données
ARS et Hub'eau dans le cadre du projet Nitrates
> Cette page contient la logique métier concernant l'import des données de
l'[API Hub'eau "Qualité des cours d'eau"](https://hubeau.eaufrance.fr/page/api-qualite-cours-deau) dans le cadre du projet Nitrates
# Connexion à la base de données PostgreSQL
```{r development-connect_to_db, eval=FALSE}
```{r connect_to_db, eval=FALSE}
# Se connecter à la base de données PostgreSQL si_eau
connexion <- datalibaba::connect_to_db(db = "si_eau")
connexion <- datalibaba::connect_to_db(db = "si_eau", user = "admin")
```
```{r development-list_schemas, eval=FALSE}
```{r list_schemas, eval=FALSE}
# Lister les schémas présents dans la base
schemas_list <- data.frame(datalibaba::list_schemas(connexion))
......@@ -45,7 +45,7 @@ schemas_list <- schemas_list |>
arrange(nom_schema)
```
```{r development-list_tables, eval=FALSE}
```{r list_tables, eval=FALSE}
# Lister les tables présentes dans le schéma spécifié
tables_list <- data.frame(datalibaba::list_tables(
con = connexion,
......@@ -59,98 +59,6 @@ tables_list <- tables_list |>
# Trier le dataframe par la variable nom_table
tables_list <- tables_list |>
arrange(nom_table)
```
# Import des données de l'ARS
```{r import_data_ars_2022, eval=FALSE}
data_ars_2022 <- collectr::import_xlsx(
filepath = "T:\\datalab\\SRNP_DEMA_SI_EAU\\NITRATES\\DONNEES_CLIENT\\SOURCES\\ARS\\2023_06\\Nitrates 2022 pour DREAL EPNT4 2023-05-30.xlsx",
sheet = 1,
row = 2)
```
```{r import_data_ars_2023, eval=FALSE}
data_ars_2023 <- collectr::import_xlsx(
filepath = "T:\\datalab\\SRNP_DEMA_SI_EAU\\NITRATES\\DONNEES_CLIENT\\SOURCES\\ARS\\2024_06\\Nitrates 2023 pour DREAL EPNT4 2024-05-31.xlsx",
sheet = 1,
row = 2)
```
## Première approche : non concluante
### Vérification de la correspondande de la structure du dataframe avec celle de la table
```{r development-check_structure_table, eval=FALSE}
check_structure_table(database = "si_eau",
schema = "nitrates",
table = "nitrate_data_analyse_ars_test",
dataframe = data_ars_2023,
role = "admin")
```
### Adaptation de la structure
```{r development, eval=FALSE}
data_ars_2022 <- data_ars_2022 |>
select(-coord_x,-coord_y) |>
mutate(eligible_ades = rep(NA, n()))
```
### Insertion des données du dataframe dans la table en base
La fonction insert_into_table() doit être corrigée.
```{r development-insert_into_table, eval=FALSE}
collectr::insert_into_table(connexion,
data_ars_2022,
"nitrate_data_analyse_ars_test",
"qualite_cours_d_eau"
)
```
## Deuxième approche : concluante
### Création d'une table pour le nouveau millésime
```{r create-nitrate_data_ars, eval=FALSE}
datalibaba::poster_data(data = data_ars_2022,
table = "nitrate_data_analyse_ars_2023",
schema = "nitrates",
db = "si_eau",
overwrite = TRUE,
user = "admin")
datalibaba::commenter_table(comment = "Analyses Nitrates ARS (2023)",
table = "nitrate_data_analyse_ars_2023",
schema = "nitrates",
db = "si_eau",
user = "admin")
```
### Modification du type des champs si besoin
```{r modify_column_type, eval=FALSE}
# Appeler la fonction pour modifier le type de colonne
collectr::modify_column_type(database = "si_eau",
schema = "nitrates",
table = "nitrate_data_analyse_ars_2023",
column_name = "plv_date ",
column_type = "date",
role = "admin")
```
### Insertion des données du nouveau millésime en base dans la table globale
```{r import_and_merge_tables, eval=FALSE}
collectr::import_and_merge_tables(database = "si_eau",
source_table = "nitrate_data_ars_2023",
source_schema = "nitrates",
target_table = "nitrate_data_analyse_ars_test",
target_schema = "nitrates")
```
......@@ -185,5 +93,5 @@ nitrate_analyse_esu_2022 <- get_json_data(code_parametre = "1340",
```{r development-inflate, eval=FALSE}
# Keep eval=FALSE to avoid infinite loop in case you hit the knit button
# Execute in the console directly
fusen::inflate(flat_file = "dev/flat_import_data.Rmd", vignette_name = "Import des données")
fusen::inflate(flat_file = "dev/flat_import_hubeau_rw_data.Rmd", vignette_name = "Import des données Hub'eau Cours d'eau")
```
---
title: "Import des données brutes ARS"
title: "Import des données ARS"
output: rmarkdown::html_vignette
vignette: >
%\VignetteIndexEntry{import-des-donnees-brutes-ars}
%\VignetteIndexEntry{import-des-donnees-ars}
%\VignetteEngine{knitr::rmarkdown}
%\VignetteEncoding{UTF-8}
---
......
0% Loading or .
You are about to add 0 people to the discussion. Proceed with caution.
Please register or to comment