Données ESO manquantes pour 2022

Il semble y avoir une grosse perte de données pour les eaux souterraines. Ci-jointes les cartes de concentration en nitrates pour l'année 2022 dans les versions v0_14 et v0_15 (la moins pleine est la v0_15).

added En cours label

assigned to @ronan.vignard

added Bug label

added Données label

changed the description

La comparaison des scripts de préparation des données entre la branche master (version v0_14 des données nitrates) et la branche de développement pour actualiser les données de l'application (version v0_15 des données nitrates) met en évidence le déficit de données pour les eso au moment de la création de la table des nitrates :

Pour la version v0_14 (lignes 234 et 235) :

nitrates_esu <- prepa_nitrates_fct(station_esu_PDL) # 55147 obs
nitrates_eso <- prepa_nitrates_fct(station_eso_PDL) # 19836 obs

Pour la version v0_15 (lignes 228 et 229) :

nitrates_esu <- prepa_nitrates_fct(station_esu_PDL) # 58580 obs
nitrates_eso <- prepa_nitrates_fct(station_eso_PDL) # 4659 obs

Soit une évolution négative de 76,5% de données eso exploitables, alors qu'on ajoute un millésime.

Vérifications sur les stations

Captages ARS

1. Table en production

captages.n_captage_p_r52 : 1063

Requête SQL :

SELECT nature_eau_captage, count(*)
FROM captages.n_captage_p_r52
GROUP BY nature_eau_captage
ORDER BY nature_eau_captage;

Bilan par nature d'eau :

Nature d'eau	Nombre de lignes
"ESO"	889
"ESU"	173
"MER"	1

2. Archive

zz_archives.n_captage_p_r52_20240226 : 1045

Requête SQL :

SELECT nature_eau_captage, count(*)
FROM zz_archives.n_captage_p_r52_20240226
GROUP BY nature_eau_captage
ORDER BY nature_eau_captage;

Bilan par nature d'eau :

Nature d'eau	Nombre de lignes
"ESO"	869
"ESU"	175
"MER"	1

Stations Hub'eau Nappes d'eau

1. Table en production

qualite_nappes_eau_souterraine.hubeau_qualite_nappes_stations : 2020

2. Archive

zz_archives.hubeau_qualite_nappes_stations_202406211747 : 1967

Stations Hub'eau Cours d'eau

1. Table en production

qualite_cours_d_eau.hubeau_qualite_rivieres_station_pc : 1051

2. Archive

zz_archives.hubeau_qualite_rivieres_station_pc_202406261508 : 1051

Stations ESO

1. Table en production : stations.station_eso : 2034
2. Archive : zz_archives.station_eso_202407031506 : 2000

Stations ESU

1. Table en production : stations.station_esu : 1130
2. Archive : zz_archives.station_esu_202406261634 : 3091

Vérification des prélèvements

Version en production (0.14)

Requête SQL :

SELECT source, EXTRACT(year FROM date_prelevement), count(*)
FROM nitrates.nitrate_prelevement
GROUP BY source, EXTRACT(year FROM date_prelevement)
ORDER BY source, EXTRACT(year FROM date_prelevement);

Résulat : nitrate_prelevement_source_year.csv

Version 0.15

Requête SQL :

SELECT source, EXTRACT(year FROM date_prelevement), count(*)
FROM nitrates.nitrate_prelevement_v0_15
GROUP BY source, EXTRACT(year FROM date_prelevement)
ORDER BY source, EXTRACT(year FROM date_prelevement);

Résulat : nitrate_prelevement_v0_15_source_year.csv

Vérification des prélèvements liés aux stations ESO

Jointures des prélèvements version 0.14 avec station_eso

Requête SQL :

SELECT nitrate_prelevement.*
FROM nitrates.nitrate_prelevement, stations.station_eso
WHERE nitrate_prelevement.code_station = station_eso.code_station;

Résultat : 19922 enregistrements

Jointures des prélèvements version 0.15 avec station_eso

Requête SQL :

SELECT nitrate_prelevement_v0_15.*
FROM nitrates.nitrate_prelevement_v0_15, stations.station_eso
WHERE nitrate_prelevement_v0_15.code_station = station_eso.code_station;

Résultat : 4659 enregistrements

Le problème semble donc lié aux code_station dans la table nitrates.nitrate_prelevement_v0_15.

Hypothèse confirmée par les requêtes suivantes :

SELECT source, code_station
FROM nitrates.nitrate_prelevement
WHERE source = 'ARS'
GROUP BY source, code_station
ORDER BY  source, code_station;

La requête renvoie des codes SISE-EAU et des codes BSS (pour les stations ESO donc).

SELECT source, code_station
FROM nitrates.nitrate_prelevement_v0_15
WHERE source = 'ARS'
GROUP BY source, code_station
ORDER BY  source, code_station;

La requête ne renvoie que des codes SISE-EAU.

Patch appliqué :

UPDATE nitrates.nitrate_prelevement_v0_15
SET code_station = station_eso.code_station
FROM stations.station_eso
WHERE nitrate_prelevement_v0_15.code_station = station_eso.code_sise_eaux;

Résultat : 16570 enregistrements traités

@ronan.vignard

La carte des ESO 2022 a meilleure allure.

Effectivement, c'est mieux !

Patch appliqué au package {data.nitrates} pour gérer ce cas de figure pour les millésimes à venir : dreal-pdl/csd/eau-milieux-aquatiques/data.nitrates@81e28d76

closed

removed En cours label