From eda700e651a53e0a78a1dceba41eb37c21847563 Mon Sep 17 00:00:00 2001
From: Daniel Kalioudjoglou
<daniel.kalioudjoglou@developpement-durable.gouv.fr>
Date: Thu, 24 Oct 2024 16:06:19 +0200
Subject: [PATCH 1/7] modification scripts suite a chargement nouvelles donnees
---
data-raw/chargement_combustible_principal_rp.R | 17 ++++++++++-------
.../chargement_mode_transport_dom_travail.R | 6 +++---
2 files changed, 13 insertions(+), 10 deletions(-)
diff --git a/data-raw/chargement_combustible_principal_rp.R b/data-raw/chargement_combustible_principal_rp.R
index d4e514f..56ca5b8 100644
--- a/data-raw/chargement_combustible_principal_rp.R
+++ b/data-raw/chargement_combustible_principal_rp.R
@@ -20,6 +20,9 @@
# https://www.insee.fr/fr/statistiques/fichier/7631446/TD_PRINC30M_2020_csv.zip
# paru le 27/06/2023
+# 2021 --> https://www.insee.fr/fr/statistiques/8202355?sommaire=8202874
+# https://www.insee.fr/fr/statistiques/fichier/8202355/TD_PRINC30M_2021_csv.zip
+# paru le 27/06/2024
# librairies ----------
library(tidyverse)
@@ -32,19 +35,19 @@ rm(list = ls())
# chargement data et calcul -------
-download.file(url = "https://www.insee.fr/fr/statistiques/fichier/7631446/TD_PRINC30M_2020_csv.zip",
- destfile = "extdata/BTT_TD_PRINC30M_2020.zip")
-unzip("extdata/BTT_TD_PRINC30M_2020.zip", overwrite = TRUE, exdir = "extdata")
-BTT_TD_PRINC30M_2020 <- read.csv2("extdata/TD_PRINC30M_2020.csv",
+download.file(url = "https://www.insee.fr/fr/statistiques/fichier/8202355/TD_PRINC30M_2021_csv.zip",
+ destfile = "extdata/BTT_TD_PRINC30M_2021.zip")
+unzip("extdata/BTT_TD_PRINC30M_2021.zip", overwrite = TRUE, exdir = "extdata")
+BTT_TD_PRINC30M_2021 <- read.csv2("extdata/TD_PRINC30M_2021.csv",
dec='.',
header = TRUE,
sep=";",
stringsAsFactors = FALSE,
encoding = "UTF-8")
-date = 2020
+date = 2021
-combustible_2020 <- BTT_TD_PRINC30M_2020 %>%
+combustible_2021 <- BTT_TD_PRINC30M_2021 %>%
filter(NIVGEO == "COM") %>%
select (-NIVGEO , -LIBGEO) %>%
group_by(CODGEO, CMBL, TYPLR) %>%
@@ -81,7 +84,7 @@ combustible_old <- importer_data(db = "datamart",
schema = "portrait_territoires",
table = "source_combustible_principal_rp") # 2017
-combustible <- bind_rows(combustible_old, combustible)
+combustible <- bind_rows(combustible_old, combustible_2021)
# versement dans le sgbd/datamart.portrait_territoires et metadonnées -------------
diff --git a/data-raw/chargement_mode_transport_dom_travail.R b/data-raw/chargement_mode_transport_dom_travail.R
index 82979fc..aec8253 100644
--- a/data-raw/chargement_mode_transport_dom_travail.R
+++ b/data-raw/chargement_mode_transport_dom_travail.R
@@ -12,18 +12,18 @@ rm(list = ls())
# paramètre ---------
-date = 2020
+date = 2021
# chargement data ------------
-# chargement des données : https://www.insee.fr/fr/statistiques/7632973?sommaire=7632977
+# chargement des données : https://www.insee.fr/fr/statistiques/8200836?sommaire=8205947&q=D%C3%A9placement+domicile%2Ftravail+en+2021
# fichier BTT_TD_NAV2B
# NAV2 – Population active de 15 ans ou plus ayant un emploi par sexe, lieu de travail (géographie urbaine)
# et moyen de transport (Paru le : 27/06/2023)
racine_nom_fich <- paste0("extdata/TD_NAV2B_", date)
-download.file(url = "https://www.insee.fr/fr/statistiques/fichier/7632973/TD_NAV2B_2020_csv.zip",
+download.file(url = "https://www.insee.fr/fr/statistiques/fichier/8200836/TD_NAV2B_2021_csv.zip",
destfile = paste0(racine_nom_fich, ".zip"))
unzip(paste0(racine_nom_fich, ".zip"), overwrite = TRUE, exdir = "extdata")
--
GitLab
From 7e9293835888354d840b1c3b72cf2a4c620b784c Mon Sep 17 00:00:00 2001
From: Daniel Kalioudjoglou
<daniel.kalioudjoglou@developpement-durable.gouv.fr>
Date: Wed, 30 Oct 2024 16:29:01 +0100
Subject: [PATCH 2/7] mise a jour statut occupation des rp
---
.../chargement_statut_occupation_des_rp.R | 22 +++++++++----------
1 file changed, 11 insertions(+), 11 deletions(-)
diff --git a/data-raw/chargement_statut_occupation_des_rp.R b/data-raw/chargement_statut_occupation_des_rp.R
index 55565e0..215dff5 100644
--- a/data-raw/chargement_statut_occupation_des_rp.R
+++ b/data-raw/chargement_statut_occupation_des_rp.R
@@ -1,8 +1,8 @@
# chargement_lgt_rp_insee
-# 2020 --> https://www.insee.fr/fr/statistiques/7631446?sommaire=7631713
-# https://www.insee.fr/fr/statistiques/fichier/7631446/TD_PRINC2_2020_csv.zip
-# paru le 27/06/2023
+# 2021 --> https://www.insee.fr/fr/statistiques/8202355?sommaire=8202874
+# https://www.insee.fr/fr/statistiques/fichier/8202355/TD_PRINC2_2021_csv.zip
+# paru le 27/06/2024
# librairies ----------
@@ -15,22 +15,22 @@ library(dplyr)
rm(list = ls())
# chargement data -------
-download.file(url = "https://www.insee.fr/fr/statistiques/fichier/7631446/TD_PRINC2_2020_csv.zip",
- destfile = "extdata/TD_PRINC2_2020_csv.zip")
-unzip("extdata/TD_PRINC2_2020_csv.zip", overwrite = TRUE, exdir = "extdata")
+download.file(url = "https://www.insee.fr/fr/statistiques/fichier/8202355/TD_PRINC2_2021_csv.zip",
+ destfile = "extdata/TD_PRINC2_2021_csv.zip")
+unzip("extdata/TD_PRINC2_2021_csv.zip", overwrite = TRUE, exdir = "extdata")
# chargement data annees precedentes -------
-load("extdata/statut_occupation_des_rp.RData")
-# statut_occupation_des_rp <- importer_data(db = "datamart",
-# schema = "portrait_territoires",
-# table = "source_statut_occupation_des_rp")
+# load("extdata/statut_occupation_des_rp.RData")
+statut_occupation_des_rp <- importer_data(db = "datamart",
+ schema = "portrait_territoires",
+ table = "source_statut_occupation_des_rp")
statut_occupation_des_rp_old <- statut_occupation_des_rp
rm(statut_occupation_des_rp)
# chargement du nouveau millésime
-millesime = 2020
+millesime = 2021
# path <- paste0("extdata/BTT_TD_PRINC2_",millesime,".txt") #pour les années jusque 2016
# path <- paste0("extdata/BTT_TD_PRINC2_",millesime,".csv") #pour les années 2017 à 2019
--
GitLab
From 2c38291f760904840541883469cfb606a0068206 Mon Sep 17 00:00:00 2001
From: Daniel Kalioudjoglou
<daniel.kalioudjoglou@developpement-durable.gouv.fr>
Date: Thu, 31 Oct 2024 09:04:14 +0100
Subject: [PATCH 3/7] mise a jour aom
---
data-raw/chargement_aom_epci.R | 15 ++++++++++-----
1 file changed, 10 insertions(+), 5 deletions(-)
diff --git a/data-raw/chargement_aom_epci.R b/data-raw/chargement_aom_epci.R
index ce66d9f..4a154ce 100644
--- a/data-raw/chargement_aom_epci.R
+++ b/data-raw/chargement_aom_epci.R
@@ -2,9 +2,10 @@
# chargement_aom_epci
# chargement des autorités organisatrices de la mobilité (AOM) à partir du site Banatic
-# https://www.banatic.interieur.gouv.fr/V5/fichiers-en-telechargement/fichiers-telech.php# dans fichiers en télechargement, fichier "France"-"compétence des groupements"
-# fichier excel , transformé en csv
-# données au 01/04/2022
+# https://www.banatic.interieur.gouv.fr/V5/fichiers-en-telechargement/fichiers-telech.php
+# dans Archives, prendre la dernière année, type d'archive: "périmetre des groupements",
+# échelon "France"-télécharger le tableau csv
+# données au 01/04/2024
# valeur des codes de compétence disponibles sur
# https://www.banatic.interieur.gouv.fr/V5/ressources/documents/document_reference/Banatic_Metadonnees2019.xlsx
# le code correspondant aux AOM est le C4530 "Organisation de la mobilité, au sens des articles L.1231-1 et suivants du code des transports"
@@ -23,12 +24,15 @@ library(dplyr)
library(COGiter)
library(DBI)
library(RPostgreSQL)
+library(datalibaba)
+library(googlesheets4)
rm(list = ls())
# chargement des données --------
-aom <- read.csv2("extdata/AOM_Compétences des groupements - France entière.csv",
+# aom <- read.csv2("extdata/AOM_Compétences des groupements - France entière.csv",
+aom <- read.csv2("extdata/aom_Périmètre_des_groupements_en_2024.csv",
dec='.',
header = TRUE,
sep=";",
@@ -44,13 +48,14 @@ epci_interreg <- epci %>%
mutate(EPCI=as.character(EPCI))%>%
pull(EPCI)
-date = 2022
+date = 2024
aom <- aom %>%
mutate(N..SIREN = as.character(N..SIREN)) %>%
filter(C4530 == 1 , N..SIREN %in% epci_interreg)%>%
rename(epci = N..SIREN) %>%
select("epci") %>%
+ unique() %>%
mutate(date = make_date(date,04,01), AOM ="TRUE") %>%
mutate(epci = fct_expand(epci, epci_interreg)) %>%
complete(epci,date,fill = list(AOM = "FALSE"))
--
GitLab
From b45604bf535acc6722c692e4073870296fde53b0 Mon Sep 17 00:00:00 2001
From: Daniel Kalioudjoglou
<daniel.kalioudjoglou@developpement-durable.gouv.fr>
Date: Mon, 4 Nov 2024 15:41:02 +0100
Subject: [PATCH 4/7] chargement donnees copro
---
data-raw/chargement_copro_fragiles.R | 6 ++++--
1 file changed, 4 insertions(+), 2 deletions(-)
diff --git a/data-raw/chargement_copro_fragiles.R b/data-raw/chargement_copro_fragiles.R
index f9d57f2..e457f33 100644
--- a/data-raw/chargement_copro_fragiles.R
+++ b/data-raw/chargement_copro_fragiles.R
@@ -1,5 +1,7 @@
# chargement_copro_fragiles
+# mis à jour dans le sgbd par administrateur de données jusque été 2024. Projet arrété ensuite
+# données pouvant être récupérées auprès de SIAL/dph
# librairies --------
library(dplyr)
@@ -17,8 +19,8 @@ X = 5
# mise à jour dans le SGBD 2e trimestre 2022
# date = 2022
-# mise à jour dans le SGBD 2e trimestre 2023
-date = 2023
+# mise à jour dans le SGBD 2e trimestre 2024
+date = 2024
# liste des communes de la région et des EPCI limitrophes
source("R/levels_facteurs_com.R")
--
GitLab
From bc4daad8860b8c7eff9e45132e8850055df32226 Mon Sep 17 00:00:00 2001
From: Daniel Kalioudjoglou
<daniel.kalioudjoglou@developpement-durable.gouv.fr>
Date: Thu, 7 Nov 2024 14:24:46 +0100
Subject: [PATCH 5/7] suppression des indicateurs couverts par le secret
statistique
---
data-raw/chargement_ptz.R | 5 +----
1 file changed, 1 insertion(+), 4 deletions(-)
diff --git a/data-raw/chargement_ptz.R b/data-raw/chargement_ptz.R
index ecfb27e..f67798a 100644
--- a/data-raw/chargement_ptz.R
+++ b/data-raw/chargement_ptz.R
@@ -36,10 +36,7 @@ ptz<-rbind(
cbind(aggregate(valeur~depcom+date,ptz[ptz$variable>100 & ptz$variable<200,],sum),variable="nb_ptz.individuel"),
cbind(aggregate(valeur~depcom+date,ptz[ptz$variable>200,],sum),variable="nb_ptz.collectif"),
cbind(aggregate(valeur~depcom+date,ptz[substr(ptz$variable,2,2)==1,],sum),variable="nb_ptz.ancien"),
- cbind(aggregate(valeur~depcom+date,ptz[substr(ptz$variable,2,2)==2,],sum),variable="nb_ptz.neuf"),
- cbind(aggregate(valeur~depcom+date,ptz[substr(ptz$variable,3,3)==2,],sum),variable="nb_ptz.locataire_autre"),
- cbind(aggregate(valeur~depcom+date,ptz[substr(ptz$variable,3,3)==3,],sum),variable="nb_ptz.proprietaire_ou_autre"),
- cbind(aggregate(valeur~depcom+date,ptz[substr(ptz$variable,3,3)==1,],sum),variable="nb_ptz.locataire_hlm")) %>%
+ cbind(aggregate(valeur~depcom+date,ptz[substr(ptz$variable,2,2)==2,],sum),variable="nb_ptz.neuf")) %>%
# filter(date>=2008)%>%
mutate(date=make_date(date,12,31))%>%
mutate_if(is.character,as.factor) %>%
--
GitLab
From 5c1040629502c3a20c09f30c0ddf5e004539537c Mon Sep 17 00:00:00 2001
From: "daniel.kalioudjoglou"
<daniel.kalioudjoglou@developpement-durable.gouv.fr>
Date: Thu, 19 Dec 2024 15:03:24 +0100
Subject: [PATCH 6/7] test premier commit
---
data-raw/chargement_etat_civil.R | 2 +-
1 file changed, 1 insertion(+), 1 deletion(-)
diff --git a/data-raw/chargement_etat_civil.R b/data-raw/chargement_etat_civil.R
index 4ce57d6..ab6418b 100644
--- a/data-raw/chargement_etat_civil.R
+++ b/data-raw/chargement_etat_civil.R
@@ -15,7 +15,7 @@ rm(list=ls())
#données Etat Civil issues du site de l'INSEE
-# fichiers : naissances 2014 à 2021 : https://insee.fr/fr/statistiques/1893255
+# fichiers : naissances 2014 à 2023 : https://insee.fr/fr/statistiques/1893255
# décés 2014 à 2022 : https://insee.fr/fr/statistiques/1893253
# sélection des fichiers sur https://insee.fr/fr/statistiques ???
--
GitLab
From 4f0e38a1b001b441ca8b1d041627d325df079dec Mon Sep 17 00:00:00 2001
From: Daniel Kalioudjoglou
<daniel.kalioudjoglou@developpement-durable.gouv.fr>
Date: Thu, 19 Dec 2024 15:57:42 +0100
Subject: [PATCH 7/7] mise a jour table 2023
---
data-raw/chargement_etat_civil.R | 31 +++++++++++++++++++------------
1 file changed, 19 insertions(+), 12 deletions(-)
diff --git a/data-raw/chargement_etat_civil.R b/data-raw/chargement_etat_civil.R
index ab6418b..f8cc495 100644
--- a/data-raw/chargement_etat_civil.R
+++ b/data-raw/chargement_etat_civil.R
@@ -21,31 +21,30 @@ rm(list=ls())
# paramètres ----------
-mil <- 2022
+mil <- 2023
# chargement --------------
-etat_civil_naissances <- read_excel(paste0("extdata/base_naissances_",mil,".xlsx"),sheet=1, skip=5) %>%
+etat_civil_naissances <- read_excel(paste0("extdata/base_naissances_",mil,".xlsx"),sheet=2, skip=3) %>%
set_standard_names()
-etat_civil_deces <- read_excel(paste0("extdata/base_deces_",mil,".xlsx"),sheet=1, skip=5) %>%
+etat_civil_deces <- read_excel(paste0("extdata/base_deces_",mil,".xlsx"),sheet=2, skip=3) %>%
set_standard_names()
# calcul ---------
etat_civil_naissances <- etat_civil_naissances %>%
- gather(date,valeur,5:ncol(etat_civil_naissances))%>%
+ rename(depcom=1) %>%
+ gather(date,valeur,3:ncol(etat_civil_naissances))%>%
mutate(variable="nb_naissances") %>%
- select(c(depcom=codgeo,date,variable,valeur))
-etat_civil_naissances$date <- str_replace(etat_civil_naissances$date,"naisd","20")
-etat_civil_naissances <- etat_civil_naissances %>%
- mutate_if(is.character, as.factor)
+ select(c(depcom,date,variable,valeur))
+etat_civil_naissances$date <- str_replace(etat_civil_naissances$date,"var_","")
etat_civil_deces <- etat_civil_deces %>%
- gather(date,valeur,5:ncol(etat_civil_deces))%>%
+ rename(depcom=1) %>%
+ gather(date,valeur,3:ncol(etat_civil_deces))%>%
mutate(variable="nb_deces") %>%
- select(c(depcom=codgeo,date,variable,valeur))
-etat_civil_deces$date <- str_replace(etat_civil_deces$date,"decesd","20")
-etat_civil_deces <- etat_civil_deces
+ select(c(depcom,date,variable,valeur))
+etat_civil_deces$date <- str_replace(etat_civil_deces$date,"var_","")
etat_civil<- bind_rows(etat_civil_naissances,etat_civil_deces)%>%
complete(depcom,date,variable,fill = list(valeur =0)) %>%
@@ -53,6 +52,14 @@ etat_civil<- bind_rows(etat_civil_naissances,etat_civil_deces)%>%
mutate_if(is.character, as.factor) %>%
pivot_wider(names_from = variable,values_from = valeur)
+# suppression des lignes de metadonnees
+etat_civil<- etat_civil %>%
+ mutate(depcom = as.character(depcom)) %>%
+ mutate(meta = nchar(depcom)) %>%
+ filter (meta < 6) %>%
+ select(-meta) %>%
+ mutate_if(is.character, as.factor)
+
# # versement dans le sgbd/datamart.portrait_territoires -------------
# drv <- dbDriver("PostgreSQL")
--
GitLab