01_preparation.R

library(magrittr)
library(haven)
library(readxl)
library(lubridate)
library(COGiter)
library(purrr)
library(dplyr)
library(tidyr)
library(forcats)
library(lubridate)
library(stringr)
library(dtplyr)
options(scipen = 999)
library(RPostgreSQL)
library(datalibaba)

# ma_region <- "52"
# mes_departements <- list_dep_in_reg(ma_region)

# Recherche du dernier millesime disponible
fichiers <- list.files("X:/SCTE/CSD/DONNEES_CONFIDENTIELLES/_niveau_2/Conjoncture/ECLN/Publication"
                       ,include.dirs = FALSE,full.names = FALSE, pattern = "stat_info")
# fichiers <- list.files('data-raw',include.dirs = FALSE,full.names = FALSE, pattern = "stat_info")
millesime <- fichiers %>%
  substr(26,31) %>%
  max()
# fichier_donnees <- paste0("data-raw/stat_info_data_regionaux_",millesime,".csv")
# fichier_calage <- paste0("data-raw/cale_ventile_",millesime,".xls")
fichier_donnees <- paste0("X:/SCTE/CSD/DONNEES_CONFIDENTIELLES/_niveau_2/Conjoncture/ECLN/Publication/stat_info_data_regionaux_",millesime,"_.csv")
fichier_calage <- paste0("X:/SCTE/CSD/DONNEES_CONFIDENTIELLES/_niveau_2/Conjoncture/ECLN/Publication/cale_ventile_",millesime,".xls")

# 1. Récupération des données
# ------------------------------------------------------------------------------------------------------
# Données envoyées par mail ou déposées sur le serveur RStudio (/nfs/data/partage-ECLN/ECLN/AAAATN/) sont déposées dans le répertoire des données confidentielles avec accès restreint

# Données ECLN brutes non secrétisées - Attention séparateur ; et décimal .
ECLN <- read.csv2(fichier_donnees, header = T, sep = ";", dec = ".") %>%
  mutate(
    nb_lgt = nb_lgt_t1 + nb_lgt_t2 + nb_lgt_t3 + nb_lgt_t4 + nb_lgt_t5 + nb_lgt_t6,
    nb_lgt_inv = nb_lgt_inv_t1 + nb_lgt_inv_t2 + nb_lgt_inv_t3 + nb_lgt_inv_t4 + nb_lgt_inv_t5 + nb_lgt_inv_t6,
    nb_lgt_hors_inv = nb_lgt - nb_lgt_inv,
    id_type_lgt = as.character(id_type_lgt),
    id_nature_projet = as.character(id_nature_projet),
    siren = as.character(siren)
  )
ECLN2 <- ECLN %>%
  passer_au_cog_a_jour(code_commune = code_insee, aggrege = F, garder = T) %>%
  filter(trimestre_enquete >= 201701)

# Fichier de calage des ventes ventilés au niveau dep et reg - Seules les ventes du dernier trimestre sont calées
cale_reg_dep <- read_excel(fichier_calage)

rm(fichier_calage,fichier_donnees,fichiers)

# 2. Construction de la table des indicateurs communaux par type de logement et nature du projet
# Dans le projet initial, seuls les indicateurs par type de logement étaient construits
# Pour pouvoir utiliser, la nouvelle variable construction sur existant, on construit à l'identique des indicateurs sur la distinction de la nature du projet
# La table finale sera une juxtaposition des indicateurs par type de logement et par nature du projet

# ---------------------------------------------------------------------------------------------------------------------------------------------------
# 2.1 Construction de la table des indicateurs par type de logement id_type_lgt (1=individuel/2=collectif)

# On calcule pour chaque niveau de zonage, hormis les communes (code_insee-> DEPCOM), trimestre de mises en vente (trim_mev->Periode) et type de logement (id_type_lgt),
# - le nombre de mises en vente (mev_t)
# - le nombre de logements réservés à la vente (nb_resa)
# - le prix total des ventes (prix)
# - la Surface totale (surface)
# - encours de logements proposés à la vente (stock_fin)