ajout des scripts de routine et adaptation de miseajour.r

scripts/0-script_maitre_routine_z800.R

+Sys.setenv("HTTP_PROXY" = "http://pfrie-std.proxy.e2.rie.gouv.fr:8080")
+Sys.setenv("HTTPS_PROXY" = "http://pfrie-std.proxy.e2.rie.gouv.fr:8080")
+Sys.getenv("HTTPS_PROXY")
+setwd("T:\\datalab\\SIAL\\SIAL_SICLOP2\\PRODUCTION\\siclop-test")
+list.files("scripts/")
+
+source(file = "scripts/OF-miseajour.R")
+source(file = "scripts/OF-nettoyerannonces.R")
+source(file = "scripts/OF-datamart.R")
+
+# etape de déploiement vers shinyApps.io
+
+# étape de déploiement vers serveur dataviz
\ No newline at end of file

scripts/OF-miseajour.R

 library(rvest)
 library(tidyverse)
-library(stringr)
 library(DT)
 library(magrittr)
-library(purrr)
 library(xml2)
+# remotes::install_gitlab('dreal-pdl/csd/datalibaba', host = "gitlab-forge.din.developpement-durable.gouv.fr")
 library(datalibaba)
 
 rm(list = ls())
-setwd("/home/rstudio/projets/SIAL_SICLOP/")
-load("data/OF.RData")
+load("data/OF.RData", verbose = TRUE)
 source("scripts/OF-fonctions.R")
 
 ListeAnnoncesNouvelles <- ListerLesAnnonces("https://www.ouestfrance-immo.com/immobilier/location/logement/pays-de-la-loire/?page=1") %>%
   mutate(id = str_replace(url, "/immobilier/location", "") %>%
            str_replace(".htm", "")) %>%
-  dplyr::filter(!(url %in% unique(ListeAnnonces$url))) %>% 
+  dplyr::filter(!(url %in% unique(ListeAnnonces$url))) %>%
   distinct()
 
-ListeAnnonces <- bind_rows(ListeAnnonces, ListeAnnoncesNouvelles) %>% 
+ListeAnnonces <- bind_rows(ListeAnnonces, ListeAnnoncesNouvelles) %>%
   distinct()
 
-old_id_row__ <- nrow(BaseAnnonces) # recuperation de l'ancien index de ligne pour la sauvegarde incrementielle sur le SGBD
+# Récuperation de l'ancien index de ligne pour la sauvegarde incrementielle sur le SGBD
+old_id_row__ <- nrow(BaseAnnonces)
 
 # création de la liste des résultats
 BaseAnnoncesNouvelles <- map_df(ListeAnnonces %>%
@@ -42,25 +41,30 @@ save(BaseAnnonces, ListeAnnonces, vm, file = "data/OF.RData")
 
 ## Export SGBD -----------
 # Liste des annonces traitées
-poster_data(data = ListeAnnonces, table = "dbrutes_liste_annonces", schema = "sial_siclop", pk = "id", 
+cat(" Liste des annonces traitees")
+poster_data(data = ListeAnnonces, table = "dbrutes_liste_annonces_test", schema = "sial_siclop", pk = "id",
             post_row_name = FALSE, db = "datamart", overwrite = TRUE)
 
-# sauvegarde SGBD des seules nouvelles annonces
-BaseAnnoncesNouvelles_sgbd <- rowid_to_column(BaseAnnoncesNouvelles, var = "id_row__") %>% 
-  # creation de l'index des proprietes des nouvelles annonces
-  mutate(id_row__ = id_row__ + old_id_row__)
+# # sauvegarde SGBD des seules nouvelles annonces
+# BaseAnnoncesNouvelles_sgbd <- rowid_to_column(BaseAnnoncesNouvelles, var = "id_row__") %>%
+#   # creation de l'index des proprietes des nouvelles annonces
+#   mutate(id_row__ = id_row__ + old_id_row__)
+# 
+# cat("sauvegarde SGBD incrementielle")
+# con <- connect_to_db(db = "datamart")
+# DBI::sqlAppendTable(con = con, table = DBI::Id(schema = "sial_siclop", table = "dbrutes_base_annonces"),
+#                     values = BaseAnnoncesNouvelles_sgbd, row.names = FALSE) %>%
+#   DBI::dbSendQuery(conn = con, statement = .)
+# DBI::dbDisconnect(con)
+# rm(con)
 
-con <- connect_to_db(db = "datamart")
-DBI::sqlAppendTable(con = con, table = DBI::Id(schema = "sial_siclop", table = "dbrutes_base_annonces"), 
-                    values = BaseAnnoncesNouvelles_sgbd, row.names = FALSE) %>% 
-  DBI::dbSendQuery(conn = con, statement = .)
-DBI::dbDisconnect(con)
-rm(con)
 
-commenter_table(comment = "Base brute des annonces Ouest-France Immo collectées dans le cadre du projet SICLOP", 
+# initialisation de la base des attributs des annonces dans le SGBD
+cat("sauvegarde SGBD base annonce totale")
+poster_data(data = BaseAnnonces, table = "dbrutes_base_annonces", schema = "sial_siclop",
+            post_row_name = FALSE, db = "datamart", overwrite = TRUE)
+cat("commentaire de table")
+commenter_table(comment = "Base brute des annonces Ouest-France Immo collectees dans le cadre du projet SICLOP",
                 table = "dbrutes_base_annonces", schema = "sial_siclop", db = "datamart")
 
-# # initialisation de la base des attributs des annonces dans le SGBD
-# poster_data(data = BaseAnnonces, table = "dbrutes_base_annonces", schema = "sial_siclop",  
-#             post_row_name = FALSE, db = "datamart", overwrite = TRUE)