Skip to content

Releases: ColinMaudry/decp-processing

v2.7.0: - Remplacement des guillemets simples par des apostrophes dans "objet"

29 Dec 16:08
v2.7.0
ec3c221

Choose a tag to compare

  • Remplacement des guillemets simples par des apostrophes dans "objet"
  • Ajout des données de l'API DUME (code source scrap_aife_dume) (#144)
  • Ajout des données du profil d'acheteur Klekoon (code source scrap_klekoon) (#71)

v2.6.4

24 Dec 10:07
v2.6.4
f65bf64

Choose a tag to compare

  • Tri et numérotation des modifications après la concaténation plutôt que par ressource, pour réduire le nombre de doublons (#156)
  • Utilisation du logger de prefect plûtot que log_prints=True (#94)

v2.6.3

16 Dec 14:59
v2.6.3
f2fcab9

Choose a tag to compare

  • Téléchargement des ressources plus résilient aux erreurs (tenacity)
  • Téléchargement des données établissements plus résilient aux erreurs (tenacity)

v2.6.2

16 Dec 14:53
v2.6.2
f72a297

Choose a tag to compare

  • Réduction du nombre de tâches prefect pour réduire la charge sur la BDD et la latence
  • Utilisation du multithreading standard de Python plutôt que celui de Prefect
  • Le nom d'établissement n'est ajouté entre parenthèses que s'il est différent de celui de l'unité légale

v2.6.1: - Séparation des fichiers de référence et des fichiers de données

16 Dec 14:52
v2.6.1
48c1ae3

Choose a tag to compare

  • Séparation des fichiers de référence et des fichiers de données
  • Réorganisation des variables d'environnement
  • Correction de certains imports de modules

v2.6.0

16 Dec 14:52
v2.6.0
044118b

Choose a tag to compare

  • Abandon des données consolidées par le MINEF, récupération des données à la source (#151)
    • Xmarchés
    • AWS (officiel et legacy)
    • PES marché (avant et après 2024)
    • Dematis / e-marchespublics
  • Ajout du champ dureeRestanteMois (#135)
  • Amélioration des noms des titulaires (personnes physiques et non-diffusibles) (#145)
  • Ajout de nombreux tests unitaires
  • Amélioration de la gestion des modifications (#148)
  • Traitement des ressources en parallèle (#113)
  • Optimisation de la consommation de mémoire (matérialisation en parquet) (#153)
  • Résilience contre les erreurs pendant get_clean (seule la ressource échoue, pas tout le process)
  • Mise en place d'un système de cache custom (parquet)
  • Protection contre la publication par erreur sur data.gouv.fr (ffaf0535)

v2.5.0

21 Nov 16:53
v2.5.0
4183898

Choose a tag to compare

  • Ajout de la durée restante dans le marché en mois (#35)
  • Amélioration de la conso mémoire de la correction des titulaires (#146)
  • Vérfication de la structude des données scrapées (AWS)
  • Gestion propre des erreurs 429 Too Many Redirects (6fbd71e0)
  • Skipper et non fail les ressources qui ne sont conformes à aucun schéma (2019 ou 2022)

v2.4.3

14 Nov 18:45
v2.4.3
7f16868

Choose a tag to compare

  • Stabilisation du scrap AWS (mais c'est pas encore ça) (#143)
  • Ajout du nombre de marchés dans les stats NAF/CPV (#142)

v2.4.2

12 Nov 20:48
v2.4.2
247a9c4

Choose a tag to compare

  • Correction des montants de marchés supérieurs à 99 milliards, ramenés à 12,311111111 milliards

v2.4.1

06 Nov 14:33
v2.4.1
7d909a4

Choose a tag to compare

  • Correction des imports de modules