Releases: ColinMaudry/decp-processing
Releases · ColinMaudry/decp-processing
v2.7.0: - Remplacement des guillemets simples par des apostrophes dans "objet"
v2.6.4
v2.6.3
v2.6.2
- Réduction du nombre de tâches prefect pour réduire la charge sur la BDD et la latence
- Utilisation du multithreading standard de Python plutôt que celui de Prefect
- Le nom d'établissement n'est ajouté entre parenthèses que s'il est différent de celui de l'unité légale
v2.6.1: - Séparation des fichiers de référence et des fichiers de données
- Séparation des fichiers de référence et des fichiers de données
- Réorganisation des variables d'environnement
- Correction de certains imports de modules
v2.6.0
- Abandon des données consolidées par le MINEF, récupération des données à la source (#151)
- Xmarchés
- AWS (officiel et legacy)
- PES marché (avant et après 2024)
- Dematis / e-marchespublics
- Ajout du champ
dureeRestanteMois(#135) - Amélioration des noms des titulaires (personnes physiques et non-diffusibles) (#145)
- Ajout de nombreux tests unitaires
- Amélioration de la gestion des modifications (#148)
- Traitement des ressources en parallèle (#113)
- Optimisation de la consommation de mémoire (matérialisation en parquet) (#153)
- Résilience contre les erreurs pendant get_clean (seule la ressource échoue, pas tout le process)
- Mise en place d'un système de cache custom (parquet)
- Protection contre la publication par erreur sur data.gouv.fr (ffaf0535)
v2.5.0
- Ajout de la durée restante dans le marché en mois (#35)
- Amélioration de la conso mémoire de la correction des titulaires (#146)
- Vérfication de la structude des données scrapées (AWS)
- Gestion propre des erreurs 429 Too Many Redirects (6fbd71e0)
- Skipper et non fail les ressources qui ne sont conformes à aucun schéma (2019 ou 2022)
v2.4.3
v2.4.2
- Correction des montants de marchés supérieurs à 99 milliards, ramenés à 12,311111111 milliards
v2.4.1
- Correction des imports de modules