Merge pull request #157 from ColinMaudry/release/2.6.0

Release/2.6.0

Author: ColinMaudry

.github/workflows/test.yaml

@@ -0,0 +1,22 @@
+name: Tests et couverture
+
+on:
+  push:
+    branches: [ main, develop ]
+  pull_request:
+    branches: [ main ]
+
+jobs:
+  test:
+    runs-on: ubuntu-latest
+    steps:
+    - uses: actions/checkout@v4
+    - name: Set up Python
+      uses: actions/setup-python@v4
+      with:
+        python-version: '3.10'
+    - name: Install dependencies
+      run: |
+        pip install -e .[dev]
+    - name: Run tests with coverage
+      run: pytest --cov=src --cov-report=term

.gitignore

@@ -6,6 +6,7 @@ logs
 .venv
 *.egg-info
 *.parquet
+!tests/data/sirene/*.parquet
 !code_officiel_geographique.parquet
 *.gz
 *.zip

CHANGELOG.md

@@ -1,6 +1,23 @@
+### 2.6.0 2025-12-12
+
+- Abandon des données consolidées par le MINEF, récupération des données à la source ([#151](https://github.com/ColinMaudry/decp-processing/issues/151))
+  - Xmarchés
+  - AWS (officiel et legacy)
+  - PES marché (avant et après 2024)
+  - Dematis / e-marchespublics
+- Ajout du champ `dureeRestanteMois` ([#135](https://github.com/ColinMaudry/decp-processing/issues/135))
+- Amélioration des noms des titulaires (personnes physiques et non-diffusibles) ([#145](https://github.com/ColinMaudry/decp-processing/issues/145))
+- Ajout de nombreux tests unitaires
+- Amélioration de la gestion des modifications ([#148](https://github.com/ColinMaudry/decp-processing/issues/148))
+- Traitement des ressources en parallèle ([#113](https://github.com/ColinMaudry/decp-processing/issues/113))
+- Optimisation de la consommation de mémoire (matérialisation en parquet) ([#153](https://github.com/ColinMaudry/decp-processing/issues/153))
+- Résilience contre les erreurs pendant get_clean (seule la ressource échoue, pas tout le process)
+- Mise en place d'un système de cache custom (parquet)
+- Protection contre la publication par erreur sur data.gouv.fr ([ffaf0535](https://github.com/ColinMaudry/decp-processing/commit/ffaf0535))
+- Utilisation de polars 1.35.2 plutôt que 1.36.1 qui semble ne pas marcher avec polars-ds
+
 ### 2.5.0 2025-11-21
 
-- Ajout de la durée restante dans le marché en mois ([#35](https://github.com/ColinMaudry/decp-processing/issues/135))
 - Amélioration de la conso mémoire de la correction des titulaires ([#146](https://github.com/ColinMaudry/decp-processing/issues/146))
 - Vérfication de la structude des données scrapées (AWS)
 - Gestion propre des erreurs 429 Too Many Redirects ([6fbd71e0](https://github.com/ColinMaudry/decp-processing/commit/6fbd71e0bca0534ee360dc172f3565607dac5bef))

README.md

@@ -1,6 +1,6 @@
 # DECP processing
 
-> version 2.5.0 ([notes de version](https://github.com/ColinMaudry/decp-processing/blob/main/CHANGELOG.md))
+> version 2.6.0 ([notes de version](https://github.com/ColinMaudry/decp-processing/blob/main/CHANGELOG.md))
 
 Projet de traitement et de publication de meilleures données sur les marchés publics attribués en France. Vous pouvez consulter, filtrer et télécharger
 ces données sur le site [decp.info](https://decp.info). Enfin la section [À propos](https://decp.info/a-propos) décrit les objectifs du projet et regroupe toutes les informations clés.
@@ -59,7 +59,7 @@ source .venv/bin/activate
 Installez les dépendances :
 
 ```bash
-pip install .
+pip install -e .
 ```
 
 Pour les contributeurices, installez les dépendances de développement et l'auto-formatage au moment des commits :
@@ -110,7 +110,7 @@ Déploiement des flows (exécution programmée de main ou ponctuelle de dev) :
 Le pré-traitement des données SIRENE doit être fait une fois pour que le traitement principal soit fonctionnel.
 
 ```bash
-pytest tests/test_sirene_preprocess.py
+python run_flow.py sirene_preprocess
 ```
 
 Lancement du traitement principal (data_tables + decp.info) via un serveur prefect à usage unique

data/source_datasets.json

@@ -239,12 +239,6 @@
     "owner_org_name": "ATEXO - DECP",
     "code": "atexo_mp_596280"
   },
-  {
-    "id": "5cd57bf68b4c4179299eb0e9",
-    "name": "Données essentielles de la commande publique - fichiers consolidés",
-    "owner_org_name": "Ministère de l'économie, des Finances et de l'Industrie",
-    "code": "decp_minef"
-  },
   {
     "id": "65f18014e9923e9e71f5f258",
     "name": "Données essentielles du profil acheteur Mégalis Bretagne - schéma arrêtés 2022",
@@ -275,10 +269,46 @@
     "code": "aws_marches-publics.info",
     "owner_org_name": "AWSolutions"
   },
+  {
+    "id": "5cdb1722634f41416ffe90e2",
+    "name": "Données de marches-publics.info (AWS) - legacy",
+    "code": "aws_marches-publics.info_legacy",
+    "owner_org_name": "MINEF"
+  },
   {
     "id": "68caf6b135f19236a4f37a32",
     "name": "Données de marches-publics.info (AWS) - scraping",
     "code": "scrap_marches-publics.info",
     "owner_org_name": "Colin Maudry"
+  },
+  {
+    "id": "651eb149add2f419788c36ef",
+    "name": "Données essentielles des marchés publics - Xmarchés",
+    "code": "xmarches",
+    "owner_org_name": "SPL-XDEMAT"
+  },
+  {
+    "id": "65cf3c55ec910b5a8e2fc084",
+    "name": "Données essentielles PES marché depuis 2024",
+    "code": "pes_marche_2024",
+    "owner_org_name": "MINEF"
+  },
+  {
+    "id": "6932eab9f5ef60c27eba22ff",
+    "name": "Données essentielles PES marché avant 2024 (legacy)",
+    "code": "pes_marche_legacy",
+    "owner_org_name": "Colin Maudry"
+  },
+  {
+    "id": "5c0a7845634f4139b2ee8883",
+    "name": "Données essentielles des marchés publics - e-marchespublics.com",
+    "code": "e-marchespublics.com_dematis",
+    "owner_org_name": "Dematis"
+  },
+  {
+    "id": "6780e55f813a85efbd2c6557",
+    "name": "Les Personnes placées sous main de justice - IDF 2024",
+    "code": "ppsmj",
+    "owner_org_name": "Yael Siksik"
   }
 ]

pyproject.toml

@@ -9,11 +9,12 @@ authors = [
 dependencies = [
     "python-dotenv",
     "pandas", # nécessaire pour l'écriture en base de données
-    "polars==1.33.1",
+    "polars==1.35.2",
     "pyarrow",
     "frictionless",
     "ipykernel",
-    "prefect==3.4.17",
+    "prefect==3.6.6",
+    "prefect[email]==3.6.6",
     "orjson",
     "ijson==3.4.0",
     "lxml",
@@ -29,6 +30,7 @@ dev = [
     "pre-commit",
     "pytest-env",
     "pytest",
+    "pytest-cov"
 ]
 
 [tool.pytest.ini_options]
@@ -40,9 +42,10 @@ testpaths = [
 ]
 env = [
     "DATASETS_REFERENCE_FILEPATH=tests/data/source_datasets_test.json",
+    "SIRENE_DATA_DIR=tests/data/sirene",
     "PREFECT_API_URL=",
     "DECP_PROCESSING_PUBLISH=",
-    "PREFECT_TASKS_REFRESH_CACHE=true"
+    "DECP_USE_CACHE=false"
 ]
 addopts = "-p no:warnings"
 

src/config.py

@@ -10,8 +10,6 @@
 from dotenv import find_dotenv, load_dotenv
 from ijson import sendable_list
 
-from src.schemas import SCHEMA_MARCHE_2019, SCHEMA_MARCHE_2022
-
 dotenv_path = find_dotenv()
 if dotenv_path == "":
     print("Création du fichier .env à partir de template.env")
@@ -71,6 +69,9 @@ def make_path_from_env(env: str, alternative_path: Path) -> Path:
 # Clé d'API data.gouv.fr
 DATAGOUVFR_API_KEY = os.getenv("DATAGOUVFR_API_KEY", "")
 
+# URL API Prefect
+PREFECT_API_URL = os.getenv("PREFECT_API_URL")
+
 # Dossier racine
 BASE_DIR = make_path_from_env("DECP_BASE_DIR", Path(__file__).absolute().parent.parent)
 print(f"{'BASE_DIR':<40}", BASE_DIR)
@@ -80,6 +81,9 @@ def make_path_from_env(env: str, alternative_path: Path) -> Path:
 DATA_DIR.mkdir(exist_ok=True, parents=True)
 print(f"{'DATA_DIR':<40}", DATA_DIR)
 
+RESOURCE_CACHE_DIR = DATA_DIR / "resource_cache"
+RESOURCE_CACHE_DIR.mkdir(exist_ok=True, parents=True)
+
 DIST_DIR = make_path_from_env("DECP_DIST_DIR", BASE_DIR / "dist")
 DIST_DIR.mkdir(exist_ok=True, parents=True, mode=777)
 print(f"{'DIST_DIR':<40}", DIST_DIR)
@@ -97,7 +101,15 @@ def make_sirene_data_dir(sirene_data_parent_dir) -> Path:
 
 
 SIRENE_DATA_PARENT_DIR = make_path_from_env("SIRENE_DATA_PARENT_DIR", DATA_DIR)
-SIRENE_DATA_DIR = make_sirene_data_dir(SIRENE_DATA_PARENT_DIR)
+
+# SIRENE_DATA_DIR ne doit être spécifié que pour les tests. Laisser vide dans .env et laisser make_sirene_data_dir
+# le déterminer
+SIRENE_DATA_DIR = os.getenv(
+    "SIRENE_DATA_DIR", make_sirene_data_dir(SIRENE_DATA_PARENT_DIR)
+)
+if isinstance(SIRENE_DATA_DIR, str):
+    SIRENE_DATA_DIR = Path(os.path.join(BASE_DIR, SIRENE_DATA_DIR))
+
 # SIRENE_DATA_DIR on ne le crée que si nécessaire, dans flows.py
 print(f"{'SIRENE_DATA_PARENT_DIR':<40}", SIRENE_DATA_PARENT_DIR)
 print(f"{'SIRENE_DATA_DIR':<40}", SIRENE_DATA_DIR)
@@ -113,6 +125,8 @@ def make_sirene_data_dir(sirene_data_parent_dir) -> Path:
 SCRAPING_TARGET = os.getenv("SCRAPING_TARGET")
 print(f"{'SCRAPING_TARGET':<40}", SCRAPING_TARGET)
 
+# Lecture ou non des ressource en cache
+DECP_USE_CACHE = os.getenv("DECP_USE_CACHE", "false").lower() == "true"
 
 # Dossier de stockage des résultats de tâches et du cache
 # https://docs.prefect.io/v3/advanced/results#default-persistence-configuration
@@ -204,8 +218,4 @@ class DecpFormat:
     coroutine_ijson: Coroutine | None = None
 
 
-DECP_FORMAT_2019 = DecpFormat("DECP 2019", SCHEMA_MARCHE_2019, "marches")
-DECP_FORMAT_2022 = DecpFormat("DECP 2022", SCHEMA_MARCHE_2022, "marches.marche")
-DECP_FORMATS = [DECP_FORMAT_2019, DECP_FORMAT_2022]
-
 print("")