"UNIQUE constraint failed" dans table "marches"

[ColinMaudry]

 IntegrityError: (sqlite3.IntegrityError) UNIQUE constraint failed: marches.uid, marches.modification_id\n[SQL: INSERT INTO marches 

En passant le processus de df à lf pour réduire la consommation de mémoire, j'ai cassé l'unicité des marchés.

La production du fichier SQLite n'est pas proritaire, donc je la désactive pour l'instant.

[ColinMaudry]

C'est probablement parce que l'unicité est appliquée par batch et non globalement.

Je pourrais :

• utiliser une table transition pour charcher la table finale avec une requête SQL "SELECT DISTINCT ON"
• dédupliquer en mode dataframe et non lazy, en triant les données au préalable pour minimiser le coût en perf, puis de nouveau passer en lazy

On dirait que ça me pousse un peu vers dbt #120. On verra quand servir les données depuis PostgreSQL deviendra nécessaire.