Skip to content

Conversation

kolok
Copy link
Contributor

@kolok kolok commented Apr 15, 2025

Description succincte du problème résolu

Suite #1521

Notion : Importer le fichier v3 Valdelia (EA, PMCB) dans LVAO - avec table de pivot vers nouvel ID

N'oublier pas de taguer : bug, enhancement, documentation, technical, dependencies

🗺️ contexte: Airflow Source

💡 quoi: lors de la migration des identifiant_externe, il faut s'assurer de ne pas créer des duplicats d'identifiant_externe pour la même source

🎯 pourquoi: Après le mapping est impossible entre ca qu'on a en DB et ce qu'on a dans la source

🤔 comment:

  • On cherche si un acteur avec la même source et le même identifiant_unique 'exte pas déjà, si oui, on index l'identifiant externe à mettre à jour et on recommence
  • On en profite pour inactiver les acteurs en doublons (identifiant_externe indexé)
  • Dans le DAG, on vérifie qu'il n'existe pas plusieurs mapping possible pour un même identifiant_externe

Auto-review

Les trucs à faire avant de demander une review :

  • J'ai bien relu mon code
  • La CI passe bien
  • Testé sur mon airflow local avec succès
  • En cas d'ajout de variable d'environnement, j'ai bien mis à jour le .env.template
  • J'ai ajouté des tests qui couvrent le nouveau code

📆 A faire (prochaine PR)

  • Rendre le couple source_id, identifiant_externe unique

@kolok kolok added the bug Something isn't working label Apr 15, 2025
@kolok kolok requested a review from a team as a code owner April 15, 2025 08:25
@kolok kolok requested review from fabienheureux and maxcorbeau and removed request for a team April 15, 2025 08:25
@kolok kolok force-pushed the gestion_duplicates_in_mapping branch 2 times, most recently from e05c8e4 to 1491ad6 Compare April 25, 2025 06:35
@kolok kolok requested a review from fabienheureux April 25, 2025 06:36
@kolok kolok force-pushed the gestion_duplicates_in_mapping branch from 0c276b6 to b254407 Compare April 25, 2025 08:59
@kolok kolok force-pushed the gestion_duplicates_in_mapping branch from b254407 to e8540d9 Compare April 28, 2025 11:43
@kolok kolok merged commit 66fb1ed into main Apr 28, 2025
8 of 11 checks passed
@kolok kolok deleted the gestion_duplicates_in_mapping branch April 28, 2025 11:47
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants