Skip to content

Conversation

maxcorbeau
Copy link
Contributor

🔄 [ENRICH] - DAG de rafraichissment DBT

🗺️ contexte: on a plusieurs DAG d'enrichissement qui se reposent sur des modèles dbt de marts, ces DAG rafraichissent uniquement les modèles de marts pour avoir des suggestions fraiches 🔴 mais pas les modèles sous-jacents (ex: int_) car ceci prendrait trop de temps.

💡 quoi: un DAG pour rafraichir les modèles dbt

🎯 pourquoi: mettre à jours les modèles sous-jacents continuellement pour avoir au pire 1 jour de retard au niveau des marts quand la data ou le code des modèles < marts changent.

🤔 comment:

  • le DAG prend une liste de commandes DBT et les exécutent
  • 🔮 J'ai déja spécifié les modèles à venir pour PR 🌆 [ENRICH] BAN: villes anciennes -> nouvelles #1534 (pour l'instant = pas de modèle trouvé MAIS pas d'erreur, une fois PR mergée les nouveaux modèles DBT seront pris en compte automatiquement)

@maxcorbeau maxcorbeau requested a review from a team as a code owner April 25, 2025 05:35
@maxcorbeau maxcorbeau requested review from kolok and fabienheureux and removed request for a team April 25, 2025 05:35
@maxcorbeau maxcorbeau force-pushed the enrich_dbt_models_refresh_v1bis branch from a460a0a to f286fec Compare April 27, 2025 13:42
@maxcorbeau maxcorbeau enabled auto-merge (squash) April 27, 2025 13:43
@maxcorbeau maxcorbeau merged commit cc6fb79 into main Apr 27, 2025
8 of 11 checks passed
@maxcorbeau maxcorbeau deleted the enrich_dbt_models_refresh_v1bis branch April 27, 2025 13:45
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants