⏩ [PERF] DBT: modèles unlogged / désactiver le WAL

[maxcorbeau]

⏩ DBT: modèles unlogged / désactiver le WAL

Carte Notion: ⏩ DBT: modèles unlogged / désactiver le WAL

🗺️ contexte: on utilise dbt pour compiler de la donnée, par défault le WAL de postresql est activé alors qu'on en a pas besoin pour des modèles recompilés / reconstruit de zero à chaque fois

💡 quoi: rendre les modèles unlogged

🎯 pourquoi: désactiver le WAL et améliorer les performances, cf https://www.postgresql.org/docs/current/sql-createtable.html#SQL-CREATETABLE-UNLOGGED

If specified, the table is created as an unlogged table. Data written to unlogged tables is ⏩ not written to the write-ahead log (see Chapter 28), which makes them 🚀 considerably faster than ordinary tables. However, they are ⚠️ not crash-safe: an unlogged table is automatically truncated after a crash or unclean shutdown. The contents of an unlogged table are also not replicated to standby servers. Any indexes created on an unlogged table are automatically unlogged as well. If this is specified, any sequences created together with the unlogged table (for identity or serial columns) are also created as unlogged.

=> 🟢 dans le pire des cas quelque chose ne se passe pas bien et dbt doit reconstuire le modèle dans son intégralité, ce qui est déjà le cas actuellement = pas de regression

🤔 comment: option dans dbt_project.yml

✅ Reste à faire (PR en cours)

• Comparer les performances avant / après activation de l'option sur un full build

📆 A faire (prochaine PR)

• Si un jour on implémente les modèles incremental: alors désactiver le unlogged pour ses modèles car on ne veut pas être victime d'un TRUNCATE et perdre l'ensemble de l'historique
• Django: mettre la table de cache Django également en unlogged

[notion-workspace]

⏩ DBT: modèles unlogged / désactiver le WAL