dbt marts & dag airflow

Author: maxcorbeau

dbt/models/base/ban/base_ban_adresses.sql

@@ -13,7 +13,11 @@ SELECT
     as it's a common suggestion filter */
     numero AS adresse_numero,
     nom_commune AS ville,
-    nom_ancienne_commune AS ville_ancienne,
+    /* We only keep ville_ancienne if it's different from current ville */
+    CASE
+      WHEN nom_ancienne_commune = nom_commune THEN NULL
+      ELSE nom_ancienne_commune
+    END AS ville_ancienne,
     code_postal,
     LEFT(code_postal, 2) AS code_departement,
     lat as latitude,

dbt/models/intermediate/ban/int_ban_villes.sql

@@ -0,0 +1,28 @@
+/*
+post_hook = partial indexes on high-cardinality columns only for NOT NULL
+so we can still speed up the JOINS/FILTERS
+*/
+{{
+  config(
+    materialized = 'table',
+    tags=['intermediate', 'ban', 'villes'],
+    indexes=[
+      {'columns': ['ville_ancienne']},
+      {'columns': ['ville']},
+      {'columns': ['code_postal']},
+      {'columns': ['code_departement']},
+    ],
+    post_hook=[
+      "CREATE INDEX ON {{ this }}(ville_ancienne) WHERE ville_ancienne IS NOT NULL",
+    ]
+  )
+}}
+
+
+SELECT
+    ville_ancienne,
+    ville,
+    code_postal,
+    code_departement
+FROM {{ ref('base_ban_adresses') }}
+GROUP BY 1,2,3,4

dbt/models/marts/enrich/marts_enrich_acteurs_villes_suggest.sql

@@ -0,0 +1,29 @@
+{{
+  config(
+    materialized = 'table',
+    tags=['marts', 'enrich', 'ville','cities', 'ban'],
+  )
+}}
+
+SELECT
+  acteurs.identifiant_unique AS acteur_id,
+  acteurs.ville AS acteur_ville,
+  acteurs.code_postal AS acteur_code_postal,
+  ban.ville_ancienne AS ban_ville_ancienne,
+  ban.ville AS ban_ville,
+  ban.code_postal AS ban_code_postal,
+  ban.ville AS remplacer_ville
+FROM {{ ref('marts_carte_acteur') }} AS acteurs
+JOIN {{ ref('int_ban_villes') }} AS ban ON ban.code_postal = acteurs.code_postal
+WHERE acteurs.statut = 'ACTIF'
+AND acteurs.code_postal IS NOT NULL and acteurs.code_postal != '' and LENGTH(acteurs.code_postal) = 5
+/* Only suggest if 1 difference */
+AND (
+  acteurs.ville != ban.ville_ancienne
+  OR acteurs.ville != ban.ville
+)
+/* BUT also a match somewhere */
+AND (
+  udf_normalize_string_for_match(acteurs.ville,3) = udf_normalize_string_for_match(ban.ville_ancienne,3)
+  OR udf_normalize_string_for_match(acteurs.ville,3) = udf_normalize_string_for_match(ban.ville,3)
+)

dbt/models/marts/enrich/marts_enrich_acteurs_villes_suggest_new.sql

@@ -0,0 +1,15 @@
+{{
+  config(
+    materialized = 'view',
+    alias = 'marts_enrich_acteurs_villes_suggest_new',
+    tags=['marts', 'enrich', 'ville', 'ban','acteurs','nouvelle','new'],
+  )
+}}
+
+SELECT
+  'acteurs_villes_anciennes_nouvelles' AS suggestion_cohorte_code,
+  '🌆 Changement de ville: 🟡 ancienne -> nouvelle' AS suggestion_cohorte_label,
+  *
+FROM {{ ref('marts_enrich_acteurs_villes_suggest') }}
+WHERE udf_normalize_string_for_match(acteur_ville,3) != udf_normalize_string_for_match(remplacer_ville,3)
+AND ban_ville_ancienne IS NOT NULL

dbt/models/marts/enrich/marts_enrich_acteurs_villes_suggest_typo.sql

@@ -0,0 +1,15 @@
+{{
+  config(
+    materialized = 'view',
+    alias = 'marts_enrich_acteurs_villes_suggest_typo',
+    tags=['marts', 'enrich', 'ville', 'ban','acteurs','typo','ortographe'],
+  )
+}}
+
+SELECT
+  'acteurs_villes_variation_ortographe' AS suggestion_cohorte_code,
+  '🌆 Changement de ville: 🟢 variation d''ortographe' AS suggestion_cohorte_label,
+  *
+FROM {{ ref('marts_enrich_acteurs_villes_suggest') }}
+WHERE udf_normalize_string_for_match(acteur_ville,3) = udf_normalize_string_for_match(remplacer_ville,3)
+AND ban_ville_ancienne IS NULL