Ajour des résultats des metaux lourds

dbt_/models/intermediate/int__union_resultats_commune.sql

@@ -35,6 +35,35 @@ SELECT
 FROM
     {{ ref('int__resultats_cvm_commune_dernier') }}
 UNION ALL
+-- metaux_lourds
+SELECT
+    inseecommune,
+    periode,
+    categorie,
+    null AS resultat,
+    ratio,
+    null AS date_dernier_prel,
+    null AS nb_parametres,
+    nb_prelevements,
+    null AS nb_sup_valeur_sanitaire,
+    null AS parametres_detectes
+FROM
+    {{ ref('int__resultats_metaux_lourds_commune_annuel') }}
+UNION ALL
+SELECT
+    inseecommune,
+    periode,
+    categorie,
+    resultat,
+    null AS ratio,
+    date_dernier_prel,
+    nb_parametres,
+    null AS nb_prelevements,
+    null AS nb_sup_valeur_sanitaire,
+    parametres_detectes
+FROM
+    {{ ref('int__resultats_metaux_lourds_commune_dernier') }}
+UNION ALL
 -- pesticide/metabolite
 SELECT
     inseecommune,

dbt_/models/intermediate/int__union_resultats_udi.sql

@@ -35,6 +35,35 @@ SELECT
 FROM
     {{ ref('int__resultats_cvm_udi_dernier') }}
 UNION ALL
+-- metaux_lourds
+SELECT
+    cdreseau,
+    periode,
+    categorie,
+    null AS resultat,
+    ratio,
+    null AS date_dernier_prel,
+    null AS nb_parametres,
+    nb_prelevements,
+    null AS nb_sup_valeur_sanitaire,
+    null AS parametres_detectes
+FROM
+    {{ ref('int__resultats_metaux_lourds_udi_annuel') }}
+UNION ALL
+SELECT
+    cdreseau,
+    periode,
+    categorie,
+    resultat,
+    null AS ratio,
+    date_dernier_prel,
+    nb_parametres,
+    null AS nb_prelevements,
+    null AS nb_sup_valeur_sanitaire,
+    parametres_detectes
+FROM
+    {{ ref('int__resultats_metaux_lourds_udi_dernier') }}
+UNION ALL
 -- nitrate
 SELECT
     cdreseau,

dbt_/models/intermediate/metaux_lourds/_int__metaux_lourds_models.yaml

@@ -0,0 +1,196 @@
+models:
+  - name: int__resultats_metaux_lourds_udi_dernier
+    description: Résultats des métaux lourds (Plomb et Arsenic) par UDI pour la temporalité 'dernier prélèvement'
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - cdreseau
+            - categorie
+    columns:
+      - name: cdreseau
+        description: "Code de l'installation (unité de distribution)"
+        type: VARCHAR
+        tests:
+          - not_null
+      - name: date_dernier_prel
+        description: "Date et heure du dernier prélèvement pris en compte dans l'analyse."
+        type: TIMESTAMP
+        tests:
+          - not_null
+          - dbt_utils.expression_is_true:
+              expression: ">= CURRENT_DATE - INTERVAL 1 YEAR"
+      - name: periode
+        description: "Période de résultat"
+        type: VARCHAR
+        tests:
+          - accepted_values:
+              values: ["dernier_prel"]
+      - name: nb_parametres
+        type: INTEGER
+      - name: categorie
+        type: VARCHAR
+        tests:
+          - accepted_values:
+              values:
+                - metaux_lourds_pb
+                - metaux_lourds_as
+      - name: resultat
+        description: "Interprétation du résultat en fonction des seuils sanitaires et des valeurs mesurées."
+        type: VARCHAR
+        tests:
+          - not_null
+          - accepted_values:
+              values:
+                - non_quantifie
+                - sup_limite_qualite
+                - sup_limite_qualite_2036
+                - sup_valeur_sanitaire
+                - inf_limite_qualite
+      - name: parametres_detectes
+        description: "JSON contenant les paramètres détectés (valtraduite > 0) avec leurs valeurs correspondantes."
+        type: JSON
+
+  - name: int__resultats_metaux_lourds_commune_dernier
+    description: Résultats des métaux lourds (Plomb et Arsenic) par commube pour la temporalité 'dernier prélèvement'
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - inseecommune
+            - categorie
+    columns:
+      - name: inseecommune
+        description: "Code INSEE de la commune"
+        type: VARCHAR
+        tests:
+          - not_null
+      - name: date_dernier_prel
+        description: "Date et heure du dernier prélèvement pris en compte dans l'analyse."
+        type: TIMESTAMP
+        tests:
+          - not_null
+          - dbt_utils.expression_is_true:
+              expression: ">= CURRENT_DATE - INTERVAL 1 YEAR"
+      - name: periode
+        description: "Période de résultat"
+        type: VARCHAR
+        tests:
+          - accepted_values:
+              values: ["dernier_prel"]
+      - name: nb_parametres
+        type: INTEGER
+      - name: categorie
+        type: VARCHAR
+        tests:
+          - accepted_values:
+              values:
+                - metaux_lourds_pb
+                - metaux_lourds_as
+      - name: resultat
+        description: "Interprétation du résultat en fonction des seuils sanitaires et des valeurs mesurées."
+        type: VARCHAR
+        tests:
+          - not_null
+          - accepted_values:
+              values:
+                - non_quantifie
+                - sup_limite_qualite
+                - sup_limite_qualite_2036
+                - sup_valeur_sanitaire
+                - inf_limite_qualite
+      - name: parametres_detectes
+        description: "JSON contenant les paramètres détectés (valtraduite > 0) avec leurs valeurs correspondantes."
+        type: JSON
+
+  - name: int__resultats_metaux_lourds_commune_annuel
+    description: Résultats des métaux lourds (Plomb et Arsenic) par commune pour la temporalité 'bilan_annuel'
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - inseecommune
+            - annee
+            - categorie
+    columns:
+      - name: inseecommune
+        description: "Code INSEE de la commune"
+        type: VARCHAR
+        tests:
+          - not_null
+      - name: annee
+        description: "Année de prélèvement"
+        type: smallint
+        tests:
+          - not_null
+      - name: categorie
+        description: "Catégorie du paramètre (pesticides, pfas, vcm, nitrates, etc.) selon la classification établie."
+        type: VARCHAR
+        tests:
+          - not_null
+          - accepted_values:
+              values:
+                - metaux_lourds_pb
+                - metaux_lourds_as
+      - name: periode
+        description: "Période du résultat"
+        type: VARCHAR
+        tests:
+          - dbt_utils.expression_is_true:
+              expression: "LIKE 'bilan_annuel%'"
+      - name: nb_depassements
+        type: INTEGER
+      - name: nb_prelevements
+        type: INTEGER
+      - name: ratio
+        description: Pourcentage de prélèvements qui dépassent la valeur sanitaire ou la limite de qualité
+        type: FLOAT
+        tests:
+          - not_null
+          - dbt_expectations.expect_column_values_to_be_between:
+              min_value: 0
+              max_value: 1
+
+  - name: int__resultats_metaux_lourds_udi_annuel
+    description: Résultats des métaux lourds (Plomb et Arsenic) par UDI pour la temporalité 'bilan_annuel'
+    tests:
+      - dbt_utils.unique_combination_of_columns:
+          combination_of_columns:
+            - cdreseau
+            - annee
+            - categorie
+    columns:
+      - name: cdreseau
+        description: Code de l'installation (unité de distribution)
+        type: VARCHAR
+        tests:
+          - not_null
+      - name: annee
+        description: "Année de prélèvement"
+        type: smallint
+        tests:
+          - not_null
+      - name: categorie
+        description: "Catégorie du paramètre (pesticides, pfas, vcm, nitrates, etc.) selon la classification établie."
+        type: VARCHAR
+        tests:
+          - not_null
+          - accepted_values:
+              values:
+                - metaux_lourds_pb
+                - metaux_lourds_as
+      - name: periode
+        description: "Période du résultat"
+        type: VARCHAR
+        tests:
+          - dbt_utils.expression_is_true:
+              expression: "LIKE 'bilan_annuel%'"
+      - name: nb_depassements
+        type: INTEGER
+      - name: nb_prelevements
+        type: INTEGER
+      - name: ratio
+        description: Pourcentage de prélèvements qui dépassent la valeur sanitaire ou la limite de qualité
+        type: FLOAT
+        tests:
+          - not_null
+          - dbt_expectations.expect_column_values_to_be_between:
+              min_value: 0
+              max_value: 1

dbt_/models/intermediate/metaux_lourds/int__resultats_metaux_lourds_commune_annuel.sql

@@ -0,0 +1,66 @@
+WITH
+metaux_lourds_prels AS (
+    -- Certains prélèvements ont plusieurs analyses pour la même substance
+    -- Le SELECT DISTINCT ne dédoublonne pas ces cas là
+    -- Donc il n'y a pas d'unicité sur referenceprel dans cetre requête
+    SELECT DISTINCT
+        de_partition AS annee,
+        inseecommune,
+        cdparametresiseeaux,
+        valeur_sanitaire_1,
+        limite_qualite,
+        referenceprel,
+        datetimeprel,
+        valtraduite
+    FROM
+        {{ ref('int__resultats_udi_communes') }}
+    WHERE
+        cdparametresiseeaux IN ('PB', 'AS')
+)
+
+SELECT
+    inseecommune,
+    annee,
+    CASE
+        WHEN cdparametresiseeaux = 'PB' THEN 'metaux_lourds_pb'
+        WHEN cdparametresiseeaux = 'AS' THEN 'metaux_lourds_as'
+    END AS categorie,
+    'bilan_annuel_' || annee AS periode,
+    count(
+        DISTINCT
+        CASE
+            WHEN
+                cdparametresiseeaux = 'PB'
+                AND valtraduite IS NOT NULL AND valtraduite >= limite_qualite
+                THEN referenceprel
+            WHEN
+                cdparametresiseeaux = 'AS'
+                AND valtraduite IS NOT NULL
+                AND valtraduite >= valeur_sanitaire_1
+                THEN referenceprel
+        END
+    ) AS nb_depassements,
+    count(DISTINCT referenceprel) AS nb_prelevements,
+    (
+        count(
+            DISTINCT
+            CASE
+                WHEN
+                    cdparametresiseeaux = 'PB'
+                    AND valtraduite IS NOT NULL
+                    AND valtraduite >= limite_qualite
+                    THEN referenceprel
+                WHEN
+                    cdparametresiseeaux = 'AS'
+                    AND valtraduite IS NOT NULL
+                    AND valtraduite >= valeur_sanitaire_1
+                    THEN referenceprel
+            END
+        )::float
+        /
+        count(DISTINCT referenceprel)::float
+    ) AS ratio
+
+FROM metaux_lourds_prels
+
+GROUP BY inseecommune, annee, categorie