🧹 CLONAGE: supprimer redondance dbt (#1571)

CLONAGE: supprimer redondance dbt

Author: maxcorbeau

dags/clone/config/model.py

@@ -4,7 +4,7 @@
 from pathlib import Path
 from typing import Literal
 
-from pydantic import AnyUrl, BaseModel, computed_field, field_validator
+from pydantic import AnyUrl, BaseModel, computed_field
 
 DIR_CURRENT = Path(__file__).resolve()
 DIR_SQL_CREATION = DIR_CURRENT.parent / "sql" / "creation"
@@ -23,8 +23,6 @@ class CloneConfig(BaseModel):
     file_unpacked: str
     delimiter: str
     run_timestamp: str
-    dbt_build_skip: bool
-    dbt_build_command: str
 
     @computed_field
     @property
@@ -63,12 +61,3 @@ def validate_paths(self) -> None:
             raise FileNotFoundError(f"{self.table_schema_file_path=} pas trouvé")
         if not self.view_schema_file_path.exists():
             raise FileNotFoundError(f"{self.view_schema_file_path=} pas trouvé")
-
-    @field_validator("dbt_build_command", mode="after")
-    @classmethod
-    def validate_dbt_build_command(cls, value: str) -> str:
-        if not value.strip():
-            raise ValueError("dbt_build_command ne peut pas être vide")
-        if not value.startswith("dbt "):
-            raise ValueError("dbt_build_command doit commencer par 'dbt'")
-        return value.strip()

dags/clone/config/tasks.py

@@ -10,4 +10,3 @@ class TASKS:
     TABLE_VALIDATE = "clone_table_validate"
     VIEW_IN_USE_SWITCH = "clone_view_in_use_switch"
     OLD_TABLES_REMOVE = "clone_old_tables_remove"
-    DBT_BUILD = "clone_dbt_build"

dags/clone/dags/clone_ae_etablissement.py

@@ -66,16 +66,6 @@
             type="string",
             description_md="🔤 Délimiteur utilisé dans le fichier",
         ),
-        "dbt_build_skip": Param(
-            False,
-            type="boolean",
-            description_md="🚫 Si coché, le build DBT ne sera pas exécuté",
-        ),
-        "dbt_build_command": Param(
-            "dbt build --select tag:ae,tag:etablissement",
-            type="string",
-            description_md="🔨 Commande DBT à exécuter",
-        ),
     },
 ) as dag:
     chain_tasks(dag)

dags/clone/dags/clone_ae_unite_legale.py

@@ -66,16 +66,6 @@
             type="string",
             description_md="🔤 Délimiteur utilisé dans le fichier",
         ),
-        "dbt_build_skip": Param(
-            False,
-            type="boolean",
-            description_md="🚫 Si coché, la build DBT ne sera pas exécuté",
-        ),
-        "dbt_build_command": Param(
-            "dbt build --select tag:ae,tag:unite_legale",
-            type="string",
-            description_md="🔨 Commande DBT à exécuter",
-        ),
     },
 ) as dag:
     chain_tasks(dag)

dags/clone/dags/clone_ban_adresses.py

@@ -66,16 +66,6 @@
             type="string",
             description_md="🔤 Délimiteur utilisé dans le fichier",
         ),
-        "dbt_build_skip": Param(
-            False,
-            type="boolean",
-            description_md="🚫 Si coché, le build DBT ne sera pas exécuté",
-        ),
-        "dbt_build_command": Param(
-            "dbt build --select tag:ban,tag:adresses",
-            type="string",
-            description_md="🔨 Commande DBT à exécuter",
-        ),
     },
 ) as dag:
     chain_tasks(dag)

dags/clone/dags/clone_ban_lieux_dits.py

@@ -66,16 +66,6 @@
             type="string",
             description_md="🔤 Délimiteur utilisé dans le fichier",
         ),
-        "dbt_build_skip": Param(
-            False,
-            type="boolean",
-            description_md="🚫 Si coché, le build DBT ne sera pas exécuté",
-        ),
-        "dbt_build_command": Param(
-            "dbt build --select tag:ban,tag:lieux_dits",
-            type="string",
-            description_md="🔨 Commande DBT à exécuter",
-        ),
     },
 ) as dag:
     chain_tasks(dag)

dags/clone/tasks/airflow_logic/chain_tasks.py

@@ -3,11 +3,6 @@
 from clone.tasks.airflow_logic.clone_config_create_task import (
     clone_config_create_task,
 )
-
-# from clone.tasks.airflow_logic.clone_dbt_command import (
-#    dbt_command_task,
-# )
-from clone.tasks.airflow_logic.clone_dbt_build import clone_dbt_build_task
 from clone.tasks.airflow_logic.clone_old_tables_remove_task import (
     clone_old_tables_remove_task,
 )
@@ -23,21 +18,10 @@
 
 
 def chain_tasks(dag: DAG) -> None:
-
     chain(
         clone_config_create_task(dag),
         clone_table_create_task(dag),
         clone_table_validate_task(dag),
         clone_view_in_use_switch_task(dag),
         clone_old_tables_remove_task(dag),
-        clone_dbt_build_task(dag),
     )
-
-
-"""
-dbt_command_task(
-    dag,
-    task_id="clone_dbt_build",
-    cmd=dag.params["dbt_build_command"].strip(),
-),
-"""

dags/clone/tasks/airflow_logic/clone_dbt_build.py

@@ -15,8 +15,6 @@ def config(self):
             file_unpacked="data.csv",
             delimiter=",",
             run_timestamp="20220305120000",
-            dbt_build_skip=False,
-            dbt_build_command="dbt build --select tag:nothing_to_do",
         )
 
     def test_table_name(self, config):