Ne pas supprimer les acteurs PRO lors de l'ingestion (#1562)

Author: kolok

dags/compute_acteurs/tasks/business_logic/compute_acteur.py

@@ -11,9 +11,14 @@
 def compute_acteur(df_acteur: pd.DataFrame, df_revisionacteur: pd.DataFrame):
 
     # Collect parent_id among active revisionacteurs
-    revisionacteur_parent_ids = df_revisionacteur[
+    df_revisionacteur_parents = df_revisionacteur[
         df_revisionacteur["statut"] == constants.ACTEUR_ACTIF
-    ]["parent_id"].unique()
+    ]
+    if "public_accueilli" in df_revisionacteur.columns:
+        df_revisionacteur_parents = df_revisionacteur_parents[
+            df_revisionacteur["public_accueilli"] != constants.PUBLIC_PRO
+        ]
+    revisionacteur_parent_ids = df_revisionacteur_parents["parent_id"].unique()
 
     df_revisionacteur_parents = df_revisionacteur[
         df_revisionacteur["identifiant_unique"].isin(revisionacteur_parent_ids)
@@ -37,6 +42,11 @@ def compute_acteur(df_acteur: pd.DataFrame, df_revisionacteur: pd.DataFrame):
 
     all_parent_ids = set(df_acteur_merged["parent_id"].tolist())
     df_children = df_children[df_children["statut"] == constants.ACTEUR_ACTIF]
+    if "public_accueilli" in df_children.columns:
+        df_children = df_children[
+            df_children["public_accueilli"] != constants.PUBLIC_PRO
+        ]
+
     active_parent_ids = set(df_acteur_merged["parent_id"].tolist())
     parent_without_children_ids = all_parent_ids - active_parent_ids
 
@@ -63,6 +73,10 @@ def compute_acteur(df_acteur: pd.DataFrame, df_revisionacteur: pd.DataFrame):
     df_acteur_merged = df_acteur_merged[
         df_acteur_merged["statut"] == constants.ACTEUR_ACTIF
     ]
+    if "public_accueilli" in df_acteur_merged.columns:
+        df_acteur_merged = df_acteur_merged[
+            df_acteur_merged["public_accueilli"] != constants.PUBLIC_PRO
+        ]
 
     # Add a new column uuid to make the displayedacteur id without source name in id
     df_acteur_merged["uuid"] = df_acteur_merged["identifiant_unique"].apply(

dags/sources/tasks/business_logic/source_data_normalize.py

@@ -173,10 +173,6 @@ def _remove_undesired_lines(
         df = df[df["service_a_domicile"].str.lower() != "oui exclusivement"]
         df = df[df["service_a_domicile"].str.lower() != "service à domicile uniquement"]
 
-    # Remove acteurs which are for professionals only
-    if "public_accueilli" in df.columns:
-        df = df[df["public_accueilli"] != constants.PUBLIC_PRO]
-
     # Remove acteurs which have no sous_categorie_codes
     if "sous_categorie_codes" in df.columns:
         df = df[df["sous_categorie_codes"].notnull()]

dags_unit_tests/sources/tasks/business_logic/test_source_data_normalize.py

@@ -181,44 +181,6 @@ def test_source_data_normalize_unhandles_column_raise(self):
         )
         assert "col_make_it_raise" in str(erreur.value)
 
-    def test_public_accueilli_filtre_pro(
-        self,
-        dag_config,
-    ):
-        dag_config = DAGConfig.model_validate(
-            {
-                "normalization_rules": [
-                    {
-                        "keep": "identifiant_unique",
-                    },
-                    {
-                        "keep": "public_accueilli",
-                    },
-                ],
-                "endpoint": "https://example.com/api",
-                "product_mapping": {"product1": "code1"},
-            }
-        )
-        df, metadata = source_data_normalize(
-            dag_config=dag_config,
-            df_acteur_from_source=pd.DataFrame(
-                {
-                    "identifiant_unique": ["1", "2"],
-                    "public_accueilli": ["Professionnels", "Other"],
-                }
-            ),
-            dag_id="id",
-        )
-        pd.testing.assert_frame_equal(
-            df.reset_index(drop=True),
-            pd.DataFrame(
-                {
-                    "identifiant_unique": ["2"],
-                    "public_accueilli": ["Other"],
-                }
-            ).reset_index(drop=True),
-        )
-
     # TODO : ajout des valeurs avec parametrize
     @pytest.mark.parametrize(
         "null_value",
@@ -354,39 +316,6 @@ class TestRemoveUndesiredLines:
                     }
                 ),
             ),
-            # Cas suppression professionnele
-            (
-                pd.DataFrame(
-                    {
-                        "identifiant_unique": ["id1", "id2", "id3", "id4"],
-                        "service_a_domicile": ["non", "non", "non", "oui"],
-                        "public_accueilli": [
-                            "Particuliers",
-                            "Particuliers et professionnels",
-                            "Professionnels",
-                            "Aucun",
-                        ],
-                        "sous_categorie_codes": [
-                            ["code1"],
-                            ["code2"],
-                            ["code3"],
-                            ["code4"],
-                        ],
-                    }
-                ),
-                pd.DataFrame(
-                    {
-                        "identifiant_unique": ["id1", "id2", "id4"],
-                        "service_a_domicile": ["non", "non", "oui"],
-                        "public_accueilli": [
-                            "Particuliers",
-                            "Particuliers et professionnels",
-                            "Aucun",
-                        ],
-                        "sous_categorie_codes": [["code1"], ["code2"], ["code4"]],
-                    }
-                ),
-            ),
             # Cas avec suppression des lignes sans produits acceptés
             (
                 pd.DataFrame(

integration_tests/qfdmo/test_carte_config.py renamed to integration_tests/qfdmo/test_use_carte_config.py

@@ -3,10 +3,7 @@
 import pytest
 from django.core.files.base import ContentFile
 
-from qfdmo.models import (
-    CarteConfig,
-    GroupeActionConfig,
-)
+from qfdmo.models import CarteConfig, GroupeActionConfig
 from unit_tests.qfdmo.acteur_factory import (
     DisplayedActeurFactory,
     DisplayedPropositionServiceFactory,