Suppression de l'iframe de l'assistant + conservation de la géolocalisation + pas mal de petites choses (#1587)

* Missing settings import

* Keep location when browsing assistant

* wip

* Test session storage

* e2e tests

* e2e tests

* WIP

* Replace stimulus debug trigger

Author: fabienheureux

.github/workflows/ci.yml

@@ -41,15 +41,15 @@ jobs:
       - name: Install the project dependencies
         run: poetry sync --with dev,airflow --no-root
       - name: Run unit tests
-        run: poetry run pytest unit_tests
+        run: make unit-test
       - name: Run integration tests
-        run: poetry run pytest integration_tests
+        run: make integration-test
       - name: Run data tests
         run: poetry run pytest dags/tests
       # - name: Run data e2e tests
       #   run: poetry run pytest dags/e2e_tests
       - name: Check code formatting
-        run: poetry run black --check --diff .
+        run: make check-format
       - uses: astral-sh/ruff-action@eaf0ecdd668ceea36159ff9d91882c9795d89b49 # v3.4.0
       - name: Check for missing migrations
         run: poetry run python manage.py makemigrations --check --no-input --settings=core.test_settings
@@ -137,19 +137,19 @@ jobs:
 
       - name: Migrate database
         run: |
-          poetry run python manage.py createcachetable
-          poetry run python manage.py migrate
+          make createcachetable
+          make migrate
 
       - name: Populate database
         run: |
-          poetry run python manage.py loaddata actions acteur_services acteur_types categories objets produits synonymes
+          make seed-database
 
-      - name: Run serveur
+      - name: Run server
         run: |
           poetry run python manage.py runserver &
 
       - name: Install Playwright Browsers
-        run: npx playwright install --with-deps
+        run: make init-playwright
 
       - name: Run Playwright tests
         run: npx playwright test --reporter=list --update-snapshots --shard=${{ matrix.shard }}

.secrets.baseline

@@ -90,10 +90,6 @@
     {
       "path": "detect_secrets.filters.allowlist.is_line_allowlisted"
     },
-    {
-      "path": "detect_secrets.filters.common.is_baseline_file",
-      "filename": ".secrets.baseline"
-    },
     {
       "path": "detect_secrets.filters.common.is_ignored_due_to_verification_policies",
       "min_level": 2
@@ -142,7 +138,7 @@
         "filename": "core/settings.py",
         "hashed_secret": "1ee34e26aeaf89c64ecc2c85efe6a961b75a50e9",
         "is_verified": false,
-        "line_number": 281
+        "line_number": 287
       }
     ],
     "dbt/package-lock.yml": [
@@ -178,7 +174,7 @@
         "filename": "jinja2/layout/base.html",
         "hashed_secret": "057dece35d736a3ae1e710a9cba3f080bd101cde",
         "is_verified": false,
-        "line_number": 65
+        "line_number": 74
       }
     ],
     "unit_tests/qfdmo/test_views.py": [
@@ -191,5 +187,5 @@
       }
     ]
   },
-  "generated_at": "2025-05-26T06:08:00Z"
+  "generated_at": "2025-06-10T10:12:31Z"
 }

Makefile

@@ -12,6 +12,7 @@ HONCHO := poetry run honcho
 DB_URL := postgres://qfdmo:qfdmo@localhost:6543/qfdmo# pragma: allowlist secret
 ASSISTANT_URL := quefairedemesdechets.ademe.local
 LVAO_URL := lvao.ademe.local
+FIXTURES_OPTIONS := --indent 4 --natural-foreign --natural-primary
 
 # Makefile config
 .PHONY: check
@@ -24,6 +25,9 @@ check:
 init-certs:
 	docker run -ti -v ./nginx-local-only/certs:/app/certs -w /app/certs --rm alpine/mkcert $(LVAO_URL) $(ASSISTANT_URL)
 
+.PHONY: init-playwright
+init-playwright:
+	npx playwright install --with-deps
 
 .PHONY: init-dev
 init-dev:
@@ -36,21 +40,25 @@ init-dev:
 	make init-certs
 	# javascript
 	npm install
-	npx playwright install --with-deps
+	make init-playwright
 	# environment
 	cp .env.template .env
 	cp ./dags/.env.template ./dags/.env
 	# prepare django
 	make migrate
 	make createcachetable
 	make createsuperuser
+	make seed-database
+
+.PHONY: check-format
+check-format:
+	poetry run black --check --diff .
 
 .PHONY: fix
 fix:
 	poetry run ruff check . --fix
 	poetry run black --exclude=.venv .
 
-
 # Run development servers
 .PHONY: run-airflow
 run-airflow:
@@ -68,6 +76,10 @@ run-all:
 migrate:
 	$(DJANGO_ADMIN) migrate
 
+.PHONY: shell
+shell:
+	$(DJANGO_ADMIN) shell
+
 .PHONY: makemigrations
 makemigrations:
 	$(DJANGO_ADMIN) makemigrations
@@ -87,7 +99,26 @@ createsuperuser:
 
 .PHONY: seed-database
 seed-database:
-	$(DJANGO_ADMIN) loaddata categories actions acteur_services acteur_types acteurs objets
+	$(DJANGO_ADMIN) loaddata categories labels sources actions produits acteur_services acteur_types objets synonymes suggestions
+	$(DJANGO_ADMIN) loadacteurs acteurs propositions_services
+
+.PHONY: generate-fixtures-acteurs
+generate-fixtures-acteurs:
+	$(DJANGO_ADMIN) dumpdata qfdmo.displayedacteur $(FIXTURES_OPTIONS) --pk "65791ef2-bb37-4569-b011-8cece03dcdcf","antiquites_du_poulbenn_152575_reparation","refashion_TLC-REFASHION-PAV-3445001","communautelvao_VBOFDJDBOCTW","refashion_TLC-REFASHION-REP-603665791852778329","ocad3e_SGS-02069" -o qfdmo/fixtures/acteurs.json # pragma: allowlist secret
+	$(DJANGO_ADMIN) dumpdata qfdmo.displayedpropositionservice $(FIXTURES_OPTIONS) --pk 2163243,2163244,2163245,243160,435885,1699381,738371,738372,719100 -o qfdmo/fixtures/propositions_services.json
+
+.PHONY: generate-fixtures
+generate-fixtures:
+	$(DJANGO_ADMIN) dumpdata qfdmo.objet $(FIXTURES_OPTIONS) -o qfdmo/fixtures/objets.json
+	$(DJANGO_ADMIN) dumpdata qfdmo.categorieobjet qfdmo.souscategorieobjet $(FIXTURES_OPTIONS) -o qfdmo/fixtures/categories.json
+	$(DJANGO_ADMIN) dumpdata qfdmo.actiondirection qfdmo.groupeaction qfdmo.action $(FIXTURES_OPTIONS) -o qfdmo/fixtures/actions.json
+	$(DJANGO_ADMIN) dumpdata qfdmo.acteurtype $(FIXTURES_OPTIONS) -o qfdmo/fixtures/acteur_types.json
+	$(DJANGO_ADMIN) dumpdata qfdmo.acteurservice $(FIXTURES_OPTIONS) -o qfdmo/fixtures/acteur_services.json
+	$(DJANGO_ADMIN) dumpdata qfdmo.labelqualite $(FIXTURES_OPTIONS) -o qfdmo/fixtures/labels.json
+	$(DJANGO_ADMIN) dumpdata qfdmo.source $(FIXTURES_OPTIONS) -o qfdmo/fixtures/sources.json
+	$(DJANGO_ADMIN) dumpdata qfdmd.synonyme $(FIXTURES_OPTIONS) -o qfdmd/fixtures/synonymes.json
+	$(DJANGO_ADMIN) dumpdata qfdmd.produit $(FIXTURES_OPTIONS) -o qfdmd/fixtures/produits.json
+	$(DJANGO_ADMIN) dumpdata qfdmd.suggestion $(FIXTURES_OPTIONS) -o qfdmd/fixtures/suggestions.json
 
 .PHONY: clear-cache
 clear-cache:
@@ -102,10 +133,18 @@ npm-upgrade:
 unit-test:
 	$(PYTEST) ./unit_tests
 
+.PHONY: integration-test
+integration-test:
+	$(PYTEST) ./integration_tests
+
+
+.PHONY: test-dags
+test-dags:
+	$(PYTEST) ./dags/tests
+
 .PHONY: e2e-test
 e2e-test:
-	npx playwright test --update-snapshots --ui
-	$(PYTEST) ./integration_tests
+	npx playwright test --update-snapshots
 
 .PHONY: a11y
 a11y:
@@ -119,6 +158,8 @@ js-test:
 test:
 	@make unit-test
 	@make e2e-test
+	@make integration-test
+	@make test-dags
 
 # DSFR
 .PHONY: extract-dsfr
@@ -151,13 +192,20 @@ load-production-dump:
 
 .PHONY: db-restore
 db-restore:
+	make dump-production
 	make drop-schema-public
 	make create-schema-public
-	make dump-production
 	make load-production-dump
 	make migrate
 
+.PHONY: db-restore-for-tests
+db-restore-for-tests:
+	make drop-schema-public
+	make create-schema-public
+	make migrate
+	make seed-database
+
 # Docs
 .PHONY: build-docs
 build-docs:
-		poetry run sphinx-build -b html -c docs docs _build
+	poetry run sphinx-build -b html -c docs docs _build

core/constants.py

@@ -15,7 +15,9 @@
     "partage": {
         "titre": "{NOM} : L’ADEME partage ses bonnes adresses",
         "corps": "J’ai trouvé une bonne adresse {NOM} grâce à l’ADEME : {URL}",
-    }
+    },
+    "ajouter_un_lieu": "Ajouter un lieu sur la carte",
+    "nouvelle_recherche_dans_cette_zone": "Nouvelle recherche dans cette zone",
 }
 
 ASSISTANT = {
@@ -43,4 +45,5 @@
         "lien": "https://www.ecologie.gouv.fr/info-tri",
         "texte_du_lien": "En savoir plus sur l’Info-tri",
     },
+    "nouvelle_recherche": "Nouvelle recherche",
 }

core/context_processors.py

@@ -2,7 +2,6 @@
 from django.urls import reverse
 
 from qfdmd.forms import SearchForm
-from qfdmd.models import CMSPage
 from qfdmd.views import SEARCH_VIEW_TEMPLATE_NAME, generate_iframe_script
 
 from . import constants
@@ -42,7 +41,6 @@ def global_context(request) -> dict:
 
     return {
         **base,
-        "footer_pages": CMSPage.objects.all(),
         "search_form": SearchForm(),
         "search_view_template_name": SEARCH_VIEW_TEMPLATE_NAME,
         "iframe_script": generate_iframe_script(request),

core/settings.py

@@ -149,6 +149,12 @@
 X_FRAME_OPTIONS = "ALLOWALL"
 
 if DEBUG:
+    # FIXME: A CSRF error can occur locally when using HTTPS.
+    # It is not clear yet what causes it, it might be http host headers
+    # being wrongly set when using nginx. The current workaround impacts
+    # only local development and can be considered harmless, but this
+    # might be nice to remove this setting someday.
+    CSRF_TRUSTED_ORIGINS = [config["BASE_URL"] for config in [ASSISTANT, LVAO]]
     INSTALLED_APPS.extend(["debug_toolbar", "django_browser_reload"])
     MEDIA_ROOT = "media"
     MEDIA_URL = "/media/"
@@ -441,6 +447,7 @@ def context_processors():
 
 # Wagtail settings
 # ----------------
+SILENCED_SYSTEM_CHECKS = ["wagtailadmin.W002"]
 WAGTAIL_SITE_NAME = "Longue vie aux objets"
 WAGTAILADMIN_BASE_URL = BASE_URL
 INSTALLED_APPS.extend(

core/utils.py

@@ -1,4 +1,7 @@
 from django.conf import settings
+from django.utils.encoding import force_str
+from django.utils.functional import Promise
+from wagtail.fields import DjangoJSONEncoder
 
 from qfdmo.models.action import get_directions
 
@@ -9,3 +12,16 @@ def get_direction(request, is_carte=False):
     if direction not in [d["code"] for d in get_directions()]:
         direction = default_direction
     return direction
+
+
+class LazyEncoder(DjangoJSONEncoder):
+    """
+    Force lazy strings to text
+
+    Inspired by https://github.com/hiimdoublej/django-json-ld/blob/master/django_json_ld/util.py
+    """
+
+    def default(self, obj):
+        if isinstance(obj, Promise):
+            return force_str(obj)
+        return super(LazyEncoder, self).default(obj)

docs/tutoriels/README.md

@@ -4,4 +4,5 @@
 :hidden:
 
 prod/mise-en-prod.md
-```
+generer-des-fixtures.md
+```

docs/tutoriels/generer-des-fixtures.md

@@ -0,0 +1,85 @@
+# Utiliser les fixtures
+
+Le projet utilise des fixtures Django[^1] pour les tests.
+Celles-ci sont basées sur de la donnée issue de la base de production afin  de tester l'application sur des situations _de la vraie vie_.
+
+## Générer des fixtures, cas général
+
+Toutes les fixtures à l'exception des `DisplayedActeur` (acteurs affichés) et `DisplayedPropositionService` (proposition de service de ces acteurs) peuvent être générées à partir d'une commande `make` :
+
+```sh
+make generate-fixtures
+
+# il est conseillé de conserver dans git les fixtures à jour, et d'embarquer
+# ces mises à jour dans les pull request.
+git add qfdmo/fixtures qfdmd/fixtures
+git commit -m "mise à jour des fixtures"
+```
+
+## Générer des fixtures pour les acteurs et propositions de service
+
+Le volume de données de la table des Acteurs étant gigantesque, les fixtures de cette table sont générées manuellement, lorsque le modèle de données évolue et empêche leur installation ou lorsqu'il est nécessaire d'ajouter des données de test pour couvrir plus exhaustivement le contexte d'utilisation réel de l'application.
+
+Pour ce faire, sont listées dans le `Makefile` une liste de `pk` d'acteurs (champ `identifiant_unique`).
+Ces identifiants ont été récupérés à la main, depuis le frontend de la carte :
+1. Faire une recherche pour la zone souhaitée
+2. Récupérer le lien de l'acteur dans la fiche détaillée (en cliquant sur le lien de partage par exemple) --> https://lvao.ademe.fr/adresse_details/3kQK86DEWA3ZrcirdzzBez l'id est 3kQK86DEWA3ZrcirdzzBez
+3. Chercher cet id dans l'admin Django : https://lvao.ademe.fr/admin/qfdmo/displayedacteur/?q=eYKxBYDMDoMXTr8iiw69Ek
+4. Récupérer le champ `identifiant_unique` : il peut être un uuid ou un assemblage de chaînes de caractères mentionnant la source, par exemple `ocad3e_SGS-02069`
+5. Ajouter cet identifiant dans le `Makefile` à la suite des autres, derrière le flag `--pk` dans la commande `generate-fixtures-acteurs`
+
+6. Une fois cela fait, il faut récupérer les _primary key_ des propositions de service associées.
+Cela peut-être fait depuis le shell `django` :
+```sh
+make shell
+```
+```py
+# 1. importer le modèle Django
+from qfdmo.models import DisplayedActeur
+
+# 2. Stocker les pks dans une variable. Les pks peuvent être copiées-collées depuis le Makefile
+pks = ["uuid-dun-acteur", "identifiant-dun-autre-acteur"]
+
+# 3. Filtrer les acteurs par pks et en récupérer les pks de propositions de services associées
+list(DisplayedActeur.objects.filter(pk__in=pks).values_list("proposition_services__pk", flat=True))
+
+# Sortie attendue: [2163243, 2163244, 2163245, 243160, 435885, 1699381, 738371, 738372, 719100]
+```
+7. Cette liste de `pk` peut alors être collées dans le `Makefile`
+8. Les fixtures peuvent être re-générées
+```sh
+make generate-fixtures-acteurs
+
+# il est conseillé de conserver dans git les fixtures à jour, et d'embarquer
+# ces mises à jour dans les pull request.
+git add qfdmo/fixtures
+git commit -m "mise à jour des fixtures"
+```
+
+## Utiliser les fixtures
+
+Les fixtures peuvent être utilisées de plusieurs manières :
+- Dans les tests
+- En local
+- Dans la CI
+
+En local, on utilise généralement une base de production mais il peut être intéressant d'installer les fixtures afin d'avoir un environnement _iso-CI_.
+Pour ce faire :
+
+```sh
+# ⚠️ Cette commande va supprimer les données locales, elle est donc à executer en conscience
+make db-restore-for-tests
+```
+
+Dans les tests, les fixtures peuvent être importées en utilisant la fonction `callcommand` de Django :
+```py
+from django.core.management import call_command
+call_command('loaddata', 'synonymes', 'produits')
+```
+
+Le nom des fixtures à utiliser est celui du nom du fichier `.json` de la fixture.
+Django se charge de découvrir automatiquement la fixture correspondante.
+
+
+
+[^1]: [https://docs.djangoproject.com/en/5.2/topics/db/fixtures/](https://docs.djangoproject.com/en/5.2/topics/db/fixtures/)