Récupérer les données récentes d'AWS

[ColinMaudry]

AW solutions est l'une des principales plateformes de marchés publics. Certaines de leurs données sont récupérées par le MINEF dans leurs données consolidées, mais pas les données récentes.

Les données d'AWS peuvent être téléchargées sur leur portail. Il faut

1. faire une recherche de données essentielles
2. mettre une plage de date qui retourne moins de 2 000 marchés
3. télécharger le résultat en JSON

Leur JSON semble valide 🎉

Puis publier le résultat dans un nouveau dataset... (ce monde est fou)

[ColinMaudry]

AWS publie ses DECP ici : https://www.data.gouv.fr/datasets/declaration-des-donnees-essentielles-avenue-web-systemes/

A première vue il y a plus de données dans ce dataset que de données étiquetées "marches-publics_aws" dans les données consolidées par le MINEF. À vérifier.

À date voilà ce qu'il contient :

total marchés uniques :  43770
- marches 2023 :     6054
- acheteurs 2023 :   783
- marches 2024 :     31649
- acheteurs 2024 :   1944
- marches 2025 :     8739
- acheteurs 2025 :   1545

La dernière màj du dataset date du 29 juillet 2025 (il y a 1 mois et demi), mais cela ne suffit pas à justifier le faible nombre de marchés en 2025.

Plus généralement, la quantité de marchés publiés sur data.gouv.fr ne correspond pas à la quantité de marchés retournés par le moteur de recherche du site : pour 2024, c'est une moyenne de ~2700 marchés par mois (31649 / 12), alors que le moteur de recherche du site retourne 2 000 marchés pour quelques jours sur n'importe quelle période de 2024.

[ColinMaudry]

J'expérimente aussi la récupération de données via leur site Web. Le moteur de recherche est assez erratique. Pour un recherche de Données essentielles avec comme seul critère la période allant du 1er janvier 2023 au 3 janvier 2023 :

• il y a 1806 résultats
• il y a quelques pages de résultats du 1er, 2 ou 3 janvier 2024 (j'ai fait cette recherche aujourd'hui)
• le format des données téléchargées est DECP 2019
• quantité de données téléchargée : 562 ko, 578 marchés
• dans les résultats sur le site, la date de notification est bien dans la période que j'ai cherchée (à part quelques résultats en janvier 2024) : entre le 1er et le 3 janvier 2023. Mais quand je passe la commande suivante sur les données JSON téléchargées via le bouton Télécharger les données des consultations, j'ai des dates de notification très variées qui ressortent : des dates en décembre (et non janvier) 2023 et nos dates en janvier 2024 (déjà détectées dans les résultats sur le site).

jq '.marches[].dateNotification' 2023/donneesEssentielles_2023-01-03.json| sort -u

"2021-12-10+01:00"
"2023-12-07+01:00"
"2023-12-12+01:00"
"2023-12-14+01:00"
"2023-12-28-04:00"
"2024-01-01"
"2024-01-02"
"2024-01-03"
"2024-01-04"

• les id de marchés que je vois dans les résultats ne sont pas dans les données téléchargées

Ensuite...

• je fais la même recherche (1er au 3 janvier 2023) en navigation privée (pas de cookies, pas de cache). Même nombre de résultats (1806), mais des données téléchargées très différentes :
  • 1.2 Mo, 1 798 marchés
  • 187 dates de notification différentes, qui vont globalement de janvier 2020 à novembre 2023

[ColinMaudry]

Conclusion : le moteur de recherche du site semble fonctionner, mais lorsqu'on télécharge les résultats, on récupère complètement autre chose.

[ColinMaudry]

Comparons avec les données consolidées par le MINEF. Celles-ci contiennent des données d'AWS :

• au format 2019 dans decp-2019.json (source = decp_aws)
• au format 2022 dans les autres fichiers (source = marches-publics.info_aws)

Voici le compte de marchés uniques par source dans les données consolidées par le MINEF :

│ marches-publics_aws ┆ 38513  │
│ decp_aws            ┆ 132414 │

Pour les données au format 2022 (marches-publics_aws), on est dans la même ordre de grandeur que la quantité de données publiée par AWS sur data.gouv.fr (43 770 marchés).

Pour les données au format 2019 (decp_aws), elles proviennent probablement de ce jeu de données, que j'avais constitué à la main avant, il me semble, de le transférer au MINEF.

Mais marches-publics.info c'est quoi du coup ??

[ColinMaudry]

Conclusions :

• le téléchargement de données via le moteur de recherche de marches-publics.info est très erratique
• AWS semble publier assez peu de données sur data.gouv.fr compte tenu du nombre de résultats renvoyés par leur moteur de recherche (plusieurs milliers sur une poignée de jours sur le moteur de recherche contre quelques milliers par mois sur data.gouv.fr)
• la consolidation du MINEF renvoie un nombre de marchés encore différent pour ce qui est du format 2022, difficile de dire pour l'instant quand et comment ils récupèrent les données

[ColinMaudry]

Idée : peut-être qu'en réglant bien le cache du navigateur, en navigation privée, il est possible de récupérer des données différentes à chaque téléchargement. On ne sait pas ce qu'on récupère, mais on récupère au moins un peu plus de données.

[ColinMaudry]

Dans l'objet des marchés téléchargés (JSON) il y a des guillemets doubles non échappées. Exemple :

• marché id : 2023REMYLEB00
• acheteur : 68480129300029 (Touraine Logement).
• objet : "LA VILLE AUX DAMES "Le Bois de Plantes" Gr n° 35 <br />Réhabilitation de 32 logements locatifs<br />"

(seul problème sur 3 mois de données)

[ColinMaudry]

J'ai publié un dataset (privé pour l'instant) avec mes downloads de données AWS : https://www.data.gouv.fr/datasets/aws-telecharge/

[ColinMaudry]

Actuellement, les données consolidées par le MINEF provenant d'AWS plus ou moins directement se montent à 346 323 marchés uniques, via trois codes de sources :

• decp_minef_decp_aws (132 414)
• decp_minef_marches-publics_aws (38 513)
• decp_minef_marches-publics.info (175 396 marchés)