IncompleteJSONError avec ijson

[ColinMaudry]

Je pensais qu'on avait résolu ce soucis avec #107, mais non : avec de nombreux fichiers (par exemple decp-2022.json du dataset EPIDE), cette erreur apparaît :

09:28:49.401 | INFO    | Task run 'stream_get-0e1' - Finished in state Completed()
09:28:49.405 | INFO    | Task run 'json_stream_to_parquet-d97' - Finished in state Completed()
09:28:49.408 | INFO    | Task run 'get_resource-b08' - Finished in state Completed()
09:28:49.426 | INFO    | Task run 'get_clean-12c' - Finished in state Completed()
09:28:49.458 | INFO    | Task run 'get_resource-455' - ➡️  decp-2022.json (Données essentielles du profil acheteur EPIDE)
Exception ignored in: <generator object utf8_encoder at 0x78ffd3726ce0>
Traceback (most recent call last):
  File "/home/colin/git/decp-processing/.venv/lib/python3.13/site-packages/ijson/backends/python.py", line 46, in utf8_encoder
    target.close()
  File "/home/colin/git/decp-processing/.venv/lib/python3.13/site-packages/ijson/backends/python.py", line 116, in Lexer
    target.send(EOF)
  File "/home/colin/git/decp-processing/.venv/lib/python3.13/site-packages/ijson/backends/python.py", line 161, in parse_value
    raise common.IncompleteJSONError('Incomplete JSON content')
ijson.common.IncompleteJSONError: Incomplete JSON content

Dans ce cas elle est suivie d'une erreur de Deadlock documentée en #112, mais je ne sais pas si elles sont liées. Les erreurs IncompleteJSONError apparaissent très souvent, les erreurs Deadlock beaucoup moins.

ijson documente vaguement comment résoudre ce genre de problème, donc c'est à explorer.

[ColinMaudry]

Après avoir mis à jour ijson (3.3 => 3.4), le message d'erreur est beaucoup plus explicite !

ijson.common.IncompleteJSONError: parse error: after key and value, inside map, I expect ',' or '}'
                                        {"marches":{"marche":[  {"id":
                     (right here) ------^

@TLouf ça te parle ?

[ColinMaudry]

Le bug n'apparaît maintenant que si le nombre de workers est > 1. Je suspecte que les threads donc les fichiers concurrents, partagent la même queue dans la coroutine, d'où le bazar.

[ColinMaudry]

C'était bien ça : j'ai fait un truc un peu sale dans DecpFormat avec un dict qui stocke une coroutine et une sendable list par ressource (dans un dict, j'utilise l'URL comme clé), et plus d'erreur ijson, encodage, JSON incomplete, etc en multiprocessing 🤩

Bon par contre maintenant il y a une RuntimeError de Prefect : un dict sur lequel j'itère change de taille au milieu de l'itération 🤔

Je suis pas avec mon ordi là, je push demain.

[ColinMaudry]

Pour la v2.0 on va mettre de côté le multiprocessing. Ce n'est pas trop handicapant pour les datasets ayant beaucoup de petits fichiers, car seul le premier run sera long. Ensuite Prefect utilisera le cache pour ne pas le retélécharger et les retraiter.

Cet issue peut donc revenir à une priorité normale et être retiré de la v2.0.