Skip to content

Réduire le temps de normalisation des données en base avec dbt #120

@ColinMaudry

Description

@ColinMaudry

Actuellement les tables sont créées via la fonction normalize_tables() : les données sont manipulées en polars puis chargées dans PostgreSQL. Je suppose que ce chargement est très coûteux en CPU, plus que si les requêtes étaient exécutées dans Postgre.

Ce n'est pas prioritaire car on a pour l'instant peu d'enjeux de temps d'exécution, mais à garder sous le coude.

Metadata

Metadata

Assignees

No one assigned

    Projects

    Status

    Backlog

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions