[DATA] Test période de validité des MMSI dans spire_ais_data : comparaison avec historical_dim_mmsi #500
Description
CONCLUSION :
@TyData29
Ce test de validité montre que, sur les 78 MMSI (actuellement dans historical_dim_mmsi et dans spire_ais_data), seul un MMSI pose problème car a été transféré d'un navire à un autre. Il faut faire la jointure sur le MMSI et l'IMO dans le modèle itm_vessel_last_raw_position !
EXPOSITION DU PROBLÈME :
Liste des MMSI et nombre de lignes où position_timestamp est en dehors de la période de validité dans historical_dim_mmsi :
SELECT mmsi, count(*) FROM (
SELECT hdm.mmsi, date(sad.position_timestamp) AS position_date, to_date(hdm.start_date, 'DD/MM/YYYY') AS start_date, to_date(hdm.end_date, 'DD/MM/YYYY') AS end_date FROM seeds.historical_dim_mmsi hdm
LEFT JOIN spire_ais_data sad ON hdm.mmsi = sad.vessel_mmsi
WHERE sad.position_timestamp NOTNULL) AS foo
WHERE foo.position_date NOT BETWEEN start_date and end_date
GROUP BY mmsiRésultat :
| mmsi | count |
|---|---|
| 265 043 000 | 1 611 |
| 265 754 000 | 38 935 |
| 266 352 000 | 38 935 |
=> En regardant de plus près historical_dim_mmsi.csv, je me rends compte que 1/3 MMSI sont partagés entre différents navires. Je vais vérifier si ce n'est pas une erreur de saisie.
À suivre tout de suite !