Skrive om Kafkarator til Kafka native ACLs

[mortenlj]

Kafkarator oppreter Aiven ACLs på Kafka. For ikke så lenge siden kom Aiven med Kafka-native ACLs, som skal ha bedre ytelse (siden de er native). Det vil være lurt om vi bytter til disse, da vår bruk av ACL stresser Aiven sine systemer.

Problem: aiven-go-client som vi benytter i Aivenator og Kafkarator (og kanskje andre steder?) er deprecated og støtter ikke Kafka-native ACLs. Den nye clienten (go-client-codegen) er "under heavy development", og mangler dokumentasjon (men det gjorde forsåvidt aiven-go-client også.

[mortenlj]

Jeg har innført go-client-codegen i Acl koden i Kafkarator, bak et featureflagg.
Dette ser ut til å fungere fint, og kunne nok vært skrudd på over alt.
Dette gjør det enklere å gå videre til å bruke Kafka Native ACLs.

En problemstilling som gjør at det vil ta litt mer tid enn jeg har tilgjengelig nå før ferien er at Native ACLs har en annen struktur som gjør det vanskelig for Kafkarator å sammenligne det som er definert i topic med det som kommer fra clusteret. Hele den koden må antageligvis skrives om til å bygge på Native ACLs hele veien.

Nyttig dokumentasjon:
https://aiven.io/docs/products/kafka/concepts/acl
https://api.aiven.io/doc/#tag/Service:_Kafka/operation/ServiceKafkaNativeAclAdd

[mortenlj]

Gitt det som står over så kan det hende dette trenger et skikkelig initiativ med løsningsforslag og litt mer tid, så tar den tilbake til tenkeboksen for å shape på nytt.