Согласно моему опыту с журналированием Kubernetes, я бы предложил вам go со стеком EFK (Fluentd / flunetbit -> Kafka -> Logstash / flunetd -> Elasticserach -> kibana), у этого есть начальный проблемы во время установки, но после того, как это будет запущено и работает, оно будет похоже на сверхмасштабируемую систему, в которой вам не нужно беспокоиться об объеме журналов, которые вы отправляете.
Другой подход, который вы можете использовать, - это доставка журналов напрямую. от fluentd / fluentbit / filebeat до Elasticsearch. Недостатком этого подхода является то, что если у ES есть какая-то проблема, то вы можете потерять свои логи.
Надеюсь, это поможет.