У меня есть логи, приходящие в 1 тему Kafka, я их анализирую и помещаю в 2 отдельные темы Kafka (по 10 разделов в каждой), после чего я помещаю их вasticsearch через приемник kafka -astic, используя 10 заданий.
Но я сталкиваюсь с серьезным лагом в 10 минут для 30 минут непрерывных журналов, который, в свою очередь, увеличивается для большего количества журналов.
Пожалуйста, предложите сократить разрыв.
Ps. Я проверил, что мой синтаксический анализатор работает хорошо и быстро помещает данные в 2 темы.
Также я использую последнюю версиюasticsearch 6 и kafka.