У меня есть набор тестов, использующих встроенную библиотеку Kafka .
Они запускают топологию (несколько сложную, с несколькими хранилищами состояний и сеансом Windows). Тесты используют темы вывода, чтобы убедиться, что сгенерированные данные верны.
Поскольку это встроенная служба (а не TopologyTestDriver, который я также использую в других тестах и не имеет этих проблем), они нуждаются в определенные задержки для того, чтобы дождаться, пока топология создаст данные (т.е. хранилища для потребления и другие темы для чтения из них, и т. д. c.), а затем, в конечном итоге, окажутся в темах перед проверкой для данных выполнено.
Однако при обновлении с Kafka 2.3 до 2.5 некоторые из моих тестов терпят неудачу, потому что данные доставляются в темы дольше. Итак, увеличение этих задержек даст время топологии до
Какое изменение между версиями Kafka 2.3 и 2.5 могло повлиять на это? Я просмотрел комментарии к обновлению и не вижу, в чем может быть причина.
И более того - какие настройки я могу использовать, чтобы контролировать, насколько быстро эти сообщения создаются и читаются, и ускорять топологию на go? Я пробовал commit.interval.ms, но это не помогает.