Я определил конвейер, который читает тему Кафки, выполняет некоторые шаги и публикует результаты в теме вывода Кафки.
Все было хорошо, когда я тестировал его в режиме прямого бега.
Но, когда я подаю заявку на луч для зажигания, я чувствую себя немного странно:
- Задержка планирования увеличивается.
После длительного исследования я выяснил, что продолжительность партии слишком мала (500 миллисекунд).
По этой ссылке
Параметры конвейера для Spark Runner
Я добавил эту опцию в spark-submit:
- batchIntervalMillis = 2000
Теперь все нормализовалось:
Не стесняйтесь поделиться своим мнением.
С Уважением,
Али