Какие шаги можно предпринять, чтобы уменьшить задержку в конвейере потоковой обработки, который использует Kafka, Flink on Mesos?
Одна особенность, которая, как мы выяснили, оказала большое влияние и является специфичной для Flink, была установка времени ожидания сетевого буфера .
Используя 0 вместо значения по умолчанию (100), простое задание (одиночный ввод / вывод со скользящим окном) может перейти от медианной задержки от 15 мс до 1 мс. Это очень грубые цифры, но вы поняли.