Контрольная точка Flink с S3, проблема с сетью - PullRequest
Новая
       9

Контрольная точка Flink с S3, проблема с сетью

0 голосов
/ 06 июня 2018

У меня есть кластер Flink, и я использовал контрольную точку через S3. Каждую минуту я получаю снимок текущего состояния в S3, и это занимает 20 секунд, но снимок использует всю пропускную способность сети (1 Гбит / с), так что моя работа получает20 секунд задержки каждую минуту.

Мой вопрос: есть ли способ ограничить пропускную способность контрольной точки или отключить полное использование сети контрольной точкой или другим решением?

Thx

1 Ответ

0 голосов
/ 06 июня 2018

Если вы этого еще не сделали, я рекомендую вам использовать инкрементную контрольную точку (с RocksDB).Эта функция была добавлена ​​в Flink 1.4 и оказалась очень полезной для приложений Flink с большим состоянием.

По умолчанию добавочная контрольная точка отключена.Чтобы включить его, передайте true конструктору, например, 

RocksDBStateBackend backend =
    new RocksDBStateBackend(filebackend, true);

или установите для state.backend.incremental значение true в файле конфигурации.

Это не будет напрямую отвечать на ваши вопросы -как регулировать контрольную точку, чтобы она не насыщала сеть, но, тем не менее, должна помочь.

Также обратите внимание, что Amazon рекомендует использовать Elastic Network Adapter в приложениях, интенсивно использующих S3.Это обеспечивает пропускную способность до 25 Гбит / с.

Для получения дополнительной информации о работе с большим состоянием в Flink вы можете обратиться к

...