Apache flink: отложенная загрузка из точки сохранения для бэкэнда RocksDB

Question

Мы хотим использовать Apache Flink с бэкэндом RocksDB (HDFS) для обработки потоков с сохранением состояния. Тем не менее, наше состояние приложения (состояние ключа) будет иметь порядок терабайт.

Насколько я понимаю, когда мы восстанавливаем задание из точки сохранения, все данные о состоянии оператора будут отправлены из местоположения точки сохранения на HDFS для каждого из диспетчеров задач. Если состояние порядка терабайт, то каждое развертывание приведет к очень длительному времени простоя, если все это состояние необходимо будет передать.

Я хотел бы понять, если в случае RocksDB это возможно настроить отложенную загрузку, при которой состояние ключа извлекается из HDFS по мере необходимости, а затем кэшируется на локальном диске.

Спасибо!

Answer 1

Если вы используете RocksDB и сконфигурируете свой кластер Flink для использования локального восстановления, о котором вы можете прочитать здесь , то копия файлов RocksDB будет храниться на локальном диске каждого диспетчера задач, и восстановление будет почти мгновенным (за исключением любых новых узлов, которые должны быть ускорены).

Однако это не относится к точкам сохранения, поскольку этот механизм требует, чтобы добавочные моментальные снимки действительно работали хорошо.

Возможно, вы захотите прочитать всю эту страницу документов, а это примерно о том, как настраивать и настраивать приложения, использующие большое количество состояний .