Где хранятся контрольные точки по умолчанию в Apache Flink? - PullRequest
Новая
       28

Где хранятся контрольные точки по умолчанию в Apache Flink?

0 голосов
/ 13 мая 2018

Я новичок в Apache Flink, и я изучал примеры Apache Flink.Я обнаружил, что в случае сбоя Flink имеет возможность восстановить потоковую обработку с контрольной точки. 

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.enableCheckpointing(10000L);

Теперь мой вопрос: где Flink хранит контрольную (ые) точку (и) по умолчанию?

Любая помощь приветствуется!

Ответы [ 2 ]

0 голосов
/ 04 июня 2018

Конечным состоянием по умолчанию является MemoryStateBackend.Означает, что он сохраняет данные в полете в JVM диспетчера задач и проверяет их в куче мастера (менеджера заданий).Это хорошо для локальной отладки, но вы потеряете свои контрольные точки, если задание прекратится.

Обычно для производственного использования FsStateBackend с путем к внешним файловым системам (HDFS, S3 и т. д.).Он сохраняет данные о рейсах в JVM диспетчера задач и проверяет их во внешней файловой системе.

как 

env.setStateBackend(new FsStateBackend("file:///apps/flink/checkpoint"));

При желании можно также настроить небольшой метафайл, указывающий на хранилище состояний для высокой доступности.

0 голосов
/ 14 мая 2018

Flink представляет абстракцию StateBackends.StateBackend отвечает за локальное управление состоянием на рабочем узле, а также за проверку (и восстановление) состояния в удаленном местоположении.

По умолчанию StateBackend - MemoryStateBackend.Он поддерживает состояние в куче JVM рабочих (TaskManager) и проверяет его на куче JVM мастера (JobManager).Следовательно, MemoryStateBackend не требует дополнительной настройки или внешней системы и хорош для локальной разработки.Однако он, очевидно, не масштабируется и подходит для любой серьезной рабочей нагрузки.

Flink также предоставляет FSStateBackend, который хранит локальное состояние также в куче JVM рабочих и проверяет его на удаленную файловую систему (HDFS)., NFS, ...).Наконец, есть также RocksDBStateBackend, который хранит состояние во встроенном хранилище значений ключей на диске (RocksDB), а также контрольные точки для удаленной файловой системы (HDFS, NFS, ...).

...