Flink: запросы относительно контрольной точки Flink и точки сохранения

Question

Ниже приведены мои запросы относительно Flink.

1. Можем ли мы хранить контрольные точки и точки сохранения для внешних структур данных, таких как RockDB et c. Или это просто состояние, в котором мы можем хранить в RockDB et c.
2. Влияет ли бэкэнд-состояние на проверку чека? Если да, то каким образом?
3. Что такое API StateProcessor? Связано ли это непосредственно с сохраняемыми и контрольными точками, которые мы храним? Какие дополнительные преимущества дает API StateProcessor, что обычная точка сохранения не может дать?

На вопрос 3 ответьте как можно более наглядно. Я заинтересован в изучении StateProcessor API, но хотел бы глубоко понять его применение, а также узнать, в каком сценарии ios он необходим.

Answer 1

1. Контрольные точки и точки сохранения могут быть записаны только в хранилище, которое удовлетворяет требованиям для абстракции файловой системы Flink . Вы хотите использовать что-то с долговечностью и избыточностью, например, S3 или HDFS. RocksDB не поддерживается в качестве хранилища данных для контрольных точек или точек сохранения.

2. Бэкенд состояния участвует в проверке точек, а контрольные точки записываются в формате state-backend-Speci c. Наиболее существенное различие между бэкэндами состояния на основе кучи и на основе rockdb в отношении контрольных точек заключается в том, что только бэкэнд состояния RocksDB поддерживает инкрементную контрольную точку.

3. API процессора состояний позволяет писать приложения, которые может читать и записывать точки сохранения (и внешние контрольные точки). Это полезно для проверки состояния ваших приложений для анализа или отладки, выполнения миграции состояния и начальной загрузки для новых приложений, чтобы привести несколько примеров.