Могу ли я использовать бэкэнд состояния flink rocksDB с локальной файловой системой?

Question

Я изучаю использование внутреннего состояния Flink rocksDb, документация предполагает, что я могу использовать обычную файловую систему, такую ​​как: file:///data/flink/checkpoints, но код javadoc упоминает здесь только hdfs или s3.

IИнтересно, можно ли использовать локальную файловую систему с бэкендом flink rocksdb, спасибо!

Документы Flink: https://ci.apache.org/projects/flink/flink-docs-stable/ops/state/state_backends.html#the-rocksdbstatebackend

Код Flink: https://github.com/apache/flink/blob/master/flink-state-backends/flink-statebackend-rocksdb/src/main/java/org/apache/flink/contrib/streaming/state/RocksDBStateBackend.java#L175

Answer 1

Нет, вы не должны этого делать!

С помощью этого пути вы настраиваете каталог, в который Flink записывает контрольные точки. Контрольная точка - это копия состояния вашего приложения, которая используется для восстановления состояния приложения в случае сбоя, например сбоя компьютера. Путь должен указывать на постоянное и удаленное хранилище, чтобы иметь возможность считывать контрольную точку в случае, если процесс был остановлен или машина погибла. Если контрольная точка была записана в локальную файловую систему компьютера, на котором произошел сбой, вы не сможете восстановить задание и восстановить состояние.

Однако вы можете записать контрольную точку в локальный путь, если этоточка монтирования NFS (или любого другого удаленного хранилища), которая также может быть смонтирована с других машин.