состояние трансляции flink не сохраняется в rocksdb, когда произошла контрольная точка? - PullRequest
0 голосов
/ 18 марта 2019

Нет бэкэнда состояния RocksDB: состояние широковещания сохраняется в памяти во время выполнения, и подготовка памяти должна выполняться соответствующим образом.Это относится ко всем государствам-операторам.

выше с официального сайта Flink.Означает ли это, что широковещательное состояние не будет храниться в rocksdb?даже когда контрольно-пропускной пункт случился?

1 Ответ

1 голос
/ 18 марта 2019

Не беспокойтесь, широковещательное состояние (как и все состояние оператора) включено в контрольные точки Flink.Но его рабочее состояние находится в памяти (в куче JVM) независимо от выбора внутреннего состояния.Только состояние ключа может храниться в RocksDB.

RocksDB - это локальное встроенное хранилище ключей / значений, которое сохраняет свое рабочее состояние на локальном диске с кэшем вне кучи.Если вы используете RocksDB в качестве бэкэнда состояния, то при возникновении контрольных точек состояние оператора в куче и состояние ключа из RocksDB будут скопированы в контрольную точку.Контрольные точки не хранятся в RockDB, а вместо этого записываются в распределенную файловую систему вне узла для обеспечения надежности.

...