Я использую Spark Structured Streaming of Spark 2.4 и запускаю несколько долгосрочных потоковых заданий.
Через некоторое время появилась проблема «org.apache.hadoop.hdfs.BlockMissingException: Не удалось получить блок».
Я считаю, что файлы контрольных точек в checkpointLocation имеют коэффициент репликации 1. Например:
30,8 G 30,8 G / TMP / TEST_STRUCTURED / CHECKPOINT / TEST / state
Но мой hdfs-site.xml о dfs.replication - 3.
Итак, как я могу изменить коэффициент репликации контрольной точки на 3? Спасибо.