У меня есть проект под управлением Spark 2.2.1 Структурированная потоковая передача, с вычислением с использованием mapGroupsWithState.
Локальный запуск проекта с помощью
spark-submit --class com.project.DataEnrichment --master local[4] target/scala-2.11/assembly-project.jar локальная контрольная точкаLocation содержит следующие папки:
- commits
- offsets
- sources
- state
Но в нашей среде докеров в checkpointLocation отсутствует папка state.С точно таким же запущенным приложением.
Я пытаюсь найти способ сохранить состояние вне Docker, чтобы можно было обновить приложение без сброса состояния, но сначала я должен найти его,
Среда докера использует образы искры из gettyimages/spark:2.2.1-hadoop-2.7
Есть ли логическая причина, по которой среда докера не сохраняет состояние в местоположении контрольной точки?И это настраивается?