У меня есть задание структурированной потоковой передачи, работающее с Кафкой в качестве источника, выводящее файлы orc в режиме добавления. Пока работа выполняется, я каждый раз перемещаю файлы (хочу) в папку hdfs. Перемещая файлы, работа с искрой будет когда-либо падать или приводить к плохим результатам в результате? Когда спарк пишет файл, будет ли он когда-либо снова смотреть на файл? Я хочу выполнить перемещение файлов, но не хочу никоим образом прерывать искру.