Почему нет режима завершения для приемника файлов? - PullRequest
0 голосов
/ 29 ноября 2018

Рассматривая документацию Spark о различных доступных выходных приемниках для структурированной потоковой передачи, я удивляюсь, почему не поддерживается полная запись (то есть агрегированные результаты потоковой передачи) в файлы?Какой сейчас обходной путь?

(так как я не смог найти поддержки таблиц в Stackoverflow, даже если бы не стандартные теги таблиц html, я надеюсь, что ссылка остается активной дольше)

Любая помощь высоко ценится!

1 Ответ

0 голосов
/ 08 декабря 2018

Запись в HDFS позволяет добавлять содержимое только в конец файла, что не позволяет включить режим обновления, а также режим завершения (который требует перезаписи значения для того же ключа).Так что нет обходного пути.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...