Spark: Как записать файлы в s3 / hdfs от каждого исполнителя

Question

У меня есть сценарий использования, когда я запускаю некоторый код моделирования для каждого исполнителя и хочу сохранить результат в s3 / hdfs непосредственно перед тем, как дождаться, пока все исполнители завершат sh задачи.

Answer 1

API записи в фрейм данных работает так же, как вы намереваетесь использовать здесь. Если вы записываете фрейм данных в hdfs, исполнители будут независимо записывать данные в файлы, а не выводить их все в драйвер, а затем выполнять операцию записи.

Перейдите по этой ссылке , чтобы прочитать топи c.