Spark отправляет файл / папку узлам во время выполнения - PullRequest
0 голосов
/ 20 ноября 2018

Есть ли способ отправить файл / папку во время выполнения всем исполнителям.

У меня есть операции, требующие от драйвера создания некоторых индексов (файлов) в папке.Затем я хотел бы запросить эти индексы параллельно на всех узлах.Таким образом, я хотел бы распределить папку по всем узлам.sc.addFile () не будет работать, так как он не работает с локальной папкой в ​​кластерной среде.

Есть ли другая альтернатива, кроме использования HDFS или некоторого общего sotrage?

...