Использование webHDFS через Spark / Scala

Question

как я могу получить доступ к webHDFS с помощью spark.

Постановка проблемы: «Необходимо получить файлы из локальной системы в HDFS, а затем обработать их в Spark. Хотите пропустить SFTP.»

Answer 1

Предоставление sparkContext:

 val rdd : RDD[String] = sparkContext.textFile(path)
 rdd.saveAsTextFile("hdfs://[url:path]")

Обратите внимание, что ваш исполнитель Spark должен иметь доступ к вашей "локальной" файловой системе