Spark читать CSV-файл, представленный --files

Question

Я отправляю задание Spark на удаленный спарк-кластер на пряже и включаю файл в spark-submit --file Я хочу прочитать отправленный файл как фрейм данных.Но я не совсем понимаю, как это сделать, не помещая файл в HDFS:

spark-submit \
--class com.Employee \
--master yarn \
--files /User/employee.csv \
--jars SomeJar.jar

spark: SparkSession = // create the Spark Session
val df = spark.read.csv("/User/employee.csv")

Answer 1

spark.sparkContext.addFile("file:///your local file path ")

Добавьте файл, используя addFile, чтобы он мог быть доступен на ваших рабочих узлах.Поскольку вы хотите читать локальный файл в режиме кластера.

Возможно, вам потребуется внести небольшие изменения в соответствии с scala и используемой версией spark.

Answer 2

employee.csv находится в рабочем каталоге исполнителя, просто читая его следующим образом:

val df = spark.read.csv("employee.csv")