Как прочитать файл в Spark (со scala), используя новый File ()?

Question

Я новичок в искре, и у меня есть к вам вопрос. Я хочу прочитать файл. Я вижу учебник, и они говорят, что сделать это:

val rib = spark.read.format("csv").option("header", "true").load("<a path to the file>")  

Однако (как мне любопытно;)) я попытался сделать эту классическую строку (которую я использовал ранее в программе scala):

val file:File = new File("<same path>").

Первая строка работает (я вижу данные с помощью show ()), но вторая говорит, что файл не существует. Однако это тот же путь.

Если кто-нибудь может сказать мне, почему?

Спасибо и хорошего дня.

Answer 1

Очень часто, когда Spark является частью стека Hadoop, используемой Sparks файловой системой по умолчанию является HDFS. Файловая система по умолчанию для Spark может быть настроена IIRC.

new File однако будет ссылаться на вашу локальную файловую систему (скорее всего, именно на драйвер). Это будет означать, что ваш код и работа не распространяются, а все выполняется локально.