Невозможно получить доступ к файлам через локальный файловый API для блоков данных

Question

Я пытаюсь получить доступ к небольшому текстовому файлу, хранящемуся непосредственно в dbfs, используя локальный файл API .

Я получаю следующую ошибку.

Нет такого файла или каталога

Мой код:

val filename = "/dbfs/test/test.txt"
for (line <- Source.fromFile(filename).getLines()) {
  println(line)
}

В в то же время я могу без проблем получить доступ к этому файлу с помощью dbutils или загрузить его в RDD через контекст spark.

Я попытался указать путь, начинающийся с dbfs:/ или /dbfs/ или только с тестовой папки name, оба в Scala и Python, каждый раз получая одну и ту же ошибку. Я запускаю код из записной книжки. Это какая-то проблема с конфигурацией кластера?

Answer 1

Убедитесь, что в вашем кластере включена сквозная передача учетных данных. Если это так, локальный файл Api недоступен.

https://docs.azuredatabricks.net/data/databricks-file-system.html#local -file-apis