Скачать файлы (блоки данных / драйвер)

Question

Я пытался загрузить файл Excel, сгенерированный с помощью pandas, но не могу его найти ... Я знаю, что он находится в файле: / databricks / driver, но я могу его скачать ...

Можно ли перенести его в хранилище или перенести на локальную машину?

Я пробовал, но это не сработало.

dbutils.fs.cp('file:/databricks/driver/test.xlsx','dbfs:/mnt/datalake/test.xlsx')

Answer 1

Примечание: Используя Databricks GUI, вы можете загрузить полные результаты (максимум 1 миллион строк).

ИЛИ

Использование интерфейса командной строки Databricks:

Чтобы загрузить полные результаты (более 1 миллиона), сначала сохраните файл в dbfs, а затем скопируйте файл на локальный компьютер с помощью CLI блока данных следующим образом.

dbfs cp "dbfs: /FileStore/tables/AA.csv" "A: \ AzureAnalytics"

Ссылка: Файловая система Databricks

Интерфейс командной строки DBFS (CLI) использует API DBFS для предоставления простого в использовании интерфейса командной строки в DBFS. Используя этот клиент, вы можете взаимодействовать с DBFS, используя команды, аналогичные тем, которые вы используете в командной строке Unix. Например:

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

Справка: Установка и настройка Azure CLI