Скопируйте файл из dbfs в сценарий инициализации кластера

Question

Я хочу опробовать сценарии инициализации кластерной области в кластере Azure Databricks. Я изо всех сил пытаюсь увидеть, какие команды доступны.

По сути, у меня есть файл на dbfs, который я хочу скопировать в локальный каталог /tmp/config, когда кластер раскручивается.

Итак, я создал очень простой bash-скрипт:

#!/bin/bash
mkdir - p /tmp/config
databricks fs cp dbfs:/path/to/myFile.conf /tmp/config

Не удается развернуть кластер с помощью «Cluster прекращено. Причина: ошибка инициализации сценария». Просматривая журнал в dbfs, я вижу ошибку

bash: line 1: databricks: command not found

OK, поэтому команда databricks недоступна. Это команда, которую я использую в локальном bash для копирования файлов из и в dbfs.

Какие еще команды доступны для копирования файла из dbfs? И более общий: какие команды действительно доступны?

Answer 1

По умолчанию CLI блоков данных не установлен в кластере блоков данных. Вот почему вы видите это сообщение об ошибке bash: line 1: databricks: command not found.

. Для этого вы должны использовать команды dbutils , как показано ниже.

dbutils.fs.mkdirs("/tmp/config")
dbutils.fs.mv("/configuration/proxy.conf", "/tmp/config")

Ссылка: Утилиты базы данных

Надеюсь, это поможет.