Как перенаправить журналы из блоков данных Azure в другое место назначения? - PullRequest
0 голосов
/ 02 марта 2019

Мы могли бы использовать некоторую справку о том, как отправлять журналы Spark Driver и рабочих в место назначения вне блоков данных Azure, например, например, хранилище BLOB-объектов Azure или поиск Elastic с использованием Eleastic-beats.

При настройке нового кластератолько опции get get log log: dbfs, см.

https://docs.azuredatabricks.net/user-guide/clusters/log-delivery.html.

Любые пожелания приветствуются, спасибо!

1 Ответ

0 голосов
/ 03 марта 2019

Может быть полезно следующее:

Сначала вы указываете местоположение dbfs для журналов драйверов и рабочих файлов Spark.
https://docs.databricks.com/user-guide/clusters/log-delivery.html

Затем вы создаете точку монтирования, котораясвязывает вашу папку dbfs с контейнером хранилища BLOB-объектов.https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html#mount-azure-blob-storage-containers-with-dbfs

Надеюсь, эта помощь!

...