Как создать файл журнала (путь должен быть ADLS) в pyspark блоков данных - PullRequest
0 голосов
/ 28 июня 2019

Я написал работу pyspark в блоках данных. Моя цель - сохранить информацию, исключения и ошибки в лог-файл. Этот файл журнала должен присутствовать в ADLS.

Может ли кто-нибудь дать мне руководство по этому вопросу.

1 Ответ

0 голосов
/ 28 июня 2019

Вы можете настроить журналы для отправки в местоположение DBFS, указав его в дополнительных настройках на странице сведений о кластере.

На странице кластера нажмите «Изменить» и разверните «Дополнительно».Опции.Есть вкладка Logging, где вы можете указать, куда вы хотите вести журналы.Databricks создаст папку в этом месте на основе идентификатора кластера.

enter image description here

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...