Как получить runID или processid в Azure DataBricks?

Question

Я пытался получить RUNID или идентификатор процесса в DataBricks. И что я подразумеваю под RUNID или идентификатором процесса, так это генерировать уникальный идентификатор при каждом запуске ноутбука. Ну, я попробовал несколько методов, но они дают идентификатор сеанса, а не идентификатор запуска. Вот они:

dbutils.notebook.entry_point.getDbutils().notebook().getContext().tags().apply('sessionId')

я пытался вызвать bash env

%sh
ps -fe

приведенный ниже код возвращает ноль:

%scala
dbutils.notebook.getContext.rootRunId

, так что вы можете, пожалуйста помогите мне через это.

Спасибо,

Answer 1

Примечание: Отображаются только задания, запущенные исполнителем Databricks с использованием идентификатора задания, указанного на этапе. Идентификатор задания одинаков для всех экземпляров задания.

Вы можете найти идентификатор запуска для конкретного экземпляра в журнале сборщика данных.

Исполнитель Databricks также записывает идентификатор выполнения задания в запись события. Чтобы вести учет всех идентификаторов прогонов, включите генерацию событий для этапа.

Существуют различные способы получения идентификатора выполнения для любого заданного задания:

Azure Портал Databricks (интерфейс пользователя): Нажав на вкладку Jobs, вы можете просмотреть все созданные вами задания.

Выберите любое задание, чтобы получить подробный идентификатор запуска для каждого запуска.

Azure Портал (пользовательский интерфейс) Использование языка запросов Kusto: Если вы настроили диагностику c доставки журналов, вы можете использовать KQL-запросы для получения JobID и RunID:

API данных REST API : Вы можете использовать приведенную ниже команду REST API для получения списка заданий и запусков.

curl "https://centralus.azuredatabricks.net/api/2.0/jobs/runs/list" -X GET -H "Authorization: Bearer dapia08sjflksjs9jfra6a34a"

Надеюсь, это поможет.