Как интегрировать рабочую область анализа журналов с записной книжкой Azure Databricks для наблюдения за записной книжкой Databricks (Custom logging)?

Question

Я создал записные книжки в рабочей области Azure для блоков данных и хочу отслеживать свои записные книжки с помощью рабочей области Log Analytics, но я не смог увидеть какие-либо метрики журналов для записной книжки блоков данных, потому что блоки данных являются сторонним инструментом. Также как мы создаем мониторинг метрик для базы данных Azure SQL, используя аналитику журналов с аналитикой SQL. После ознакомления с несколькими документами и блогами я узнал, что в аналитике журналов нет встроенной функции для мониторинга записной книжки блоков данных, я должен написать собственный код (используя Python) для записной книжки мониторинга блоков данных. Команда, не могли бы вы помочь мне здесь, если кто-то реализовал то же самое и есть идея? Я перешел по этой ссылке:

https://docs.microsoft.com/en-us/azure/databricks/administration-guide/account-settings/azure-diagnostic-logs

Answer 1

Пробовали ли вы шаги, упомянутые в этом документе: « Diagnosti c вход в систему Azure Databricks »?

Настроив параметр Diagnosti c, вы можете настроить сбор следующих данных:

{ dbfs, clusters, accounts, jobs, notebook,ssh, workspace, secrets, sqlPermissions, instancePools}

STEP1: Убедитесь, что вы настроили настройку диагностики c.

STEP2: После настройки параметра диагностики c вы можете go зарегистрировать рабочую область Analytics => Журналы => Управление журналами => Вы найдете Блокнот данных => Запустите ниже запрос, чтобы получить подробную информацию о ноутбуке.

DatabricksNotebook 

| where TimeGenerated > ago(24h) 

| limit 10

STEP3: Вы можете выбрать любой из результатов и проверьте все детали относительно ноутбука.