Databricks предоставляет журналы уровня кластера только в пользовательском интерфейсе или в API. Есть ли способ настроить spark или log4j в модулях данных, чтобы мы получали журналы уровня выполнения / задания?
Вы можете найти руководство по мониторингу Azure Databricks в Azure центре архитектуры, объясняющее концепции, используемые в этой статье - мониторинг и вход в систему Azure Databricks с Azure Log Analytics и Grafana .
Чтобы обеспечить полный сбор данных, мы объединяем библиотеку мониторинга Spark с настраиваемой конфигурацией log4j.properties. Сборка библиотеки мониторинга для Spark 2.4 и установка в Databricks автоматизированы с помощью сценариев, упомянутых в руководстве и доступных по адресу https://github.com/algattik/databricks-monitoring-tutorial/.