Предположим, я развернул автоматизированный кластер блоков данных с настраиваемыми параметрами, используя задания блоков данных и API кластера. Во время запуска задания я отправляю сценарий python, который необходимо выполнить в указанном кластере. Однако любая запись, сделанная в этом скрипте с помощью logging.info или чего-то еще, не возвращается в мой проект. Я получу только журналы сценария задания, в котором я даю команду запустить кластер и начать задание, но журналов в сценарии, отправляемом в указанный кластер, нигде не найти.
Кто-нибудь есть решение для меня? Дайте мне знать, если вам понадобится увидеть какой-либо код, но это скорее концептуальная проблема.