Мне нужно передать конфиденциальную информацию в задания искры через аргументы задания, и мне нужен способ отключить сохранение журналов искры и аргументов задания в любом источнике.
В настоящее время у меня есть собственный регистратор, перенаправляющий журналы в собственную базу данных, но теперь мне нужна помощь, чтобы понять, где хранятся журналы искр и аргументы задания, а также как отключить или перенаправить эту информацию в другом месте. Из https://docs.azuredatabricks.net/clusters/configure.html#cluster-log-delivery я понимаю, что журналы сохраняются в указанном местоположении dbfs. Я также видел в Как перенаправить журналы из блоков данных Azure в другое место назначения , что возможно перенаправить эти журналы, но в идеале я бы не хотел этого делать. Как отключить их сохранение в любом месте?
А как насчет аргументов задания? Как отключить их, хранящиеся в dbfs или где-либо еще?
Сохраняются ли аргументы заданий / журналы искров в любом месте, кроме dbfs по умолчанию?
Спасибо за любые рекомендации!