У меня довольно много записных книжек, написанных для Databricks. Некоторые из них доступны по запросу, и некоторые из них предназначены для потоковой передачи. Записные книжки по запросу выполняются с помощью заданий.
В любом случае Databricks, по моим наблюдениям, ведется слишком много журналов и происходит G C, что также приводит к большим расходам на учетные записи хранилища как частые перезапуски заданий.
Есть ли способ уменьшить это количество журналов и уменьшить G C?