Если задание Databricks занимает более 1 часа, оно прекращает запись в ADLS. Вероятно, это связано с тем, что срок действия маркера доступа истек.
Это означает, что некоторые большие наборы данных не могут быть записаны на диск, потому что только запись уже занимает более часа. В других случаях можно завершить sh запись за один час, если сначала выполнить некоторые вычисления, а затем только затем записать окончательный результат на диск.
Будет оценен любой возможный обходной путь для этого