у нас есть блокнот данных, который работает через кластер ADFv2 по требованию, который завершается записью байтов в файл со следующим кодом Python:
f = open(location, 'wb')
f.write(my_byte_data)
f.close()
, что мы наблюдаем, это то, что когда файлыэто особенно большой (более 75 МБ +) кластер, который они запускают при разминировании до фактического завершения f.close ()!
это, конечно, означает, что мы получаем поврежденные / неполные выходные файлы
мы пишем в хранилище BLOB-объектов, не используя Python Azure Storage SDK, а вместо этого монтируем напрямую, что, возможно, может быть проблемой, я думаю?
Единственный способ, которым мы можем сейчас обойти это, - это добавить ожиданиедо конца работы
import time
time.sleep(60)
есть идеи?