Я работаю над записью искровых событий и журналов приложений в хранилище BLOB-объектов. Я использую аналогичный путь для записи искровых событий и журналов приложений в хранилище BLOB-объектов. Например: spark.eventLog.dir = wasb://<containerName>@<storageAccountURI>/logs и application log dir = wasb://<containerName>@<storageAccountURI>/logs/app/.
Поскольку я использую хранилище BLOB-объектов, мне нужно создать каталог root с файлом-заполнителем, иначе действие записи не будет выполнено. Но я не создаю файл-заполнитель.
Теперь в случае пакетного задания, когда искровый драйвер работает в кластерном режиме, он работает. Потому что мое ведение журнала приложения заботится о создании папок. В то время как в случае интерактивного задания, которое выполняется в клиентском режиме, происходит сбой, поскольку я не создаю файл-заполнитель.
Я хотел бы понять, как искра генерирует событие в случае интерактивного или пакетного задания. Я чувствую, что время генерации события вызывает эту проблему.