Spark Structured Streaming не позволяет двум заданиям структурированной потоковой передачи записывать данные в один и тот же базовый каталог, что возможно при использовании dstreams.
Поскольку каталог _spark_metadata будет создан по умолчанию для одного задания, второе задание не может использовать тот же каталог, что и базовый путь, так как каталог _spark_metadata уже создан другим заданием. Это исключение.
Есть ли обходной путь для этого, кроме создания отдельных базовых путей для обоих заданий.
Можно ли создать каталог _spark_metadata где-нибудь еще или отключить без потери данных.
Если бы мне пришлось изменить базовый путь для обоих заданий, то вся моя инфраструктура будет затронута, поэтому я не буду Я не хочу этого делать.