Будет ли экземпляр Аккумулятора для каждой микропакета или один единственный экземпляр для всех микропакетов, работающих параллельно при использовании spark.streaming.concurrentJobs> 1 ?
Я собираю filePaths вaccumulator<String> и удаление filePaths в конце микропакета путем считывания значения / значений аккумулятора в зависимости от конкретного случая использования.Путь к файлам, относящийся ко второй микропакету, который работал параллельно с первой микропакетом, также был удален в конце первой микропакета, что вызвало проблемы во второй микропакете.
Означает ли это, что в одном аккумуляторе хранятся значения из всех запущенных микропакетов?