Я пишу файлы деталей в S3 из искрового приложения. Файлы деталей записываются во вложенной структуре каталогов путем переопределения generateFileNameForKeyValue в MultipleTextOutputFormat. Я хочу иметь возможность получить список всех файлов частей в драйвере, чтобы я мог сохранить в базе данных или отправить собственное сообщение. Есть ли в Spark что-нибудь для этого? Сначала я смотрел на аккумуляторы, но мне показалось, что они не для этого предназначены. В документации Spark также есть предупреждение о накопителях, которые могут выйти из строя, но задание все равно выполняется. Это может привести к отсутствию данных.