Написание вывода Map-Reduce с пользовательским префиксом имени файла для Amazon S3 - PullRequest
0 голосов
/ 21 июня 2019

Выходные папки, кроме имен по умолчанию, не создаются в корзине S3.Программа редуктора использует org.apache.hadoop.mapreduce.lib.output.MultipleOutputs, для изменения имен выходных файлов редуктора, поэтому я смог передать собственный префикс для имен выходных файлов.Когда папка вывода задания MR представляет собой корзину S3, я не вижу выходные файлы с пользовательскими именами. Однако, когда та же папка вывода задания является папкой hdfs, я вижу все имена файлов с пользовательским префиксом.

Есть ли способ настроить префикс настройки выходного имени файла для Amazon S3как это можно сделать для HDFS?

...