Укажите Hadoop mapreduce для ввода ключей напрямую (не из файла)

Question

Я хотел бы сгенерировать некоторые данные, используя mapreduce. Я хотел бы вызвать задание с одним параметром N и вызвать Map с каждым целым числом от 1 до N, один раз.

Очевидно, я хочу Mapper<IntWritable, NullWritable, <my output types>> ... это просто. Но я не могу понять, как генерировать входные данные! Есть ли InputFormat я не вижу где-нибудь, что позволяет мне просто получить ключи + значения из коллекции напрямую?

Answer 1

Вы хотите, чтобы каждый картограф обрабатывал все целые числа от 1 до N? Или вы хотите распределить обработку целых чисел от 1 до N по параллельно работающим картостроителям?

Если первое, я думаю, вам нужно создать собственный InputFormat. Если последнее, самый простой способ - создать текстовый файл с целыми числами от 1 до N, каждое целое число в одной строке, и использовать LineInputFormat.