Как обрабатывать строки в файле в конкретном ведомом hadoop?

Question

У нас есть собственный формат ввода, расширяющий FileInputFormat, который генерирует отдельное разбиение для каждой строки во входном файле. Этот файл содержит имя хоста, на котором должен работать маппер, обрабатывающий эту строку.

Как мне этого добиться?

Это необходимо, так как маппер читает данные из БД, и я хочу запустить маппер на той же машине, что и сервер БД.

Answer 1

Невозможно без написания собственной реализации в базе кода Hadoop.

Если вы пытаетесь добавить дополнительные данные к входным данным карты, передайте их в качестве аргумента в задание, после чего вы сможете добавить их в карту () и объединить их с входными данными.