Добавить весь текст файла как ключ карты в Hadoop - PullRequest
0 голосов
/ 20 июля 2011

Я ищу способ загрузить весь текст файла в мою карту. Ни одна строка за раз, как TextInputFormat делает. Так что, когда я делаю value.toString в моей карте, он дает мне весь ввод для работы. Спасибо

Ответы [ 2 ]

0 голосов
/ 20 июля 2011

Я хотел бы указать путь к файлу для сопоставления, и тогда он будет свободен для загрузки полностью или выполнить какую-то потоковую обработку.

0 голосов
/ 20 июля 2011

Вы должны поместить каждую строку в StringBuilder, пока не достигнете конца файла. Или вы переопределяете свой собственный RecordReader, который предоставляет эту функцию. Но я бы не рекомендовал это.

...