Максимальная длина линии потоковой передачи Hadoop - PullRequest
3 голосов
/ 25 июня 2010

Я работаю над потоковым рабочим процессом Hadoop для Amazon Elastic Map Reduce, который включает сериализацию некоторых двоичных объектов и их потоковую передачу в Hadoop. Hadoop имеет максимальную длину строки для потокового ввода?

Я начал просто тестировать с большими и большими линиями, но решил, что сначала спрошу здесь.

1 Ответ

5 голосов
/ 29 июня 2010

Кажется, нет никаких ограничений на длину строки. После того как я задал вопрос, я писал код, который сериализует двоичные объекты, кодирует их в base64, а затем помещает их в поток для обработки. В результате некоторые строки довольно длинные. Hadoop жует прямо без нареканий.

...