Записи отсутствуют в o / p при установке numReduceTasks = 0 в потоковой передаче Hadoop - PullRequest
0 голосов
/ 16 января 2012

Как уже упоминалось в заголовке, не могли бы вы предложить, в чем может быть проблема.

Команда

hadoop jar / usr / lib / hadoop / contrib / streaming / hadoop-streaming-0.20.2-cdh3u2.jar \

-вход / usr / pkansal / ex2 / output \

-вход / usr / pkansal / ex2 / output2 \

-mapper/home/cloudera/ex2/kMerFreqMap2.py \

-file /home/cloudera/ex2/kMerFreqMap2.py \

-numReduceTasks 0 ( Если я прокомментирую эту строку, тоидти хорошо )

I / P

3 chr1: 1, chr1: 3, chr1: 5

1 chr1: 7

2chr1: 2, chr1: 4

1 chr1: 6

Ожидаемый O / P

chr1 1 3

chr1 3 3

chr1 5 3

chr1 7 1

chr1 2 2

chr1 4 2

chr1 6 1

Фактический O / P

chr1 2 2

chr1 4 2

chr1 6 1

...