Когда логика Custom Partitioner возвращает 2-й редуктор, а Total Reducer установлен в 1, каков должен быть результат в MapReduce? - PullRequest
Новая
       43

Когда логика Custom Partitioner возвращает 2-й редуктор, а Total Reducer установлен в 1, каков должен быть результат в MapReduce?

0 голосов
/ 21 октября 2019

Логика моего разделителя - 

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.mapreduce.Partitioner;

public class MyPartitioner extends Partitioner<IntWritable,DoubleWritable>{
@Override
public int getPartition(IntWritable keyintd, DoubleWritable valintd, int arg2) 
{

    return 2;
}
}

Редуктор установлен на 1.

Так как Partition er возвращает 2, что является 2-м редуктором, но если у нас даже нет 2-х редукторов, точто должно произойти?

В приведенном выше примере создается один файл детали, и данные поступают правильно, но я не понимаю, как это происходит. По мне, это должно выдать ошибку.

Пожалуйстапомоги мне в этом

...