Функция объединителя в Apache Hadoop с Gora - PullRequest
Новая
       38

Функция объединителя в Apache Hadoop с Gora

0 голосов
/ 02 января 2019

У меня есть простой Hadoop, Nutch 2.x, кластер Hbase.Я должен написать работу MR, которая найдет некоторую статистику.Это двухступенчатая работа, т. Е. Я думаю, что мне также нужна функция объединителя.В простых заданиях Hadoop это не большая проблема, так как дается много руководств, например, this .Но я не смог найти ни одного варианта использования комбайнера с Гора.Моя статистика будет добавлена ​​на страницы в Hbase, поэтому я не мог о Горе (я думаю).Ниже приведен фрагмент кода, где я ожидаю добавить ком 

GoraMapper.initMapperJob(job, query, pageStore, Text.class, WebPage.class,
        My_Mapper.class, null, true);


    job.setNumReduceTasks(1);

    // === Reduce ===
    DataStore<String, WebPage> hostStore = StorageUtils.createWebStore(
        job.getConfiguration(), String.class, WebPage.class);
    GoraReducer.initReducerJob(job, hostStore, My_Reducer.class);

1 Ответ

0 голосов
/ 15 января 2019

Я никогда не использовал комбинатор с Gora, но работает ли он (или какую ошибку он показывает)?: 

GoraReducer.initReducerJob(job, hostStore, My_Reducer.class);
job.setCombinerClass(My_Reducer.class);

Редактировать: Создана проблема в Apache Jira о Combiner .

...