Создать уникальный идентификатор в MapReduce - PullRequest
0 голосов
/ 04 декабря 2018

Я сравниваю два файла A & B и извлекаю столбцы из A, которых нет в B, и добавляю их в B. Когда новая запись добавляется в B, ей должен быть присвоен уникальный идентификатор.Я ищу логику, где я могу получить общее количество от B, который сейчас является максимальным идентификатором.Затем передайте максимум всем редукторам.Но проблема в том, что несколько редукторов будут обрабатываться параллельно.Есть ли способ заставить редуктор назначать инкрементный идентификатор синхронно со всеми другими редукторами на основе максимального значения из B?

Логика для сравнения A и B:

1.Назначение '2'к записям от A

Назначить номер '1' для записей из B

Суммировать значение в редукторе.Если сумма% 2 равна 0, то запись не существует в B. Следовательно, добавьте ее в B с уникальным идентификатором.

...