Постоянство в MapReduce

Question

Допустим, вы разделили свою работу для фазы карты: карта / уменьшить, и отображение выполняется.Теперь каждая единица работы занимает около 1 минуты.Допустим, вам нужно остановить обработку.Как бы вы сохранили состояние карты / сократили ее, чтобы тратить наименьшее количество времени при запуске резервного копирования?

Answer 1

Вам нужно запоминать результаты таким образом, чтобы пропустить большую часть обработки строк, которые вы видели ранее.Если есть ключ-кандидат, который идентифицирует строку, которую вы можете использовать для просмотра в кэше, то извлеките обработанные результаты, которые там хранятся.

Настройка кластера с Memcached или Redis была бы одним из подходов для достижения запоминания,