Запись в один файл из двух картографов

Question

В Hadoop MR (в основном HDFS) можно ли записывать в один и тот же файл из двух сопоставителей, принадлежащих одному заданию, синхронно / сериализованно?

Также записывать в один файл из двух запущенных сопоставителейв разных заданиях сериализованным способом?

В других файловых системах есть семафоры.Какой механизм в HDFS?

Answer 1

Установить число или редукторы = 1 (mapred.reduce.tasks = 1)

Answer 2

1. Связь между задачами карты в Hadoop отсутствует, поэтому некоторая синхронизация между ними невозможна.

2. Файлы в HDFS могут записыватьсяодин писатель, в то время как многие читатели могут его прочитать.

3. Я думаю, MapR позволяет нескольким авторам использовать один файл.

К вашему сведению, файл должен быть добавлен в конце, и изменения при любом произвольном смещении также невозможны.

Просто любопытно, каков случай использования записи нескольких карт в один файл?