Hadoop - может ли вывод картографа превышать размер блока

Question

У нас для dfs.blocksize установлено значение 512 МБ для одного из заданий сокращения карты, которое является заданием только для карты. Но некоторые из картографов выдают более 512 МБ. например: 512,9 МБ.

Полагаю, размер блока отображения должен быть ограничен размером dfs.blocksize. Цените любые входные данные. Спасибо

Answer 1

Mappers не сохраняют свои выходные данные в HDFS - они используют обычные файловые системы для сохранения результатов - это делается для того, чтобы не реплицировать временные данные на сервер в кластере HDFS. Таким образом, размер блока HDFS не имеет ничего общего с размером выходного файла картографов.

Answer 2

Я считаю, что размер блока картографирования должен ограничиваться dfs.blocksize.

Это не правда. Файлы могут быть больше, чем размер блока. В этом случае они просто охватят несколько блоков.