У меня есть работа на карте.
мой dfs.blockSize равен 134217728 (128M). У меня очень большая таблица кустов с 189 блоками, я не хочу создавать 189 мапперов (занимающих слишком много памяти).
Я установил mapreduce.input.fileinputformat.split.minsize=268435456 (256M), но задание все еще создает 189 для запуска. Предположим, что этот параметр уменьшит число картографов, но он не сработал.
Спасибо за любую помощь, спасибо.