Hadoop java mapper -copyFromLocal ошибка размера кучи

Question

Как часть моего Java mapper, у меня есть команда, которая выполняет некоторый код на локальном узле и копирует локальный выходной файл в hadoop fs.К сожалению, я получаю следующий вывод:

Произошла ошибка при инициализации ВМ

Не удалось зарезервировать достаточно места для кучи объектов

У меня естьпопытался настроить mapred.map.child.java.opts на -Xmx512M, но, к сожалению, не повезло.

Когда я захожу в узел ssh, я могу без проблем запустить команду -copyFromLocal.Выходные файлы также очень малы, около 100 КБ.

Любая помощь будет принята с благодарностью!

Answer 1

Бесконечный цикл в преобразователе или преобразователе может привести к ошибкам нехватки памяти.

Я столкнулся с OoM один раз, когда у меня был цикл while с iterator.hasNext () в качестве условия для значений редуктора, и я не вызывал iterator.next () внутри цикла.