Я установил mapreduce.map.memory.mb 256 МБ и mapreduce.reduce.memory.mb 256 МБ в mapred-site.xml.Yarn-site.xml и другие подробности вы можете увидеть на следующем рисунке.
Итак, мой вопрос: когда я добавляю 12 заданий в hadoop, почему работает максимум 2 контейнера?
Стоит отметить, что япоставь их всех на рабочий процесс.И есть 3 задания, тип которых является java main (назовем их jobA, jobB и jobC), которые вызовут основной метод CsvBulkLoadTool.class из Phoenix, который поместит еще одно задание mapreduce в hadoop (назовем их jobA ', jobB', jobC').И jobA блокируется до завершения jobA '.
Хуже того, заблокированы другие задания, из которых журнал сообщает мне, что AM ожидает выделения ресурсов RM.Но действительно свободные ресурсы есть.
Так что, если всегда работает только два контейнера, я не могу получить доступ к своей цели.