Что такое память, vcores и диски на странице планировщика пряжи?

Question

Может кто-нибудь подробно объяснить используемые ресурсы, минимальные ресурсы и максимальные ресурсы?Со всеми конкретными сведениями о блоках памяти?

Answer 1

Ваши использованные ресурсы говорят о том, что вы использовали 2 виртуальных ядра с общим объемом памяти 6 ГБ. Это означает, что YARN предоставил вам 2 контейнера с общей памятью 6 ГБ.

Мин. Ресурсы и Макс. Ресурсы лучше всего объяснить Рэй Чан и Деннис Доусон в Распутывание Apache Hadoop YARN, часть 4: Основы честного планирования планировщика :

• Предел minResources - это мягкий предел. Он применяется до тех пор, пока требование к общему ресурсу очереди больше или равно требованию minResources, и он получит по крайней мере указанное количество, если выполняется следующее:
  • Ресурсы доступны или могут быть вытеснены из других очередей.
  • Сумма всех minResources не превышает общие ресурсы кластера.
• Предел maxResources является жестким, то есть он постоянно применяется. Все ресурсы, используемые очередью с этим свойством, а также любые дочерние и дочерние очереди должны подчиняться этому свойству.

Answer 2

Пряжа планировщик - это компонент, который отвечает за управление очередями . Он взаимодействует с компонентом, называемым диспетчером ресурсов , чтобы запросить выделение ресурсов для приложений в тех очередях, которые представлены в виде контейнеров . Каждый такой компонент является собственным миром, и хотя для понимания всей структуры требуется некоторое время, подробное объяснение этих запросов ресурсов можно найти здесь .