Действительно ли конфигурация памяти имеет значение с честным планировщиком?

Question

У нас есть кластер hadoop с настроенным честным планировщиком. Мы привыкли видеть сценарий, когда в кластере не было много заданий для выполнения, запущенное задание пыталось получить столько памяти, сколько доступно памяти и ядер.

С планировщиком Fair память исполнительного устройства и ядра действительно важны для искровых рабочих мест? Или это зависит от честного планировщика, чтобы решить, сколько дать?

Answer 1

Политика честного планировщика состоит в том, что для первого назначенного задания будут предоставлены все предоставленные ресурсы.

Когда мы запускаем второе задание, все ресурсы будут разделены на (доступные ресурсы) / (количество заданий)

Теперь основное внимание нужно уделить максимальному количеству памяти контейнера, которое вы дали для выполнения задания. Если оно равно общему количеству доступных ресурсов, то ваша работа использует все ресурсы.