Мы переходим от справедливого планировщика к планировщику емкости, и при этом столкнулись с интересным поведением:
Наше пользовательское приложение YARN запрашивает указанные контейнеры YARN для выполнения. С помощью fair-scheduler мы смогли получить именно те ресурсы, которые мы запрашивали, - или ничего, если бы ресурсы просто были недоступны. Процессоры у нас только один. Наш планировщик отклоняет эти запросы ресурсов, и наше приложение никогда не получает ресурсы, в которых оно действительно нуждается.
Поиск не выявил, что это функция, но документация ResourceCalculator вызвала мой интерес, как говорится
Реализация ResourceCalculator, которая будет использоваться для сравнения ресурсов в планировщике. По умолчанию, то есть DefaultResourceCalculator использует только память, в то время как DominantResourceCalculator использует доминантный ресурс для сравнения многомерных ресурсов, таких как память, ЦП и т. Д. ресурсы, и переключение ResourceCaclulators может это исправить? Для честного планировщика мы не указали калькулятор - я бы полностью доверял YARN, чтобы сделать DefaultResourceCalculator не по умолчанию;)
Итак - это функция планирования или я столкнулся с ошибкой? Как я могу сказать планировщику, что он должен предоставить мне именно те ресурсы, которые мне нужны, а не те, которые, по его мнению, будут лучшими?
Версии: мы на MapR 6.1 / Had oop 2.7