ТМ на том же нодмен-менеджере, что приводит к высокой нагрузке на HDFS

Question

у нас есть 100-узловый кластер oop. В настоящее время я пишу приложение Flink для записи большого количества файлов в HDFS от BucktingSink. Когда я запустил Flink App на пряже, я обнаружил, что все диспетчеры задач распределены в одном и том же нодмен-менеджере, что означает, что все подзадачи выполняются на этом узле. Он открывает множество файловых дескрипторов на датоде этого занятого узла. (Я думаю, что соединитель файловой системы flink подключается к локальному датоду в приоритетном порядке) Это приводит к высокому давлению на этом узле, которое легко не справляется с работой.

Любая хорошая идея для решения этой проблемы? Большое спасибо!

Answer 1

Это звучит как проблема планирования пряжи. Обратите внимание на Планировщик емкости пряжи , который позволяет планировать контейнеры на узлах в зависимости от доступной емкости. Кроме того, вы можете сказать Yarn также рассмотреть виртуальные ядра для планирования. Это позволяет определить другое измерение ресурса по сравнению только с памятью.