Hadoop YARN Cluster / Spark и RAM-диски

Question

Поскольку мои вычислительные задачи требуют быстрого дискового ввода-вывода, меня интересует монтирование больших дисков RAM на каждом рабочем узле в кластере YARN, в котором работает Spark, и поэтому мне интересно, как менеджер кластера YARN обрабатывает память, занятую таким RAM диск.

Если бы я выделил 32 ГБ на диск ОЗУ на каждой машине с 128 ГБ ОЗУ, например, менеджер кластера YARN знал бы, как распределить ОЗУ, чтобы избежать перераспределения памяти при выполнении задач (в этом случае YARN ОЗУ на реквизированные задачи или максимум 96 ГБ)?

Если это так, есть ли способ указать менеджеру кластера YARN, что имеется RAM-диск, и поэтому определенный раздел RAM не имеет ограничений для YARN? Спарк тоже узнает об этих ограничениях?

Answer 1

В конфигурациях Spark вы можете установить конфигурации драйверов и исполнителей, такие как ядра и объем выделенной памяти. Более того, когда вы используете пряжу в качестве менеджера ресурсов, она поддерживает некоторые дополнительные настройки, которые помогут вам лучше управлять ресурсами кластера. "spark.driver.memoryOverhead" или "spark.yarn.am.memoryOverhead", который представляет собой объем пространства вне кучи со значением по умолчанию

Память AM * 0,10, минимум 384

для получения дополнительной информации здесь ссылка .