Время от времени у меня возникало множество проблем с devops в нашем производственном кластере. Время от времени раздел / перегружается на нескольких узлах. Короче говоря, оказывается, что эти узлы имели 1 вместо 2 дисков данных. Это не будет проблемой, если у нас нет следующей настройки в нашем кластере:
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data1/hadoop/yarn/local,/data2/hadoop/yarn/local</value>
</property>
Некоторые разработчики или кто-то еще, заметив, что на / 1002 * меньших узлах нет разделов / data2, пришли к идее просто перейти с / разделом. Поскольку / составляет 16 ГБ, некоторые из наиболее требовательных к данным заданий быстро заполняют эту задачу.
Теперь мой вопрос: поддерживает ли пряжа настройку yarn.nodemanager.local-dirs для каждого узла?
Я решил проблему, удалив /data2/hadoop/yarn/local из истории, но она не кажется идеальной.
Мы используем HDP 2.6.4.
Thx!