YARN: 1/1 local-dirs - это плохо Alert

Question

У меня проблема, когда все 3 менеджера узлов в моем кластере помечены как плохие с local dirs bad предупреждениями.

Я видел много ответов, где говорится, что эта ошибка происходит из-за того, что YARN достигает максимального порогового значения диска по умолчанию, равного 90%, но я могу убедиться, что на диске YARN достаточно места. (используется только 35% диска) . Я подозреваю, что каталог YARN поврежден.

Кто-нибудь знает об этом предупреждении / решении, кроме YARN, достигающем порогового значения диска?

Answer 1

Есть также другие сценарии, когда это произойдет:

• диск неисправен или идет плохо
• диск имеет место, но исчерпал свои иноды
• диск был смонтирован только для чтения
• диск подключен по NFS, а сервер NFS отключен или потерял соединение

Answer 2

Я получил решение этой проблемы. У других пользователей, кроме ВЛАДЕЛЬЦА, не было разрешения на запись в папку, я дал разрешение на запись в папку YARN для YARN и смог запустить задание уменьшения карты. Все 3 менеджера узлов теперь здоровы.