У меня работает кластер EMR на AWS. Я смотрю в YARN и вижу, что 4 из моих работников имеют этот «нездоровый статус» из-за
1/2 local-dirs are bad: /mnt/yarn; 1/1 log-dirs are bad: /var/log/hadoop-yarn/containers
Итак, я sh в рабочие узлы -> запускаю df и достаточно точно /mnt/yarn используется на 99% дискового пространства. Кроме того, многие файлы stderror и stdout занимают много места в каталоге /var/log/hadoop-yarn/containers. Мой вопрос: что безопасно удалить, а что нет? Я чувствую, что спускаюсь по кроличьей норе и до сих пор нигде не могу понять, как освободить место на диске в моих рабочих узлах после нескольких часов чтения. Я читал о каталоге /mnt/yarn/usercache, и кажется, что содержимое этого каталога - это "локальные ресурсы", используемые для запуска моего приложения spark. Но /mnt/yarn/usercache/hadoop/filecache и /mnt/yarn/usercache/hadoop/appcache занимают 3% и 96% дискового пространства, соответственно, в /mnt/yarn