Я использую Hadoop 3.2.0 и пытаюсь запустить простое приложение в Docker-контейнере, и я внес необходимые изменения конфигурации как в yarn-site.xml , так и container-executor.cfg для выбора LinuxContainerExecutor и среды выполнения Docker.
Я использую пример распределенной оболочки в одном из блогов hortonworks.https://hortonworks.com/blog/trying-containerized-applications-apache-hadoop-yarn-3-1/
Проблема, с которой я здесь сталкиваюсь, заключается в том, что когда приложение отправляется в YARN, происходит сбой по причине, связанной с проблемой создания каталога, со следующей ошибкой
2019-02-1420: 51: 16,450 INFO distribshell.Client: Получен отчет приложения от ASM для, appId = 2, clientToAMToken = null, appDiagnostics = Application application_1550156488785_0002, 2 раза произошел сбой из-за контейнера AM для контейнера appattempt_1550156488785_0002_00002.[2019-02-14 20: 51: 16.282] Сбой инициализации application_1550156488785_0002 приложения (exitCode = 20) с выводом: main: предоставлена команда 0 main: user is myuser main: запрошенная пряжа user myuser Не удалось создать каталог / data / yarn /local / nmPrivate / container_1550156488785_0002_02_000001.tokens / usercache / myuser - Не каталог
Я настроил yarn.nodemanager.local-dirs в yarn-site.xml и вижуто же самое отражено в веб-интерфейсе YARN localhost:8088 / conf
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data/yarn/local</value>
<final>false</final>
<source>yarn-site.xml</source>
</property>
Я не понимаю, почему он пытается создать каталог usercache внутри каталога nmPrivate.
Примечание: я проверил разрешения для myuser на каталоги, а также попытался очистить каталоги вручную, как предложено в соответствующем посте.Но нет фруктов.Я не вижу никакой дополнительной информации о сбое запуска контейнера ни в каких других журналах.
Как отладить, почему каталог usercache не разрешен должным образом ??
Действительно признателен за любую помощь по этому вопросу.