Сбой Hadoop / Yarn Docker-Container-Executor из-за «Недопустимого монтирования docker rw»

Question

Я пытаюсь выполнить простой пример для Hadoop / Yarn (Версия: 2.9.1) Docker-Container-Executor:

vars="YARN_CONTAINER_RUNTIME_TYPE=docker,YARN_CONTAINER_RUNTIME_DOCKER_IMAGE=hadoop-docker"
hadoop jar hadoop-examples.jar pi -Dyarn.app.mapreduce.am.env=$vars -Dmapreduce.map.env=$vars -Dmapreduce.reduce.env=$vars 10 100

К сожалению, задание не выполняется со следующим исключением:

Failing this attempt.Diagnostics: [2018-09-08 22:23:54.288]Exception from container-launch.
Container id: container_1536441225683_0004_02_000001
Exit code: 29
Exception message: Invalid docker rw mount '/tmp/hadoop-hadoop/nm-local-dir/usercache/hadoop/appcache/application_1536441225683_0004/:/tmp/hadoop-hadoop/nm-local-dir/usercache/hadoop/appcache/application_1536441225683_0004/', realpath=/tmp/hadoop-hadoop/nm-local-dir/usercache/hadoop/appcache/application_1536441225683_0004/
Error constructing docker command, docker error code=14, error message='Invalid docker read-write mount'

У кого-нибудь есть идеи, как решить Недопустимое монтирование для чтения-записи докера ?

Answer 1

Решено путем добавления этого каталога в свойство docker.allowed.rw-mounts в и т.д. / hadoop / container-executor.cfg . Если вы получаете сообщение об ошибке для нескольких каталогов, их необходимо добавить через запятую.

В моем случае:

docker.allowed.rw-mounts=/usr/local/hadoop/,/var/hadoop/yarn/local-dir,/var/hadoop/yarn/log-dir,/tmp/hadoop-hadoop/