Ошибка при развертывании задачи контейнера данных Spring Cloud? - PullRequest
0 голосов
/ 19 сентября 2018

Версия : spring-cloud-dataflow-server-yarn-1.2.2.RELEASE
Выпуск : все приложения OOTB / пользовательских задач кажутся НЕ работа с Yarn Deployer (я специально протестирован с timestamp-task-1.3.0.RELEASE и пользовательским заданием "Привет, мир", созданным в соответствии с эталонным документом).

У нас есть кластер Yarn, в котором все развернутые нами потоки работают нормально, что исключает любые проблемы с кластером hadoop / yarn.В тот момент, когда мы пытаемся развернуть задачу, она завершается с кодом 0 с указанным ниже сообщением, зарегистрированным в стандартном выводе контейнера Yarn / AppMaster

2018-09-19 18:04:20.782 DEBUG 22625 --- [ask-scheduler-2] o.s.yarn.am.allocate.AbstractAllocator   : completed container: container_1536919363436_0805_01_000002 with status=ContainerStatus: [ContainerId: container_1536919363436_0805_01_000002, State: COMPLETE, Diagnostics: Exception from container-launch.
Container id: container_1536919363436_0805_01_000002
Exit code: 1
Stack trace: ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)
    at org.apache.hadoop.util.Shell.run(Shell.java:456)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:722)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)


Container exited with a non-zero exit code 1
, ExitStatus: 1, ]

Полный журнал AppMaster можно найти здесь и соответствующий ему server.yml можно найти здесь
Любая помощь приветствуется.

1 Ответ

0 голосов
/ 24 сентября 2018

Я отвечаю на свой собственный вопрос - на нашем сервере пряжи было включено агрегирование журналов, и, следовательно, журналы контейнеров не отображались сразу, и мне пришлось просматривать объединенные журналы, чтобы выяснить, почему не запускались пользовательские задачи.После того, как мы (временно) отключили агрегирование журналов в пряже, Container.stdout и Container.stderror пользовательской задачи стали видны в каталоге журналов, настроенном в yarn-site.xml

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...