Я использую Mesos и Marathon для обеспечения высокой доступности для кластера Flink.Более подробно, у меня есть кластер из двух узлов с установленным докером на каждом из них.Я установил apache Mesos на каждый докер и настроил марафон тоже.Более того, Flink был настроен в Docker следующим образом:
Flink-conf.yaml в каждом узле:
jobmanager.rpc.address: 150.20.11.133
high-availability: zookeeper
high-availability.zookeeper.quorum: 150.20.11.133:2181
mesos.master: 150.20.11.133:5050
mesos.resourcemanager.framework.name: "Flink"
Мастера в / usr / local / etc / mesos / masters file:
150.20.11.133
Ведомые в файле / usr / local / etc / mesos / slaves:
150.20.11.136
У меня есть файл zk в / usr / local / etc / mesos с этой строкой:
zk://150.20.11.133:2181/mesos
Zoo.cfg выглядит так:
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
dataDir=/var/lib/zookeeper
dataLogDir=/var/log/zookeeper
maxClientCnxns=60
server.1=150.20.11.133:2888:3888
Файл марафона в / etc / default / marathon имеет эту конфигурацию:
export MARATHON_MASTER=zk://150.20.11.133:2181/mesos
export MARATHON_ZK=zk://150.20.11.133:2181/marathon
MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
По этому пути, / usr / share / marathon / conf, у меня есть файлы "hostname", "master" и "zk", которые все они были настроены, как и раньше.
Я написал файл составления Docker для запуска Mesosи марафон, и они были проведены без проблем.На самом деле я хочу запустить свою программу Flink на кластере Mesos через марафон, поэтому я создаю приложение на марафоне и записываю эту строку в командную часть.Кроме того, я даю память, процессор и дистанцию для этой команды.
/home/flink-1.7.0/bin/mesos-appmaster.sh -Djobmanager.heap.mb=1024 -Djobmanager.rpc.port=6123 -Drest.port=8081 -Dmesos.resourcemanager.tasks.mem=1024 -Dtaskmanager.heap.mb=1024 -Dtaskmanager.numberOfTaskSlots=2 -Dparallelism.default=2 -Dmesos.resourcemanager.tasks.cpus=1
Я вижу, что приложение запускается некоторое время, а после этого происходит сбой.Вход в систему «strerror» имеет следующий вид:
I0302 13: 15: 02.353979 347 exec.cpp: 162] Версия: 1.7.0
I0302 13: 15: 02.364169 353exec.cpp: 236] Исполнитель зарегистрирован на агенте 2dcda09f-eef2-4f11-a9b3-d6d241f8378f-S0
I0302 13: 15: 02.366767 350 executor.cpp: 182] Полученное событие SUBSCRIBED
13: 15: 02.367733 350 executor.cpp: 186] Подписанный исполнитель на 150.20.11.136
I0302 13: 15: 02.367945 350 executor.cpp: 182] Полученное событие LAUNCH
I0302 13:15: 02.369375 350 executor.cpp: 679] Начальное задание mm.2ffc24ff-3ced-11e9-8789-024224b99f73
I0302 13: 15: 02.379390 350 executor.cpp: 499] Выполняется '/home/mesos-1.7.0 / build / src / mesos-containerizer launch '
I0302 13: 15: 02.381211 350 executor.cpp: 693] Разветвленная команда в 355
I0302 13: 15: 03.460824 349 executor.cpp: 994] Команда завершена со статусом 1 (pid: 355)
I0302 13: 15: 04.467497 354 process.cpp: 926] Остановлена петля принятия сокета
Iмного искал;но до сих пор не могу понять это.Не могли бы вы вести меня?
Буду признателен за любую помощь.