Как запустить файл flink jar в кластере Mesos - PullRequest
Новая
       63

Как запустить файл flink jar в кластере Mesos

0 голосов
/ 04 марта 2019

У меня есть два узла, на которых установлен докер.Более того, я установил Apache Mesos на докер.Во-первых, я запускаю эту команду в Docker, который ничего не показывает в результате: 

 /home/flink-1.7.0/bin/mesos-appmaster.sh -Djobmanager.heap.mb=1024 -Djobmanager.rpc.port=6123 -Drest.port=8081 -Dmesos.resourcemanager.tasks.mem=1024 -Dtaskmanager.heap.mb=1024 -Dtaskmanager.numberOfTaskSlots=2 -Dparallelism.default=2 -Dmesos.resourcemanager.tasks.cpus=1

После этого я запускаю эту команду для запуска файла JAR: 

/home/flink-1.7.0/bin/flink run -m 172.28.10.133:5050 /home/Flink_Cassandra_test_jar/Flink_Cassandra_test.jar

После этого яполучить эту ошибку:

org.apache.flink.client.deployment.ClusterRetrieveException: не удалось получить автономный кластер

Кстати, я также настроил Zookeeper.Кроме того, я добавил две строки в yaml-файл Flink: 

 jobmanager.rpc.address: 150.20.11.133
 high-availability: zookeeper
 high-availability.zookeeper.quorum: 150.20.11.133:2181

Подскажите, пожалуйста, как запустить файл flink jar в кластере mesos?

Буду признателен за любую помощь.

1 Ответ

0 голосов
/ 05 сентября 2019

Заполните эти параметры в файле flink-conf.yaml. 

mesos.master: IP-MASTER-MESOS:5050
mesos.initial-tasks: 10
mesos.resourcemanager.tasks.container.type: mesos
jobmanager.heap.mb: 1024
jobmanager.web.address: 130.239.48.136
jobmanager.web.port: 8081
mesos.resourcemanager.tasks.mem: 4096
taskmanager.heap.mb: 3500
mesos.resourcemanager.tasks.cpus: 2
mesos.resourcemanager.tasks.disk: 4096
mesos.resourcemanager.tasks.taskmanager-cmd: "/home/flink/flink-1.9.0/bin/mesos-taskmanager.sh"
mesos.resourcemanager.artifactserver.ssl.enabled: false
mesos.resourcemanager.framework.name: "FLINK_on_MESOS_intensive_cpu_usage"

, затем запустите ваше приложение: 

/home/flink/flink-1.9.0/bin/flink run -c org.sense.flink.App /home/flink/explore-flink/target/you-application-flink.jar

Mesos будет располагать диспетчером задач, слоты которого требуются для Flink.

...