Не удается отправить работу с кластером Flink 1.5 - PullRequest
0 голосов
/ 12 июня 2018

Попытка перейти от Flink 1.3.2 к 1.5 У нас есть кластер, развернутый с помощью kubernetes.Все хорошо работает с 1.3.2, но я не могу представить работу с 1.5.Когда я пытаюсь это сделать, я просто вижу, как вращается бесконечно, то же самое происходит и через REST API.Я даже не могу представить пример работы в WordCount.Кажется, мои менеджеры задач не могут подключиться к менеджеру вакансий, я вижу их в пользовательском интерфейсе Flink, но в логах я вижу

level = WARN akka.remote.transport.netty.NettyTransport - Удаленное подключение к [null]Сбой org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException: истекло время ожидания соединения: flink-jobmanager-nonprod-2.rpds.svc.cluster.local / 25.0.84.226: 6123

level = WARN akka.remote.ReliableDeliverySupervisor - Не удалось установить связь с удаленной системой [akka.tcp: //flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local: 6123], адрес теперь стробируетсяв течение [50] мсПричина: [Не удалось связать с [akka.tcp: //flink@flink-jobmanager-nonprod-2.rpds.svc.cluster.local: 6123]] Причина: [Нет ответа от удаленного для исходящей ассоциации.Превышено время ожидания после [20000 мс].]

level = WARN akka.remote.transport.netty.NettyTransport - Не удалось установить удаленное подключение к [null] с помощью org.apache.flink.shaded.akka.org.jboss.netty.channel.ConnectTimeoutException: истекло время ожидания соединения: flink-jobmanager-nonprod-2.rpds.svc.cluster.local / 25.0.84.226: 6123

Но я могу сделать telnet из диспетчера задач в менеджер работы

Более того, все работает на моем локальном компьютере, если я начну мигать в режиме кластера (jobmanager + taskmanager).В документации 1.5 я нашел опцию mode , которая переключает режим между flip6 и legacy (по умолчанию flip6), но если я установлю mode: legacy, мои менеджеры задач вообще не будут зарегистрированы.

Isэто что-то конкретное о развертывании k8s и 1.5 мне нужно сделать?Я проверил конфигурацию 1.5 k8s, и она выглядит примерно так же, как и у нас, но мы используем настроенный образ докера для flink (Безопасность, HA, контрольная точка)

Спасибо.

1 Ответ

0 голосов
/ 25 июля 2018

Проблема с подключением Jobmanage.Образ докера Jobmanager не может подключиться к адресу "flink-jobmanager" ($ {JOB_MANAGER_RPC_ADDRESS}).

Просто используйте докер afilichkin / flink-k8s вместо flink: последний

Я исправил это, добавив новый хост в докер Jobmanager.Вы можете увидеть это в моем проекте github

https://github.com/Aleksandr-Filichkin/flink-k8s/tree/master

...