Apache Flink, Работа с большим графиком - время ожидания на кластере - PullRequest
0 голосов
/ 27 июня 2018

Мы пытаемся построить Flink Job для агрегации цен с довольно сложной логикой.

например. предыдущая версия имела график как показано ниже.

После очередной итерации разработки я добавил еще больше сложности в работу. Новая версия работала нормально из IDE, однако развертывание в кластер завершилось неудачно с

Причина: org.apache.flink.runtime.client.JobClientActorSubmissionTimeoutException: истекло время ожидания отправки задания в JobManager.

Если я перенастроить задание (уменьшить сложность графов), оно будет развернуто без проблем.

Мои вопросы:

  1. Существуют ли какие-либо ограничения по размеру и сложности графика работ при отправке в автономный кластер?
  2. Есть ли возможность отключить графическое представление графика (у меня есть подозрения, что проблема вызвана представлением графика - локально моя работа работает)
  3. Существуют ли какие-либо средства отладки, чтобы понять, что происходит при отправке задания, и почему оно истекло?

Заранее спасибо.

enter image description here

1 Ответ

0 голосов
/ 01 июля 2018

Решением было использование последней версии Flink (1.5 на момент написания).

...