Каковы основные узкие места Flink при выполнении многих работ?

Question

Моя команда оценивает Flink для нескольких случаев использования, когда мы рассматриваем очень большое количество групп обработки, которые мы хотели бы сохранить изолированными. Существуют ли известные главные ловушки / узкие места, на которые люди могли бы рассчитывать при выполнении десятков тысяч заданий в одном кластере?

До сих пор мы замечали, что JobManager, кажется, замедляетсязначительно после нескольких сотен заданий, при этом рекомендация здесь состоит в том, чтобы разбить один большой кластер на несколько более мелких кластеров.Это лучший рекомендуемый подход, или есть ли способ заставить Flink работать надежно с очень большим количеством рабочих мест?

Answer 1

Одна работа на кластер может быть привлекательным подходом, но, конечно, если задания недолговечны, издержки запуска кластера для каждой работы могут быть неудачными.Одним из преимуществ такого подхода является безопасность, поскольку рабочие места могут быть должным образом изолированы друг от друга.

Движение в другом направлении, то есть выполнение большого количества заданий в одном кластере по мере увеличения количества менеджеров задач и заданий, координация всех операций контрольных точек в кластере может стать узким местом (при условии, что контрольные точкивключен).