Настроить
Flink версия 1.8.3
Zookeeper HA-кластер
1 ResourceManager / Dispatcher (тот же узел), 1 TaskManager, 4 конвейера, работающих с различным параллелизмом
Проблема
Иногда при перезапуске диспетчера заданий мы заметили, что все конвейеры не планируются. Диспетчер заданий сообщает об ошибке «Недостаточно слотов». Этого не должно быть, потому что диспетчер задач был развернут с достаточным количеством слотов для имеющегося у нас количества конвейеров / параллелизма.
Мы также заметили, что отчет о слотах, отправленный диспетчером задач, содержит слоты, заполненные старыми идентификаторами ОТМЕНЕННЫХ заданий. Я не уверен, почему диспетчер задач до сих пор хранит сведения о старых заданиях. Дамп потока в диспетчере задач подтверждает, что старые конвейеры не работают.
Мне известно о https://issues.apache.org/jira/browse/FLINK-12865. Но в данном случае проблема не в этом.