Как Flink решает, когда пройти контрольно-пропускной пункт? - PullRequest
1 голос
/ 13 марта 2020

Я хотел бы понять, что определяет, когда контрольные точки принимаются. Какое отношение это имеет к интервалу контрольных точек?

1 Ответ

1 голос
/ 13 марта 2020

В первом приближении координатор контрольных точек (часть диспетчера заданий) использует интервал контрольных точек, чтобы определить, когда начинать новую контрольную точку. Этот интервал пропускается, когда вы включаете контрольную точку, например, здесь он устанавливает ожидание в течение 10 секунд между контрольными точками:

env.enableCheckpointing(10000L);

или он также может быть установлен с помощью execution.checkpointing.interval.

Однако, Координатор контрольных точек будет ждать, сколько потребуется, чтобы избежать нарушения настройки execution.checkpointing.max-concurrent-checkpoints или execution.checkpointing.min-pause (которая определяет, сколько времени должно пройти между завершением одной контрольной точки и началом следующей).

...