как смещения хранятся в точке сохранения

Question

Мы используем kafka как источник нашего конвейера.Я хочу перенести существующее состояние из производственной среды в новую среду.Мой вопрос: что происходит со смещением в новой среде?поскольку мы взяли точку сохранения из производства, а смещения сохраняются в точке сохранения, означает ли это, что в новой среде задание начнет потреблять сообщения со смещениями из производства или фактически начнется с новых, таких как новый потребитель?

Answer 1

Смещения в новом задании начнутся с смещений, сохраненных в точке сохранения, при условии, что вы перезапустите новое задание с точки сохранения, например:

$ bin/flink run -s :savepointPath [:runArgs]

Соответствующие документы включают последний абзац этого раздела о Конфигурация начальной позиции потребителей Kafka , которая гласит

Обратите внимание, что эти методы настройки начальной позиции не влияют на начальную позицию, когда задание автоматически восстанавливается после сбоя или восстанавливается вручную с использованием точки сохранения. При восстановлении начальная позиция каждого раздела Kafka определяется смещениями, сохраненными в точке сохранения или контрольной точке ...

, а также этот раздел о Возобновление из точек сохранения .