Можно ли изменить поток лучей Apache с помощью входов pub / sub без прерываний?

Question

1) Я написал конвейер, который имеет входной поток pub / sub. Я хочу изменить его с опцией --update или --jobName. Что происходит с данными в pub / sub и во всем конвейере?

2) По какой-то причине я должен отключить трубопровод: а) на несколько часов или б) на несколько дней. Можно ли каким-то простым способом воспроизвести эти данные в перезапущенном конвейере, чтобы все обрабатывалось, как прежде, в потоковом режиме. Я слышал, что вы можете воспроизвести паб / саб в течение 7 дней.

Answer 1

1) Если вы обновите потоковый конвейер, работающий сейчас конвейер перестанет извлекать данные из pubsub и сохранит промежуточное состояние окна перед запуском нового конвейера. Таким образом, не будет потери или дублирования данных.

2) В настоящее время поток данных не поддерживает возобновленное выполнение конвейера.