Сравнение Google Pubsub и Kafka при перезапуске конвейера - PullRequest
0 голосов
/ 23 декабря 2018

Я пытаюсь написать приложение для приема пищи на GCP с использованием Apache Beam. Я должен написать его потоковым способом, чтобы читать данные из тем Kafka или pubsub, а затем загружать их в источник данных.

пока это кажется прямымжду, когда напишу его с использованием pubsub и apache beam, но мой вопрос: что произойдет, если мой прием не удастся или будет перезапущен, и если он снова считывает все данные из начала темы pubsub или как kafka, он может прочитать последние зафиксированные смещения в теме

1 Ответ

0 голосов
/ 31 декабря 2018

Сообщения Pub / sub сохраняются до тех пор, пока они не будут доставлены и подтверждены подписчиками, которые получают ожидающие сообщения от своей подписки.После подтверждения сообщения оно удаляется из очереди подписки.

Для получения дополнительной информации о потоке сообщений проверьте этот документ

Надеюсь, это поможет.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...