Чтение дублированных сообщений через контрольные точки flink - PullRequest
0 голосов
/ 27 сентября 2018

Я пытаюсь использовать Apache Flink 1.6.0 для чтения некоторых сообщений из темы кафки, преобразования их и, наконец, отправки их в другую тему кафки.Я использую точки сохранения, чтобы сохранить состояние приложения в случае отмены и повторного запуска.Проблема в том, что у меня есть дублирование при чтении сообщений после перезагрузки.Кафка версия 011. Спасибо за любой полезный комментарий.

1 Ответ

0 голосов
/ 28 сентября 2018

Чтобы избежать дубликатов, необходимо пропустить Semantic.EXACTLY_ONCE при настройке производителя kafka.См. документацию для более подробной информации о потере и дублировании данных при работе с Kafka.

...