Государственный магазин Apache Flink vs Kafka Streams - PullRequest
0 голосов
/ 09 февраля 2019

Насколько я знаю, Kafka Streams обрабатывает свои состояния локально в памяти, на диске или в теме Kafka, потому что вся входная дата происходит из раздела, где все сообщения вводятся с определенным значением.Большую часть времени вычисления могут выполняться без знания состояния других процессоров.Если это так, у вас есть другой экземпляр Streams, который вычисляет результат.Как на этой картинке:

enter image description here

Где именно Flink хранит свои состояния?Может ли Flink также хранить состояния локально или всегда публиковать их всегда для всех экземпляров (задач)?Можно ли настроить Flink так, чтобы он сохранял состояния в Kafka Broker?

1 Ответ

0 голосов
/ 09 февраля 2019

Flink также использует локальные хранилища (которые могут быть введены), аналогично Kafka Streams.Однако он не записывает состояние в разделы Kafka.

Для обеспечения отказоустойчивости требуются так называемые «распределенные снимки», которые хранятся в настраиваемом бэкенде состояний (например, HDFS).

Проверьте документы для получения более подробной информации:

...