Существует ли связь между интервалом фиксации Kafka Connect и Kafka Streams?

Question

Допустим, у нас есть Kinkka Sink Connector, заполняющий базу данных из topi c TopicA,

и приложение Kafka Stream, отправляющее обновления в TopicA topi c.

Я хотел бы знать, если:

• Данные, обновляемые в базу данных через разъем Sink, и

• Момент, когда эти обновления выполняются

зависит от интервала принятия приложения Kafka Streams, и если да, то как?

Answer 1

• Kafka Stream App (производитель Kafka и потребитель )
• Соединитель раковины Kafka (только потребитель Kafka)

производитель Kafka не имеют абсолютно никакого влияния на интервал фиксации потребителей Kafka. Вам просто нужно позаботиться о том, чтобы производители Kafka не опережали ваших потребителей, чтобы избежать отставания группы потребителей. При медленном потребителе есть вероятность потери данных.

Answer 2

Я бы сказал, что они действительно связаны между собой.

Если потоки источника Streams фиксируются чаще, то данные поступают в топи c быстрее, и поэтому приемник Connect будет быстрее извлекать данные, в конечном счете вызывая больше запросов к базе данных. Наоборот для меньшей пропускной способности.

Однако каждый компонент настраивается индивидуально.