Как работает коннектор в KSQLDB и Kafka? - PullRequest
0 голосов
/ 12 июля 2020

У меня недостаточно информации о том, как исходный коннектор работает в KSQLDb и Kafka в целом.

  1. Насколько быстро данные заполняются в темы Kafka?

  2. А что, если потоку KsqlDb нужны данные из источника для объединения данных, но данные все еще загружаются?

  3. Отправляет ли исходный коннектор обновленные / вставленные данные в topi c , это происходит мгновенно?

Не могли бы вы помочь мне с этими проблемами или предложить хорошее руководство, где я могу узнать больше.

1 Ответ

1 голос
/ 29 июля 2020
  1. Насколько быстро данные заполняются в темы Kafka?

Зависит от соединителя. Некоторые соединители управляются событиями, а некоторые используют механизм опроса. Коннекторы, управляемые событиями, обычно будут работать в режиме реального времени, но часто требуют дополнительной настройки на стороне БД. В то время как соединители на основе опроса обычно не требуют каких-либо изменений на стороне базы данных. С помощью соединителей на основе опроса вы можете увеличить частоту опроса, обменивая меньшие задержки с высокой нагрузкой на БД.

Дополнительную информацию см. В документации по разъемам.

А что, если потоку KsqlDb требуются данные из источника для объединения данных, но данные все еще загружаются?

ksqlDB обычно обрабатывает ваши данные во времени. При объединении двух тем ksqlDB обработает сторону с самыми старыми данными. Обычно это означает, что данные потока не обрабатываются до тех пор, пока таблица не будет загружена.

Отправляет ли исходный коннектор обновленные / вставленные данные в topi c, это происходит мгновенно?

Не уверен, чем этот вопрос отличается от вопроса №1.

...