Пересылка сообщений от Кафки - PullRequest
Новая
       29

Пересылка сообщений от Кафки

0 голосов
/ 04 июля 2019

Я нахожусь в процессе разработки системы, которая действует как пересылка сообщений из одной системы в другую.У меня есть несколько вариантов, но я хотел бы применить лучший вариант, который обеспечивает меньшее потребление ресурсов (процессор, оперативная память) и задержки.Таким образом, мне нужна ваша рекомендация и взгляд на это.Мы предполагаем, что сообщения будут передаваться в нашу систему из темы в Kafka.Нам нужно перенаправить все сообщения из темы на другой хост.Для этой цели могут быть разные стратегии.

  1. Соберите определенное количество сообщений, скажем, 100 сообщений (пакетная обработка), и отправьте их сразу в одном сообщении HTTP.
  2. Когда одинсообщение получено, система отправит это сообщение как запрос POST http на целевой хост.
  3. Откройте webSocket между нашей системой и целевым хостом и отправьте сообщения.
  4. Ведите себя как производитель Kafka иотправлять сообщения в тему.

Каждый из них может иметь свои преимущества и недостатки.Я обеспокоен тем, что система может не обрабатывать большое количество поступающих сообщений.У вас есть какой-либо вариант, кроме этих 4 предметов?Какой из вариантов вы считаете лучшим?

1 Ответ

0 голосов
/ 04 июля 2019

Насколько важно ваше требование к задержке? HTTP довольно медленный, по сравнению с системой обмена сообщениями на основе UDP, но, возможно, вам не нужна такая специально настроенная задержка. Как вы знаете, пакетирование ваших сообщений увеличит задержку.

Но это беспокоит, потому что заголовок этой страницы "переадресация покоя" =). Должен ли он быть REST (так HTTP)? потому что кажется, что вы также можете представить себя продюсером кафки, если это так, то это не REST.

Объем памяти Кафки может быть немного большим (Java lib), но не так сильно. Вы работаете над встроенной системой (хотите уменьшить объем памяти?)

Для целей процессора ... это зависит от того, с чем мы сравниваем Kafka, но я все еще думаю, что Kafka довольно оптимизирован, когда запрашивает производительность.

Думаю, у нас нет больше информации об этом "другом хосте", не могли бы вы рассказать подробнее о его назначении?

Янник

...