Быстрый протокол для добавления элементов в Кафку с минимальной задержкой?

Question

Каков будет протокол для клиента, чтобы очень быстро добавлять элементы в Kafka с минимальной задержкой для клиента?Должен ли я использовать что-то вроде RPC / raw tcp вместо http?Я хочу добавить их в порядке и забыть, есть ли опция udp для добавления таких элементов?

Answer 1

Единственный способ напрямую взаимодействовать с кластером Kafka - это протокол Kafka.Это двоичный протокол по TCP, подробности см .: https://kafka.apache.org/protocol. Это то, что реализуют клиенты Kafka.

Существует несколько прокси / мостов, которые позволяют взаимодействовать через HTTP, AMQP инемного других протоколов, но в конечном итоге они используют протокол Kafka для подключения к кластеру, поэтому они не только имеют худшую производительность, но и часто предлагают меньше возможностей, чем протокол Kafka.

Kafka разработан с учетом скорости, поэтому протоколочень эффективно.Он также поддерживает пакетную обработку запросов, так что вы можете найти подходящее место «задержки по сравнению с пропускной способностью» для вашего варианта использования.

Относительно «запускайте и забывайте», вы можете указать необходимое подтверждение при выдаче данных в Kafka с помощью acks настройка.При значении 0 Производитель не будет ждать никаких отзывов от кластера, см .: https://kafka.apache.org/documentation/#producerconfigs