формат обмена данными для использования с Apache Kakfa, который обеспечивает проверку схемы - PullRequest
0 голосов
/ 08 февраля 2019

Каков наилучший формат сообщения для использования с apachhe kafka, чтобы производители и потребители могли определять контракт и проверять данные, а также сериализовывать / десериализовывать данные?например в xml у нас есть xsd.но в json нет универсальной схемы. Я читал об использовании apache avro, но не уверен, насколько быстро это будет, поскольку я не могу позволить себе более 5–6 мс для проверки и десериализации схемы?какие-либо входы, пожалуйста?Мы будем обрабатывать тысячи транзакций в секунду, и SLA для каждой транзакции составляет 150 мс, поэтому я ищу что-то очень быстрое

1 Ответ

0 голосов
/ 08 февраля 2019

Avro часто цитируется как медленный (er) и добавляет накладные расходы по сравнению с другими двоичными форматами, но я считаю, что это для варианта использования , а не с использованием реестра схемы, где схема исключенаот фактической полезной нагрузки.

В качестве альтернативы, вы можете использовать Protobuf или Thrift , если вам абсолютно нужна схема, однако я не думаю, что сериализаторы для этих форматов легко доступны, из того, что я видел.Кроме того, схемы должны передаваться между вашими клиентами, если иное не зафиксировано в центральном местоположении.

Я могу с уверенностью сказать, что Avro должен подойти для запуска, хотя и Реестр определенно полезен, и не только для случаев использования Kafka.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...