Брокер Kafka 1.10, клиенты, использующие API 0.10.2

Question

Должны ли мы обновить нашу клиентскую библиотеку Scala Kafka (в настоящее время 0.10.2), чтобы она соответствовала версии брокера Kafka (v1.1.0)?

Документация Kafka 0.10.2 Упоминает

Начиная с версии 0.10.2, клиенты Java (производитель и потребитель) приобрели возможность общаться с более старыми брокерами.Клиенты версии 0.10.2 могут общаться с версией 0.10.0 или более новыми брокерами

Существуют ли какие-либо неблагоприятные последствия, когда версия API клиента отстает от версии сервера?Что еще более важно, можем ли мы безопасно обновить нашу клиентскую API-библиотеку Kafka с 0.10.2 до 1.10?

Answer 1

Несмотря на то, что брокеры теперь совместимы со старыми клиентами, использование старых клиентов имеет несколько недостатков.

Основным из них является преобразование сообщений.Между 1.1 и 0.10.2 формат записи изменился.Таким образом, по умолчанию старые клиенты заставляют брокеров конвертировать сообщения при их создании и использовании.Преобразование требует много памяти и снижает производительность.См. http://kafka.apache.org/documentation/#upgrade_11_message_format

Тогда очевидно, что старые клиенты не могут использовать новые функции.Между 0.10.2 и 1.1 существует множество полезных функций, таких как Точно однажды семантика , улучшенная обратная связь аутентификации при сбое , операции администратора и т. Д.