Примет ли настройка производителя Kafka, если она определена в брокере, а не в производителе?

Question

Я пытаюсь установить compression.type, и в настоящее время настраиваю его в конфигурации моего брокера. Если я не определю собственность в моем производителе, это вступит в силу? Я не указываю compression.type значения или даже свойства в моем развертывании производителя.

Answer 1

Эти два свойства служат разным целям, см. Ссылка Кафки на c.

Когда определено на стороне производителя, compression.type код c используется для сжатия каждой партии для передачи и, следовательно, для увеличения пропускной способности канала.

На уровне topi c (посредник) compression.type определяет код c, используемый для store данные в лог Kafka, т.е. минимизировать использование диска. Специальное значение producer позволяет Kafka сохранить исходный код c, установленный производителем.

Answer 2

это зависит от того, что вы хотите сжать. Вы можете сжать отправленные данные и вы можете сжать данные, хранящиеся в темах. Поэтому определите его на стороне брокера, чтобы настроить способ сохранения данных, или укажите его на стороне производителя, чтобы настроить способ отправки данных

сторона брокера:

Укажите окончательный тип сжатия для данного топи c. Эта конфигурация принимает стандартные кодеки сжатия ('gzip', 'snappy', 'lz4', 'zstd')

см. смежную документацию

производитель сторона:

Тип сжатия для всех данных, созданных производителем. По умолчанию нет (т.е. нет сжатия). Допустимые значения: none, gzip, snappy, lz4 или zstd.

см. смежная документация