заголовок kafka и пара значений ключа

Question

Я наткнулся на эту ссылку для заголовков кафки.Как обсуждается в приведенной ниже ссылке

заголовок kafka https://cwiki.apache.org/confluence/display/KAFKA/KIP-82+-+Add+Record+Headers

Могу ли я использовать пару ключ / значение в файл-api для отправки заголовка и информации полезной нагрузки?Я вижу вопрос о сжатии журналов, могу ли я отключить сжатие журналов, чтобы в моем случае, когда каждый ключ был уникальным, журналы не отслеживали каждую запись?

я действительно создал производителя с ключомпара значений, где ключ имеет информацию заголовка, а значение - полезная нагрузка.Каждый ключ уникален.

Потребитель также получает правильную пару ключ-значение.

Я хотел бы знать, будут ли какие-либо проблемы с использованием этого подхода для информации заголовка с сжатием журнала в большом объеме.Можно ли отключить компиляцию журналов и разрешить очистить старые данные?

Answer 1

В дополнение к тому, что сказал cricket_007, и, если я понял вопрос, функция сжатия журнала основана не на ключах, используемых внутри заголовка, а на ключе в сообщении Kafka.Каждое сообщение Kafka имеет KEY, полезную нагрузку и заголовки (которые, конечно, являются парами ключ / значение), а также другие вещи (timestamp, ...).Сжатие журнала работает с ключом сообщения, а не с ключами на карте заголовков.

Answer 2

Заголовки не контролируют сжатие журнала.

Да, вы можете producer.send() a ProducerRecord с Headers

При включении или выключении сжатия журнала все записи уникальных ключей в окне храненияхранятся, так что не уверен, что понимаю этот вопрос