Как мне копировать большие объекты в Кафке?

Question

Использование IBM CDC для репликации LOBs в Kafka не работает с параметрами по умолчанию.

Я получаю сообщение об ошибке:

KafkaTargetBinaryWriter_BinaryWriter_0 {119} com.datamirror.ts.target.apply.kafka.KafkaTargetBinaryWriterJob $ KafkaProducerЗвонок по завершению (завершение)При сериализации сообщение имеет размер 10000000 байт, что превышает максимальный размер запроса, настроенный вами в конфигурации max.request.size.

Answer 1

Следующая ссылка объясняет параметры IDR CDC Kafka Replication Engine, влияющие на репликацию больших объектов.

https://www.ibm.com/support/knowledgecenter/en/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/applyprocesssystemparametersKafka.html

В представленном примере они настроили его на поддержку сообщений размером до 16 МБ.

Надеюсь, это поможет.