IIDR CDC Kafka на AWS

Question

Мы пытаемся опубликовать форму данных db2-IIDR (IBM CDC) в Kafka на AWS. Сбой подписки из-за ошибки ниже -

 An error occurred during the conversation with Kafka. 
    Error: org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for cdckafka-subsname-commitstream-0

Существуют ли какие-либо предварительные условия для публикации потоков из IIDR в Kafka на aws?

Еще несколько деталей -

-Kafka кластер работает на AWS

-IIDR CDC двигатели -> в помещении (как исходный, так и целевой)

-На локальных IP-адресах есть белый список, и я могу пинговать / telnet-порты с предварительной установки на aws и наоборот.

Спасибо!

Answer 1

Вам необходимо настроить своих брокеров Kafka со слушателями, которые будут работать с внешними клиентами. Вы можете увидеть подробности здесь .

Недостаточно просто выполнить пинг с локального клиента на AWS - вам необходимо проверить его с помощью клиента Kafka, например kafkacat