Kafka 2.0 - Мойка Kafka Connect - Создание производителя Kafka

Question

В настоящее время мы работаем с HDF (Hortonworks Dataflow) 3.3.1, который объединяет Kafka 2.0.0 и пытается использовать Kafka Connect в распределенном режиме для запуска коннектора Google Cloud PubSub Sink. Мы планируем отправить обратно некоторые метаданные в Kafka Topi c и должны интегрировать производителя Kafka в функцию flu sh () задачи Sink * код 1016 *.

Будет это оказывает негативное влияние на процесс, когда Kafka Connect возвращает смещения в Kafka (как мы бы добавили накладные расходы на запуск производителя Kafka до гриппа sh).

Кроме того, как Kafka Connect получает список серверов Bootstrap из конфигурации, если он не указан в свойствах соединителя ни для приемника, ни для источника? Мне нужно использовать тот же список Bootstrap серверов, чтобы запустить режиссер. В настоящее время я изменяю конфигурацию для соединителя приемника, добавляя список серверов bootstrap в качестве свойства и анализируя его в коде Java для соединителя. Я хотел бы использовать bootstrap список серверов из рабочих свойств Kafka Connect, если это возможно.

Пожалуйста, помогите в этом.

Заранее спасибо.

Answer 1

необходимо интегрировать производителя Kafka в функцию flu sh () задачи Sink java code

В API SinkTask нет экземпляра производителя, предоставленного. .

Может ли это оказать негативное влияние на процесс, когда Kafka Connect фиксирует смещения в Kafka (как мы бы добавили накладные расходы на запуск производителя Kafka перед гриппом sh).

Я имею в виду, вы можете добавить любой код, который вы хотите. Что касается негативных воздействий go, то вы сами должны оценивать собственную инфраструктуру. Очевидно, что добавление большего количества блокирующего кода в целом замедляет другие процессы

. Каким образом Kafka Connect получает список серверов Bootstrap из конфигурации, если он не указан в свойствах соединителя ни для приемника, ни для источника ?

Раковины и источники не рабочие. Посмотрите на connect-distributed.properties

Я хотел бы использовать bootstrap список серверов из рабочих свойств Kafka Connect, если это возможно

Это невозможно. Добавление дополнительных свойств в конфиги приемника / источника - единственный способ. (Не стесняйтесь сделать Kafka JIRA, запрашивающую такую ​​функцию, чтобы показать рабочие конфиги, хотя)