Как активировать и настроить мойку ElasticSearch Kafka Connect?

Question

Я пытаюсь настроить Kafka в кластере Kubernetes, используя helm.

Я использовал Confluent helm chart , который довольно полон, для установки Kafka.

Затем я попытался увидеть, как настроена эластичная Kafka Connect раковина .Особенно меня поражает один момент: команда confluent load elasticsearch-sink.Как я могу сделать это воспроизводимо при запуске контейнера?Кроме того, чтобы настроить эластичный, я должен установить файл свойств.Правильно ли я использовать ConfigMap ?Я, однако, растерялся, потому что мне придется изменить конфигурацию YAML, созданную helm, которая не кажется такой воспроизводимой ...

Кто-нибудь есть совет?

Answer 1

Особенно меня поразил один момент: команда confluent load elasticsearch-sink

Команда confluent предназначена для использования только в localhost разработке / запуске .Поэтому он не будет знать о Kubernetes (например, вам понадобится контроллер Ingress для предоставления API Connect REST).

Прав ли я использовать ConfigMap?

Не думаю, что это правильно.По крайней мере, за пределами Operator Framework для Kafka Connect (если таковой существует).

Соединение настроено через JSON REST API .

Поэтому также недоступен для загрузки конфигурации при запуске.Это нужно сделать вручную POST, тогда эта конфигурация будет сохранена в CONNECT_CONFIG_STORAGE_TOPIC Kafka.

Внутренне confluent load - это буквально curl -XPOST -H 'Content-Type: application/json' -d${file} localhost:8083/connectors