Запустить Kafka Connect Workers в Kubernetes / OpenShift без публикации настроек через REST API?

Question

Я бы хотел запустить работников Kafka connect на OpenShift. Я хотел бы использовать OpenShift для (автоматического) масштабирования. Однако мне не ясно, как передать конфигурацию соединителя, если она обычно предоставляется вручную через вызов REST конкретному работнику после его запуска.

Таким образом, вопрос заключается в том, можно ли предоставить полную спецификацию соединителя работнику во время запуска без вызовов REST.

Answer 1

во время запуска без вызовов REST

Нет, это не так. См. вопрос, который я создал для него .

Вы должны загрузить конфигурацию коннектора только один раз с помощью REST. Рабочая конфигурация полностью зависит от переменной среды, и для масштабирования рабочих не требуется публиковать новую конфигурацию соединителя для их масштабирования, если вы, например, не хотите увеличить tasks.max. Но в любом случае вы можете начать это как количество разделов Kafka, и это ваш предел для Connect, даже с одним работником.

Answer 2

Лично я думаю, что вы можете ввести информацию в модули kafka, используя некоторые шаблоны, такие как deploymentConfig, statefulset, daemonset и т. Д.

Например, следующая ссылка объясняет о приложении ruby, как получить информацию о соединении mysql из введения переменных среды.

• Определение службы для внешней базы данных

    env:
      -
        name: "MYSQL_USER"
        value: "${MYSQL_USER}" 
      -
        name: "MYSQL_PASSWORD"
        value: "${MYSQL_PASSWORD}" 
      -
        name: "MYSQL_DATABASE"
        value: "${MYSQL_DATABASE}" 
  

Как и в приведенном выше примере, вы должны запустить некоторые wrapper start script или binary of related application, которые настроены на получение информации о соединении как environment variables.