Kafka Connect записывает данные в несуществующую тему

Question

Создает ли Kafka Connect тему на лету, если она не существует (но предоставляется как место назначения) или не копирует в нее сообщения?

Мне нужно создавать такие темы как минимум на лету или программно (Java API), не используя сценарии вручную.

Я искал эту информацию, но кажется, что темы должны быть уже созданы до миграции

Answer 1

По умолчанию Kafka не создает новую тему, когда потребитель подписывается на несуществующую тему. Вы должны включить auto.create.topics.enable=true в вашем файле конфигурации сервера Kafka , который включает автоматическое создание тем на сервере.

Как только вы включите эту функцию, Kafka автоматически создаст темы на лету. Когда приложение пытается подключиться к несуществующей теме, Kafka автоматически создаст эту тему.

Answer 2

Kafka Connect на самом деле не контролирует это.

В Kafka есть настройка, которая включает / отключает автоматическое создание темы.

Если это включено - Kafka Connect создаст свои собственные темы, если нет - вы должны создать их сами.