Темы Kafka не создаются после начальной загрузки - PullRequest
Новая
       12

Темы Kafka не создаются после начальной загрузки

0 голосов
/ 14 марта 2019

У меня есть работающий экземпляр контейнера док-станции Landoop Fast Data Dev, который имеет sqlserver в качестве источника и s3 в качестве приемника. Исходная конфигурация 

name=JdbcSourceConnector
connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
tasks.max=1    
connection.url=jdbc:sqlserver:/hostname.com.au:1433;databaseName=DB;user=;password=
topic.prefix=activitylog
timestamp.column.name=DateTimeStamp
query=Select * from dbo.activitylog
mode=timestamp 
table.types=VIEW
poll.interval.ms=5000
batch.max.rows=1000

Как только приемник s3 настроен, я вижу около 1000 строк, немедленно записанных в s3, но после этого ничего не происходит. Мой источник получил тысячи строк, но производитель не производит больше тем после первого запуска. Есть ли какая-либо дополнительная настройка, чтобы продюсер мог постоянно создавать темы?

Подключение приемника S3 выглядит следующим образом 

name=S3SinkConnector
connector.class=io.confluent.connect.s3.S3SinkConnector
topics=activitylog
tasks.max=1
format.class=io.confluent.connect.s3.format.avro.AvroFormat
flush.size=3
s3.bucket.name=testbucket
storage.class=io.confluent.connect.s3.storage.S3Storage
s3.region=ap-southeast-2
s3.part.size=5242880
partitioner.class=TimeBasedPartitioner
path.format= YYYYMMdd_HH
timezone=AEST

Пожалуйста, помогите.

...