У меня есть тема с 7 миллионами записей (3 раздела), и я развертываю приемник Elasticsearch с 1 задачей, используя в основном конфигурации по умолчанию. Приемник начинается с создания индекса в Elasticsearch, а затем начинает запись со скоростью 10000 мсг / с. Если я внесу какие-либо изменения в задачи коннектора
- , остановим коннектор, перезапустите задачу, запустите коннектор
- оставьте коннектор в рабочем состоянии, но перезапустите задачу
Пропускная способность снижается до 400 мсг / с и никогда не восстанавливается до исходных 10 000 / с.
Если я остановлю соединитель, удалите индекс из Elasticsearch и возобновите соединитель, и он снова начнет терять 10 Кб / с.
Я пытался изменить настройки разъемов по умолчанию безрезультатно.
connection.timeout.ms=1000
batch.size=2000
max.retries=5
max.in.flight.requests=5
retry.backoff.ms=100
max.buffered.records=20000
flush.timeout.ms=10000
read.timeout.ms=3000
Моя конфигурация разъемов
connector.class=io.confluent.connect.elasticsearch.ElasticsearchSinkConnector
type.name=logdata
errors.log.include.messages=true
tasks.max=1
topics=d8.qa.id.log.sso.transformed.0
key.ignore=true
schema.ignore=true
value.converter.schemas.enable=false
elastic.security.protocol=PLAINTEXT
name=elasticsearch-sink-d8.qa.id.log.transformed
connection.url=http://172.30.2.23:9200,http://172.30.0.158:9200,http://172.30.1.63:9200
client.id=elasticsearch-sink-d8.qa.id.log.transformed
Подробности среды
Elasticsearch 6.8 (10 data nodes, 3 master)
Elasticsearch connector (version 2.2.1)
Kafka Connect (2 workers with 16GB memory, version 2.2.1)
Kafka Broker (3 brokers with 32GB memory, version 2.2.1)
ПРИМЕЧАНИЯ:
- То же поведение с ES 7.2 и разъемом Elasticsearch версии 2.3.1
- Это единственный разъемна развернутом в кластер подключений