Kafka Connect эластичный поиск разъем (приемник) данные перемещаются в (почти) в режиме реального времени - PullRequest
Новая
       2

Kafka Connect эластичный поиск разъем (приемник) данные перемещаются в (почти) в режиме реального времени

0 голосов
/ 18 февраля 2020

заинтересованы в переносе данных из кафки в эластичный поиск. так что у меня есть настройка kafka connect adapsealsearch connector .

, хотя я просмотрел всю документацию и конфигурацию , я еще не нашел, как настроить соединитель для перемещения данных из kafka дляasticsearch в (почти) режиме реального времени.

, то есть заставляет соединитель потреблять сообщения из (kafka) topi c каждую секунду и записывать их в эластичный поиск, имитируя потоковую передачу сообщений от kafka наasticsearch .

это текущая конфигурация для коннектора: 

{
  "name": "elasticsearch-sink",
  "config": {
    "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "tasks.max": "1",
    "topics": "foo",
    "key.ignore": "true",
    "schema.ignore": "true",
    "connection.url": "http://elasticsearch:9200",
    "type.name": "kafka-connect",
    "name": "elasticsearch-sink"
  }
}

как нужно сконфигурировать коннектор, чтобы он "передавал" сообщение от kafka наasticsearch?

1 Ответ

0 голосов
/ 18 февраля 2020

Поскольку Kafka Sink Connector основан на consumer, вы можете контролировать интервал опроса с помощью потребительских свойств (например, max.poll.interval.ms, max.poll.records). Для настройки просто добавьте свойство потребителя с префиксом consumer. в конфигурацию вашего коннектора:

consumer.max.poll.records = 1

...