Kafka-Connect ElaseSearch Авто-строчные название темы для индекса - PullRequest
0 голосов
/ 14 февраля 2019

Я использую стоковый поисковый коннектор kafka-коннектора для индексации сообщений из нескольких тем кафки вasticsearch.У меня есть темы с именами camelCase, и я не могу их изменить.Таким образом, при запуске соединителя приемника ES он ничего не индексирует, потому что у elaticsearch есть проблемы с именами индексов не в нижнем регистре.

Я знаю, что могу использовать свойство topic.index.map для ручного преобразования имени темы в индекс.
topic.index.map=myTopic1:mytopic1, myTopic2:mytopic2,...

Есть ли способ автоматически преобразовать в строчные буквы? У меня есть десятки тем для конвертации, и я подозреваю, что скоро их будет около сотни.

Ответы [ 2 ]

0 голосов
/ 14 февраля 2019

Начиная с последних версий коннектора раковины Elasticsearch, это делается автоматически.PR, который это исправил, был https://github.com/confluentinc/kafka-connect-elasticsearch/pull/251

0 голосов
/ 14 февраля 2019

Обнаружено, что с 5.1 они делают это автоматически, если для темы не указано сопоставление.
отсюда :

final String indexOverride = topicToIndexMap.get(topic);
String index = indexOverride != null ? indexOverride : topic.toLowerCase();

См. этосовершить для деталей.

...