Couchbase / Elasticsearch разъем для нескольких ковшей - PullRequest
0 голосов
/ 20 февраля 2019

Существует ли способ репликации двух или нескольких ковшей couchbase в эластичный поиск с использованием одного файла конфигурации?

Я на самом деле использую эту версию коннектора эластичного поиска couchbase: https://docs.couchbase.com/elasticsearch-connector/4.0/index.html

Я делаюПравильно реплицируйте мои данные, но нужно каждый раз запускать команду для каждого сегмента, используя разные файлы конфигурации (.toml).

Не удалось, кстати, выполнить команду cbes несколько раз на одном сервере с портом метрик.31415 уже используется.

Есть ли способ обработать множество групп соединителей за один раз?

1 Ответ

0 голосов
/ 22 февраля 2019

В версии 4.0 процесс с одним соединителем может копироваться только из одного сегмента.Это связано с тем, что правила индексирования и все основные сетевые подключения к Couchbase Server находятся на уровне сегмента.

В настоящее время рекомендуется создать несколько файлов конфигурации и запустить несколько процессов коннектора.Понятно, что это может быть сложным в управлении, если вы реплицируете большое количество сегментов.

Если вы хотите проявить творческий подход, вы можете использовать тот же файл конфигурации template длянесколько ведер.Идея состоит в том, что вы напишите файл конфигурации с некоторыми заполнителями в нем, а затем создадите фактический файл конфигурации, запустив сценарий, который заменит заполнители правильными значениями для каждого соединителя.

Следующее обновление соединителя добавит встроенную поддержку подстановки переменных среды в файле конфигурации .Это может упростить использование шаблонов.

Вот несколько вариантов, позволяющих избежать конфликта портов метрик:

  • Отключить создание отчетов о метриках, установив клавишу httpPort в разделе [metrics]на -1.
  • ИЛИ Используйте случайный порт, задав для него 0.
  • ИЛИ Используйте шаблонную идею, описанную выше, и вставьте уникальный номер порта в каждый сгенерированный файл конфигурации.

Стоит отметить, что будущая версия соединителя будет поддерживать то, что мы называем " Автономный режим работы ".Когда соединитель работает в этом режиме, конфигурация будет храниться в центральном местоположении (возможно, на сервере Консул).Можно будет на лету перенастроить группу соединителей и добавлять или удалять рабочих в группу, не останавливая всех рабочих и не редактируя их файлы конфигурации.Надеемся, что это упростит управление большими развертываниями.

...