Solr полный импорт из базы данных Oracle - PullRequest
0 голосов
/ 17 февраля 2019

Мы индексируем огромные данные (миллионы записей) из базы данных Oracle для решения очень сложных запросов, и мы будем выпускать производственную версию каждый месяц.Проблема здесь заключается в том, что когда новый столбец добавляется в таблицу базы данных, соответствующие поля должны быть добавлены в Solr и выполнить полный импорт всех миллионов записей, где его развертывание занимает от 2,5 до 3 часов.Таким образом, из-за этого каждый релиз продукта нам приходилось тратить 3-4 часа времени.Есть ли способ избежать полного импорта, а только дельта-импорт должен выполняться при добавлении нового добавленного столбца с новым значением, чтобы сократить время развертывания.

1 Ответ

0 голосов
/ 17 февраля 2019

«Дельта» здесь относится к некоторому подмножеству записей, а не к подмножеству столбцов во всех записях.Чтобы добавить новый столбец, вы должны переиндексировать.

Известны ли вам псевдонимы, чтобы вы могли переиндексировать новую коллекцию и, когда она будет готова, переключить псевдоним на новую коллекцию?

Если вы должны сохранитьтекущие данные в любом случае означают, что вы можете создать новую коллекцию только с идентификатором столбца и новым столбцом (но тогда, конечно, вам придется иметь дело с объединениями и т. д.).

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...