Импортировать большой файл sql (30 ГБ в день) в один индекс вasticseach

Question

У меня создается дамп sql (40 ГБ) каждый день, я хотел бы перенести этот дамп вasticseach в одном индексе, например: дамп вчера был перенесен в index1, дамп сегодняшнего дня должен быть перенесен в тот же индекс(т. е. index1), и следующие дампы в течение следующих дней также должны быть добавлены к тому же индексу (index1).

Мой вопрос: вasticsearch, как можно структурировать индекс для хранения этих больших дампов, генерируемых каждый день?

Answer 1

Общая проблема заключается в том, что с вашим шаблоном использования каждый шард должен иметь определенный размер (в зависимости от варианта использования от 10 до 50 ГБ каждый). С одним индексом это будет очень трудно достичь.

То, что вы хотите, называется индексом ролловера , который в основном создает новый индекс после достижения определенного условия - это, вероятно, будет размер для вас. И имея псевдоним, указывающий на все индексы, вы можете легко искать по всему набору данных.

Кроме того, недавняя функция ILM значительно упрощает управление индексами ролловеров, поэтому я рассмотрю это здесь.