Вставьте 100k записей в упругом поиске

Question

Я хочу поместить 100 тыс. Записей в конкретный индекс эластичного клиента.

ElasticClientManager предоставляет функцию

public static IBulkResponse AddDocument<T>(List<T> itemList, string indexName, Func<T, string> fieldSelector) where T : class;

для одновременной вставки большого количества элементов.Но этот метод занимает 2 минуты для 4000 записей.Есть ли альтернативный способ сделать это за меньшее время?

Answer 1

• Для повышения производительности отключите индексирование при массовой загрузке данных. После завершения операции массовой загрузки снова включите инструмент группового индекса и заполните ваши индексы новыми данными.

• Если вы планируете изменить типы файлов MIME по умолчанию для индексации содержимого, выполните процедуру, описанную в разделе «Укажите типы MIME для индексации содержимого», прежде чем запускать инструмент массового индекса.

• Если вы индексируете большие объемы данных, состоящих из объектов держателей контента (например, документов), рассмотрите возможность установки свойства wt.index.BulkIndexContentQueueList. Это свойство устанавливает отдельные очереди индексации для объектов владельца содержимого.