Solr совершить слишком долго

Question

Кажется, мой коммит занимает слишком много времени, если вы заметили из Dataimport приведенный ниже статус для принятия 1000 документов занимает более 24 минут

<str name="status">busy</str>
<str name="importResponse">A command is still running...</str>
<lst name="statusMessages">
<str name="Time Elapsed">0:24:43.156</str>
<str name="Total Requests made to DataSource">1001</str>
<str name="Total Rows Fetched">1658</str>
<str name="Total Documents Skipped">0</str>
<str name="Full Dump Started">2011-06-07 09:15:17</str>
<str name="">
Indexing completed. Added/Updated: 1000 documents. Deleted 0 documents.
</str>
</lst>

Что может быть причиной, я пытался найти причину или способ улучшить это, но я просто не могу найти. В таком случае мои документы никогда не получат проиндексированы, учитывая, что в базу данных поступило более 100 000 записей каждый час.

С уважением, Рохит

Answer 1

Я не знаю, используете ли вы solrj

public abstract class SolrServer

, но если вы это сделаете, вам действительно нужно индексировать по чанкам / коллекциям:

  public UpdateResponse add(Collection<SolrInputDocument> docs ) 

, а не по одному

Answer 2

Добавлен optimize = false в обработчике импорта данных. Это в некоторой степени ускорило процесс, теперь я оптимизирую только в нерабочее время.