SOLR 3.1 Проблема с индексированием

Question

У нас возникли некоторые проблемы с поиском SOLR.

Мы используем SOLR 3.1 с Jetty.Мы установили схему в соответствии с нашим требованием.Мы установили data-config.xml для импорта записей в Collection (Core) из нашей базы данных (Sql Server 2005).В базе данных содержится 320 000 записей, которые нам нужно импортировать.

После завершения импорта, когда я пытаюсь найти все записи администратором SOLR

http://localhost:8983/solr/Collection_201/admin/

Показывает общее число найденных 290 000. Итак, 30 000 записей отсутствуют.

Теперь у меня на уме следующие вопросы

Как я могу узнать, какая запись не проиндексирована должным образом?ИЛИ какая запись отсутствует?Чтобы узнать это, я попробовал хитрость, подумал, что должен был поместить поле в базу данных, чтобы узнать, какая запись импортирована в коллекцию SOLR, а какая нет.Но большой вопрос, как мне обновить это поле базы данных при импорте из data-config.xml.Потому что тег позволяет вам только поисковые запросы ИЛИ другими словами что-то возвращать.Итак, я получил еще одну идею, чтобы все еще обновить это поле базы данных.Я создал хранимую процедуру в моей базе данных, которая содержит запрос на обновление, который обновит поле в базе данных, и после этого у меня есть запрос на выборку, который просто возвращает 1 запись для выполнения требования.Но когда я попытался запустить DIH с этим, он возвращает сообщение об ошибке «Ошибка индекса. Откатить все изменения» и ничего не импортируется.Когда я прокомментировал запрос на обновление хранимой процедуры, он работает.Поэтому он не позволял мне запускать запрос на обновление, даже если он выполняется из хранимой процедуры.Поэтому я очень старался найти способ обновить базу данных из DIH.Но мне действительно не удалось ничего найти. Грустная улыбка. Я отказался от этой идеи обновить базу данных.

Я очистил индекс и снова начал импортировать данные.На этот раз я попытался вручную запустить страницу импорта Solr Admin для 5000 записей за ход.В конце, для некоторых, как записи все еще отсутствуют.

Возможно ли, что это не зафиксировано должным образом.Я красный в документации, что страница импорта (http://localhost:8983/solr/Collection_201/dataimport?command=full-import&clean=false) автоматически фиксирует импортированные данные. Но я лично заметил, что иногда это происходит, а иногда нет. Так что это действительно сводит меня с ума. Грустная улыбка

Теперь яполностью разочарован и начинаю думать, как я использую SOLR, правильно или нет. Если я прав, то надежен ли он? Если я ошибаюсь, пожалуйста, объясните мне, в чем моя ошибка ??

Пожалуйста, Пожалуйста, сообщите мне, как легко мы можем синхронизировать коллекцию с нашей базой данных и убедиться, что она синхронизирована на 100%.

Answer 1

Также помните, что если одна запись в пакете неверна, весь пакет получает откат.Так что, если это произошло 3 раза, и вы индексируете 10 тыс. Документов каждый, это объясняет это.

В то время я решил это: https://github.com/romanchyla/montysolr/blob/master/contrib/invenio/src/java/org/apache/solr/handler/dataimport/NoRollbackDataImporter.java

, но должно быть лучшее / более элегантное решение, чем это.Я не знаю, как получить пропущенные записи в вашем случае.Но если вы проиндексировали идентификаторы, то вы можете сравнить проиндексированные идентификаторы с внешним источником и получить разрывы

Answer 2

Какое поле вы используете для своих идентификаторов в Solr и базе данных?Поле id должно быть уникальным, поэтому, если у вас есть 30 000 записей, которые имеют тот же идентификатор, что и около 30 000 других записей, данные перезапишут эти записи.

Кроме того, когда вы запускаете обработчик импорта данных, вы можете запроситьэто для статуса (? command = status) и в нем должно быть указано общее количество записей, импортированных при последнем запуске.

Первое, что я хотел бы сделать, это проверить наличие неуникальных идентификаторов в вашей базе данных. WRT solrполе id.