Solr Обработчики импорта данных для MongoDB

Question

Я работаю над проектом, в котором миллионы записей хранятся в базе данных MongoDB, и я хочу проиндексировать все эти данные с помощью SOLR.

После обширного поиска я узнал, что для базы данных mongoDB нет подходящих «обработчиков импорта данных».

Может кто-нибудь сказать мне, каковы правильные подходы для индексации данных в MongoDB с использованием SOLR?

Я хочу использовать все функции SOLR и хочу, чтобы он был масштабируемым в режиме реального времени. Я видел один или два подхода из разных постов, но не уверен, как они будут работать в режиме реального времени ..

Большое спасибо

Answer 1

10Gen представляет Mongodb Connector. Вы можете интегрировать Mongodb с Solr, используя этот инструмент.

Сообщение в блоге: Представляем Mongo Connector

Страница Github: Монго-разъем

Answer 2

Я создал плагин, позволяющий загружать данные из MongoDb с помощью обработчика импорта данных Solr.

Проверьте его по адресу:

https://github.com/james75/SolrMongoImporter

Answer 3

Я написал ответ на аналогичный вопрос, за исключением того, как это было, как импортировать данные из MySQL в SOLR. Пример кода на PHP, но он должен дать вам общее представление. Все, что вам нужно сделать, это настроить итератор для пошагового просмотра ваших ресурсов MongoDB, извлечь данные в типы данных SOLR, а затем сохранить их в свой индекс SOLR.

Если вы хотите, чтобы он работал в режиме реального времени, вы можете добавить некоторый пользовательский код в механизм сохранения (при условии, что это можно сделать с помощью MongoDB) и сохранить его непосредственно в индексе SOLR, а затем запустить скрипт фиксации для фиксации данных каждый раз. 15 минут (через cron).