Лучший способ интегрировать Solr с любым источником данных

Question

Я работаю над переносом моего старого инструмента индексирования в solr (версия 7).Но я не совсем уверен, как мне проиндексировать мои файлы для Solr.

Данные в нашей системе расположены в oracle DB, mysql и cassendra.Но обновления в этих БД встречаются не так часто (2-3 раза за 24 часа), и они будут источником моих файлов индекса solr.

В одной из коллекций у меня будет около 300–400 тыс. Записей, а в другой - около 5 тыс.

Я мог бы предложить 2 метода.

1. Создать ETL-конвейер из источника данных diff с помощью Apache Storm.
2. Использовать Kafka для подключения источника и приемника.

какая из 2 хороша для такой системы, как наша?или оба метода избыточны для системы, подобной нашей?

Answer 1

Размер данных достаточно мал, чтобы просто делать все, что вам удобно - либо использовать существующий инструмент, либо написать небольшой индексатор на языке, с которым у вас есть опыт работы.Нет необходимости переосмысливать это на этом этапе.

И вне этого - обычно невозможно дать рекомендацию без глубокого знания вашей ситуации, за исключением очень специфических вопросов.