Количество строк в таблице SQL (индексируется до сих пор с использованием Solr): 1 миллион
Общий размер данных в таблице: 4 ГБ
Общий размер индекса: 3,5 ГБ
Общее количество строкчто я должен индексировать: 20 миллионов (примерно 100 ГБ данных) и растущий
Какова наилучшая практика в отношении распределения индекса?Здесь я хочу сказать, когда мне следует распространять и какое магическое число я могу иметь для размера индекса на экземпляр?
Для одного миллиона экземпляров Solr, работающих на виртуальной машине, требуется около 2,5 часов для индексациидля меня.Таким образом, примерно на 20 миллионов это займет 60-70 часов.Это было бы слишком много.
Какова будет лучшая распределенная архитектура для моего случая?Было бы здорово, если бы люди могли поделиться своими лучшими практиками и опытом.