Я реализовал FlatDataCrawler в своем проекте, чтобы индексировать более 5 миллионов записей из внешнего источника.
Теперь я знаю, что могу вернуть свои элементы в методе GetItemsToIndex, унаследованном от FlatDataCrawler.
Вопрос в том, как бороться с таким количеством предметов?
Я предполагаю, что обработка такого большого количества данных в одном вызове GetItemsToIndex () не рациональна.
Что я могу сделать?