У меня есть огромные данные (миллионы записей) в mongo-db. Мне нужно прочитать данные из одной коллекции, затем выполнить некоторый процесс фильтрации, а затем снова сопоставить данные из другой коллекции в mongo-db. Я должен показать данные в CSV-файле (здесь я использую CsvWriter), я могу сделать это как отдельную программу / процесс, но это занимает много времени (от 5 до 6 часов). Я хочу использовать темы.
Мое требование:
Предположим, если у меня 1000000 записей в дБ, то 20 потоков должны распределяться по 5 КБ на поток. Если есть 2000000 записей, то 10k на поток. А также мы можем вставить данные в CSV-файл, используя CsvWriter одновременно, используя 20 потоков?