Если вас беспокоит нехватка ресурсов, то оптимум, вероятно, лучше всего определить, оценивая ваш параллельный просмотр при загрузке по сравнению с доступной памятью вашей системы.Сколько одновременных загрузок вы выполняете за раз, будет ключевой критической переменной в любом вычислении, которое вы можете сделать.Все, что вам нужно сделать, это убедиться, что у вас достаточно памяти для обработки параллелизма загрузки, и это довольно тривиально.Память дешева, и вам, скорее всего, не хватит пропускной способности сети задолго до того, как вы достигнете точки, когда ваш параллелизм превысил бы доступность памяти.
С точки зрения производительности, это не та вещь, которую вы действительно можете оптимизировать во время проектирования и разработки приложений.Вы должны иметь систему на месте, пользователи загружают файлы по-настоящему, а затем вы можете отслеживать фактическую производительность во время выполнения.
Попробуйте размер порции, соответствующий размеру окна TCP / IP вашей сети.Это примерно настолько оптимально, насколько вам действительно нужно получить во время разработки.