Самый эффективный способ обработки миллионов файлов - это быстрый SSD-накопитель. Стоимость открытия и закрытия каждого файла значительна и, вероятно, является узким местом. Жесткий диск может позволять вам читать только ~ 100 файлов в секунду, независимо от того, насколько они маленькие.
Для обработки файла в гигабайтах, вы можете обрабатывать части файла одновременно, хотя то, как вы это сделаете, зависит от формата и того, что вам нужно делать с файлом. Вы должны быть в состоянии прочитать файл со скоростью около 50 - 200 МБ / с в зависимости от того, что вы делаете с ним.