Нет, производительность не зависит от количества файлов в каталоге. Причина, по которой открытие папки в проводнике Windows происходит медленно, заключается в том, что для каждого файла приходится отображать значки и различные другие элементы, связанные с графическим интерфейсом.
Когда веб-сервер выбирает файл, он не должен этого делать. Он просто (более или менее) напрямую попадает в местоположение файла на диске.
РЕДАКТИРОВАТЬ: Миллионы это своего рода расширение ограничений вашей файловой системы (я полагаю, NTFS в вашем случае). Похоже, что более 10000 файлов в каталоге начинает ухудшать вашу производительность. Поэтому не только с точки зрения производительности, но и с точки зрения организации вы можете рассмотреть возможность их разделения на подкаталоги.