Да, это во многом зависит от реализации файловой системы.
Некоторые файловые системы имеют специальные оптимизации для больших каталогов. Один пример, который я могу вспомнить, это ext3 , который использует индексирование HTree для больших каталогов.
Вообще говоря, обычно некоторая задержка находит файл. Однако, как только файл найден / открыт, его чтение не должно быть медленнее, чем чтение любого другого файла.
Некоторые программы, которым необходимо обрабатывать большое количество файлов (например, для кэширования), помещают их в большое дерево каталогов, чтобы уменьшить количество записей в каталоге.