Как количество файлов в каталоге влияет на производительность?

Question

Я немного погуглил по этому вопросу, поскольку был уверен, что на этот вопрос, должно быть, дан ответ, но я не нашел ничего краткого.Я понимаю, что это очень сильно зависит от типа используемой файловой системы.Но есть ли какие-либо общие заявления, которые можно сделать?

Как правило, быстрее иметь, скажем, 10.000 файлов в одной папке или 100 папок, содержащих по 100 файлов в каждой?

Answer 1

Это действительно зависит от контекста и того, что вы пытаетесь сделать с этими файлами.Мои папки Windows обычно хранят файлы размером менее 4 КБ (4096), потому что при их отображении Explorer имеет тенденцию зависать.

Однако в ОС на базе * nix у меня было 10k + файлов в папке беззаметная потеря производительности, учитывая, что я знал, какие файлы я искал.

Очевидно, что если вы собираетесь выполнять итерацию в папке, что является операцией O (n), это займет больше времени, чем большефайлы у вас есть.

Answer 2

Операционная система быстрее достигает файл, когда у вас есть 100 папок с 100 файлами внутри, и я вижу много улучшений, когда разделяю один каталог, в котором содержится более 20 000 файлов.