ограничения количества файлов в одной директории в unix / linux с использованием Python

Question

плохо ли выводить много файлов в один и тот же каталог в unix / linux? Я запускаю тысячи заданий в кластере, и каждый выводит файл в один каталог. Верхняя граница здесь составляет около 50 000 файлов. Можно ли ограничить скорость ввода-вывода в свете этого? Если это так, проблема исчезнет с вложенной структурой каталогов?

Спасибо.

Answer 1

См:

Сколько файлов я могу поместить в каталог?

Answer 2

Мое предложение состоит в том, чтобы использовать вложенную структуру каталогов (т.е. категоризацию). Вы можете назвать их, используя временные метки, специальные префиксы для каждого приложения и т. Д. Это дает вам чувство порядка, когда вам нужно искать определенные файлы и для более легкого управления вашими файлами.

Answer 3

Я считаю, что большинство файловых систем хранят имена содержащихся файлов в списке (или какой-либо другой структуре данных с линейным доступом), поэтому хранение большого количества файлов в одном каталоге может привести к замедлению простых операций, таких как перечисление. Наличие вложенной структуры может решить эту проблему путем создания древовидной структуры (или даже Trie , если это имеет смысл) имен, которые могут сократить время, необходимое для получения статистики файла.