Почему количество файлов сильно влияет на скорость удаления? - PullRequest
1 голос
/ 07 мая 2019

Недавно я выяснил, что количество файлов сильно влияет на производительность удаления.В моем проекте я ежедневно создаю большое количество файлов отчетов (около 1 ГБ в 90.000 файлов).Я удаляю старые отчеты дважды в неделю.И я заметил, что удаление около 4 ГБ из 350 000 файлов занимает около 5 минут.Я провел эксперимент с 10 большими файлами по 1 ГБ каждый (всего 10 ГБ), и они были удалены почти мгновенно.

Кто-нибудь знает, как работает память?Я думал, что это почти не имеет значения, сколько файлов я удаляю, а только их размер.Почему это происходит?

У меня windows 10 и NTFS файловая система

1 Ответ

2 голосов
/ 07 мая 2019

Обычно ОС стирает только информационные биты о файле (то есть имена файлов, атрибуты, время модификации и т. Д., А также информацию , где фактические данные файла были), но не файл content (который в конечном итоге перезаписывается только тогда, когда вам нужно больше места для других файлов). Таким образом, в отличие от того, что вы говорите, количество файлов в этом контексте имеет значение намного больше , чем их общий размер.

Сказав это, это все еще вопрос, зависящий от файловой системы. Некоторые FS могут выполнять удаление файлов значительно быстрее, чем другие, особенно при очистке целых каталогов и поддеревьев.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...