Хорошо, вот несколько мыслей. Мне кажется, что ваша основная проблема - это медлительность вашей системы, и вы пытаетесь ее исправить, сжимая файлы и распаковывая их по требованию. Затем вы обнаружили, что декомпрессия слишком медленная, и вам нужен более быстрый способ сделать это.
Теперь я не полностью уверен, почему вы думаете, что это сжатие будет ускорять, а не замедлять.
Я хотел бы вернуться к оригинальной проблеме и больше работать над ее решением. Почему количество файлов замедляет работу вашей системы? Если вы можете понять это, вы можете исправить это так, чтобы не происходило даже медленнее.
Если проблема связана со слишком большим количеством файлов в каталоге, подумайте о разделении на несколько каталогов. Но я понятия не имею, есть ли у NTFS такая проблема (у FAT). Например, если у вас есть каталог с файлами для каждой минуты за последние десять лет (пять миллионов файлов), вы можете разделить их на дневные каталоги (три с половиной тысячи каталогов с полторы тысячи файлов в каждой).
Сжатие не уменьшит число файлов, только пространство, занимаемое ими.
Если проблема связана с количеством файлов в системе (а не в каталоге), существует множество способов разделения файлов между системами. Например, выделите 10% всего файла на десяти разных компьютерах и перенаправьте входящие запросы для определенного файла на соответствующий компьютер.
Но, я должен сказать, я видел, что машины Windows обрабатывают абсолютную загрузку файлов, поэтому я был бы очень удивлен, если бы проблема заключалась в этом. Я думаю, вы, вероятно, просто должны будете отследить, что на самом деле вызывает ваши "зависания".