как уменьшить дисковое пространство, если у нас есть 10000 файлов данных тестового ввода

Question

У нас есть 10000 тестовых наборов, каждый тестовый набор имеет входной файл теста XMLТаким образом, существует 10 000 файлов XML, которые занимают много дискового пространства около 2 ГБ.

мы преобразовали все файлы XML в файлы JSON.которые уменьшают значительный объем пространства.

Мой вопрос?

Есть ли какой-либо инструмент или другой способ уменьшить размер, не влияя на производительность.

Answer 1

Одним из возможных способов является сжатие и хранение файлов данных на диске по отдельности.Когда нужен файл данных, просто распакуйте его через код и используйте его.

В случае Java вы можете использовать java.util.zip.GZIPOutputStream и java.util.zip.GZIPInputStream для сжатия и распаковки файлов.Расширение файла будет «.gz».

Python также имеет модуль 'gzip' для поддержки сжатия / распаковки файлов .gz.