Я сохранил на своем диске огромный набор данных.Так как мой набор данных составляет около 1,5 ТБ.Я разделил его на 32 образца, чтобы можно было использовать numpy.save('data_1.npy') в Python 2.7.Вот пример из 9 наборов данных.Каждый из них имеет размер около 30 ГБ.
Форма каждого файла .npy равна (number_of_examples,224,224,19), а значения являются плавающими.
data_1.npy
data_2.npy
data_3.npy
data_4.npy
data_5.npy
data_6.npy
data_7.npy
data_8.npy
data_9.npy
Используя np.save ('* .npy'), мой набор данных занимает 1,5 Тера на моем диске.
1) Существует ли эффективный способ сжатия моего набора данных, чтобыполучить немного свободного места на диске?2) Есть ли эффективный способ сохранения файлов, которые занимают меньше места, чем np.save ()?
Спасибо