Я работаю над проблемой классификации изображений с набором данных из приблизительно 1 000 000 изображений с общим размером ~ 36 ГБ. Я пытаюсь обучить модель CNN с этими данными на машине с 256 ГБ ОЗУ (и 4 x 16 ГБ VRAM).
Чтобы решить проблемы с памятью, с которыми я столкнулся при прямой подаче изображений в программу, я попытался преобразовать необработанные данные изображений в формат HDF5. Однако размер файла HDF5 продолжал расти, и конвертер падал, когда ему не хватало места на диске. Размер файла HDF5 на диске составляет 2,2 ТБ !!
Ожидается ли этот размер? Как я могу преобразовать это в (желательно намного) меньший файл?