Преобразование набора данных в файл HDF5

Question

Я хочу преобразовать набор данных выражений лица в файл HDF5, и я не знаю, как именно это сделать.

из здесь Я знаю, как это сделать с набором данных cat-vs-dog, но я хочу знать, как это делается в целом.

(Моя цель всего этого - ускорить процесс обучения моей модели CNN в коллаборации Google, и я попытался сделать это, подключив диск Google и, следовательно, читая мой набор данных с диска Google, но он был слишком медленным для обучения моей модели (даже медленнее, чем мой компьютер!)).

Answer 1

Сначала вам нужно импортировать пакет h5py

import h5py

Затем откройте файл в формате hdf5, например:

with h5py.File(os.path.join(output_folder, 'file_name' + '.hdf5'), 'a') as h:
// process file here as normal

Для получения подробной информации см.функция create_input_files здесь , чтобы узнать больше, или вы можете клонировать репозиторий и запустить python create_input_files, чтобы увидеть, как эта функция на самом деле работает и как создавать hdf5 файлы.