Я создаю собственный набор данных pytorch для обучения системы классификации аудио. Поскольку некоторые преобразования, применяемые во время обучения в качестве дополнения данных, требуют вычислительных ресурсов (например, аудиоданные со сдвигом высоты тона), я хотел бы добавить кэш в мой набор данных, чтобы ускорить обучение. HDF5, кажется, рекомендуется для этой задачи.
В принципе, в каждой тренировке l oop мне нужно искать в кеше. Если образец с определенными параметрами дополнения уже рассчитан, образец будет загружен из кэша, в противном случае он будет рассчитан и кэширован. Как мне структурировать файл HDF5 для этого?
Заранее спасибо за любые предложения.