Подгонка коннететов, таких как Resnet и VGG, использует класс Python ImageRecordIter, который позволяет эффективно загружать пакеты из больших коллекций изображений RGB, хранящихся в файлах RecordIO .rec,
Кто-нибудь знает об эквивалентных средствах для больших произвольныхвходные 2D или 3D матрицы (для 2D, строки = элементы и столбцы = объекты, + каналы в 3D)?
NDArrayIter требует загрузки всего набора данных в память, чего в моем случае следует избегать (данные объемом более 40 ГБ)файл).CSVIter не допускает прямого тасования и работает только для 2D матриц.