Я пытаюсь оптимизировать конвейеры компьютерного зрения с глубоким обучением для архитектур HPC, которые имеют высокопроизводительный параллельный ввод-вывод.Хранение большого количества файлов в одном каталоге является анти-паттерном в таких системах.Гораздо лучшая производительность ввода-вывода будет достигнута, если я смогу собрать изображения и записать их в один большой файл.
Какие форматы файлов лучше всего подходят для этой задачи?Существуют ли библиотеки Python для записи большого количества файлов изображений в один двоичный формат?Я натолкнулся на GEIS файлы, которые выглядят пригодными для этой цели, но не могут найти примеры, демонстрирующие использование.