Проблема с доступом к данным с помощью Keras.ImagedataGenerator с использованием графического процессора, поскольку он показывает 0 images found from 2 classes. Он очень хорошо работает с процессором, поэтому после некоторых исследований я обнаружил, что мне придется импортировать данные с диска в виртуальную машину Colab, где к ним может получить доступ графический процессор. Мои данные составляют около 17 ГБ (80K изображений).
Я хочу создать zip-файл со своими данными и поместить его на SSD виртуальной машины. Мои данные похожи на
data ->
sub_dir1 -> images
sub_dir2 -> images
, поскольку команда ! ls -a drive/My\ Drive/spam_classifier/data дает мне sub_dir1 sub_dir2 в качестве вывода.
Я хочу заархивировать data_dir с диска и извлечь его в Colab текущий каталог.
Я использовал следующие команды.
! zip -r data.zip drive/My\ Drive/spam_classifier/data
! unzip data.zip
Но это занимает слишком много времени, и на выходе получается scanning..... Это правильно или я здесь что-то делаю не так?
Пожалуйста, предложите что-нибудь, чтобы я мог быстро загрузить данные? Могу ли я сделать загружаемый .zip на диске со ссылкой для загрузки, чтобы я мог напрямую использовать очень быстрый tf.keras.utils.get_file для загрузки файлов прямо в виртуальную машину в виде zip-архива?