Ошибка ввода / вывода при использовании Google Colab для чтения файлов Google Dirve

Question

Я тренирую свою модель с колабом. Я не раз сталкивался с этой ошибкой, когда использовал функцию перечисления в colab для итерации своих данных обучения на Google Диске. Время возникновения ошибки неизвестно. Ошибка может быть после обучения в течение нескольких эпох или в нескольких итерациях.

Я пытался изменить путь к набору данных в Google Диске или уменьшить размер пакета, они не действуют.

   192     batch_time = AverageMeter()
   193     losses = AverageMeter()
--> 194     for i, sample in enumerate(train_loader):
   195         start = time.time()
   196         input = sample['image'].cuda()

File "/usr/local/lib/python3.6/dist-packages/PIL/Image.py", line 2530, in open
    fp = builtins.open(filename, "rb")
OSError: [Errno 5] Input/output error: './nyud_cropped/train_labels/001187.png'

Answer 1

Моя рекомендация состоит в том, чтобы сначала скопировать данные с диска на эфемерный компьютер VM перед тренировкой.Это также может ускорить процесс.