Как ускорить распаковку / чтение файлов с подключенного Google Диска в Colab?

Question

Я использую Colab со смонтированным Google Drive для распаковки zip-файлов и консолидации исходящих из них csvs. Но это, например:

for z in zip_list:
    zipfile.ZipFile(z, 'r').extractall()
    zipfile.ZipFile(z, 'r').close()
    os.remove(z)

работает примерно в 60 раз медленнее в Colab / Drive по сравнению с тем, когда я запускаю его на локальном компьютере. Почему это так медленно и как я могу это исправить?

Answer 1

Типичная стратегия - сначала скопировать файл .zip с диска на локальный диск.

Распаковка включает в себя множество небольших операций, таких как создание файла, которые на локальном диске выполняются намного быстрее, чем на диске, который пульт дистанционного управления.