Существует ли простой и эффективный способ загрузки (открытия) более 5000 изображений из хранилища Google в ноутбук Python?

Question

У меня есть блокнот jupyter (python), работающий на платформе Google AI. Для чтения файла в блокнот из хранилища Google я использую:

blob = storage.blob.Blob(filename,bucket)
content = blob.download_to_filename(filename)

. Существует простой способ указать каталог корзины и сделать чтение изображений размером более 5 КБ более простым, эффективным и прозрачным длятрубопровод? спасибо, N

Answer 1

Самый простой способ - использовать команду gsutil с параллелизмом:

!gcloud -m cp gs://<your bucket>/* /<your local path>/

Добавить -r, если изображения также находятся в подкаталоге. Здесь видео

Если загрузка все еще идет медленно, посмотрите количество виртуальных процессоров, которое у вас есть для вашего ноутбука. Пропускная способность ограничена 2 Гбит / с на vCPU до 8 vCPU.

Чтобы снова увеличить производительность, позаботьтесь о горячих точках. В самом деле, если имена вашего изображения слишком похожи, это тот же осколок, который его обслуживает, и у вас есть разногласия. Вот видео, которое описывает это

Однако, как правило, не обязательно иметь все изображения в вашем ноутбуке Jupiter. Вы должны выполнить / проверить свою модель на небольшом наборе данных, прежде чем запускать ее на выделенном сервере, и по-настоящему обучить свою модель.