Есть ли способ загрузить файл GCS вместо того, чтобы сначала загрузить его, а затем открыть на своем языке программирования?

Question

У меня есть ML-модель, хранящаяся в Google Storage Bucket, но теперь у меня проблемы с ее использованием.
Я подумал, что вместо того, чтобы сначала загрузить модель (1,25 ГБ), я мог бы просто загрузить данные напрямую в память, но я не смог найти по этому поводу никакой документации.

Итак, я хочу мгновенно получить данные файла в переменной, возможно ли это?

Answer 1

Кроме того, вы можете использовать Streaming Transfers .

Cloud Storage поддерживает потоковые передачи, которые позволяют вам передавать данные в свою учетную запись Cloud Storage и обратно, не требуя, чтобы данные сначала нужно сохранить в файл. Потоковая передача полезна, когда вы хотите загрузить данные, созданные в процессе, непосредственно в облачное хранилище или когда вы хотите загрузить данные из облачного хранилища в процесс.

Как объясняется в документации, вы можете используйте сторонний плагин клиентской библиотеки boto для облачного хранилища , чтобы использовать этот инструмент.

Answer 2

Я решил использовать функцию download_as_string (только Python).
https://googleapis.dev/python/storage/latest/_modules/google/cloud/storage/blob.html#Blob .download_as_string
Но для этого необходимо преобразовать данные из байтов в предпочтительный тип

blob = bucket.blob(storage_name)
x = blob.download_as_string()
print(x.decode('utf-8'))

В Java вы, вероятно, можете использовать это:
Как читать файл из Google Cloud Storage в Java
, но я не пробовал.