Загрузить модель из Google Cloud Storage без загрузки

Question

Существует ли способ обслуживания модели из Google Cloud Storage без фактической загрузки копии модели?как потоковая передача данных напрямую?

Я пытаюсь загрузить модель быстрого текста, которая размещена в облачном хранилище Google.каждый раз, когда я запускаю программу, она должна получить и загрузить копию этой модели в корзину.

language_model_filename = 'lid.176.bin' // filename in GCS
language_model_local = 'lid.176.bin' // local file name when downloaded
bucket = storage_client.get_bucket(CLOUD_STORAGE_BUCKET)
blob = bucket.blob(language_model_filename)
blob.download_to_filename(language_model_local)
language_model = FastText.load_model(language_model_local)

Answer 1

Вы можете использовать Потоковые трансферы для этой цели.Как объясняется в документации, вы можете использовать сторонний плагин для клиентской библиотеки boto для облачного хранилища .

Пример потоковой загрузки будет выглядеть следующим образом:

import sys

downloaded_file = 'saved_data_file'
MY_BUCKET = 'my_app_bucket'
object_name = 'data_file'
src_uri = boto.storage_uri(MY_BUCKET + '/' + object_name, 'gs')
src_uri.get_key().get_file(sys.stdout)