Я хочу использовать обслуживание Tensorflow для загрузки нескольких моделей. Если я монтирую каталог, содержащий модель, загрузка всего происходит мгновенно, а загрузка их по пути gs://
занимает около 10 секунд на модель.
При исследовании проблемы, которую я обнаружил, это, вероятно, проблема Tensorflow, а не проблема обслуживания Tensorflow, так как загрузка их в Tensorflow также имеет огромное значение:
[ins] In [22]: %timeit tf.saved_model.load('test/1')
3.88 s ± 719 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
[ins] In [23]: %timeit tf.saved_model.load('gs://path/to/test/1')
30.6 s ± 2.66 s per loop (mean ± std. dev. of 7 runs, 1 loop each)
Тогда это может быть загрузка модели (которая очень мала) идет медленно, но я также проверил это:
def test_load():
bucket_name = 'path'
folder='test'
delimiter='/'
file = 'to/test/1'
bucket=storage.Client().get_bucket(bucket_name)
blobs=bucket.list_blobs(prefix=file, delimiter=delimiter) # Excluding folder inside bucket
for blob in blobs:
print(blob.name)
destination_uri = '{}/{}'.format(folder, blob.name)
blob.download_to_filename(destination_uri)
[ins] In [31]: %timeit test_load()
541 ms ± 54.9 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
Есть идеи, что здесь происходит?