Поддерживает ли API-клиент Python хранилища gcloud параллельную составную загрузку? - PullRequest
1 голос
/ 19 марта 2019

Команда gsutil позволяет оптимизировать скорость загрузки / выгрузки больших файлов.Например,

GSUtil:parallel_composite_upload_threshold=150M
GSUtil:sliced_object_download_max_components=8

см. эту страницу для справки.

Какова эквивалентность в google.cloud.storage Python API?Я не нашел соответствующих параметров в этом документе .

В целом, имеет ли клиентский API и gsutil однозначное соответствие с точки зрения функциональности?

1 Ответ

1 голос
/ 20 марта 2019

Я думаю, что это не поддерживается изначально.

Однако (!), Если вы хотите разложить файлы, используйте threading или multiprocessing, есть composeметод, который должен помочь вам собрать части в один объект GCS.

Как ни странно, gsutil написан на Python, но использует библиотеку gslib для реализации параллельной загрузки.Вы можете использовать gslib в качестве шаблона.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...