производительность gsutil понижена, когда включена загрузка фрагментов

Question

Я пытаюсь загрузить архив 2G из GCS в док-контейнер, работающий в кластере

Я могу получить скорость загрузки 10–15 М / с, когда отключена загрузка фрагментов, нокогда я включаю «загрузку фрагментов», скорость загрузки падает до 6 м / с, в чем может быть причина?Я установил для этого параметра parallel_thread_count и parallel_process_count равным 2.Я уже пробовал другие значения для parallel_thread_count и parallel_process_count, это приведет только к снижению производительности по сравнению с однопоточным режимом.

Answer 1

В зависимости от того, является ли это экземпляром Windows или Linux, для работающего док-контейнера существует ограничение ЦП, поэтому вы можете повысить производительность за счет увеличения ЦП.Но обратите внимание, что gsutil регулирует соединение на основе верхней границы сети.

Вы можете разбить фрагменты для достижения лучшей производительности , например, так:

$ gsutil -o 'GSUtil: parallel_thread_count = 1' -o 'GSUtil: sliced_object_download_max_components = 8' cp gs: //bukket/fileSRC.dat ./localDST.bin

На данный момент существует известная проблема с gsutil notвыполнение загрузок нарезанных объектов на экземплярах Windows.Для этого существует открытый Issue Tracker .