Самый быстрый способ перенести файл из GCS в GCE

Question

У меня есть файл размером 1 ТБ, и я ищу самый быстрый способ перенести его из сегмента хранилища GCS в том же регионе, что и экземпляр GCE. Я пробовал использовать gsutil и несколько других консольных утилит, но, похоже, я не получаю такой быстрой передачи между ними (похоже, что это похоже на команду curl в том, что она использует publi c inte rnet Я верю). Это большая машина с ~ 100 ГБ или более памяти.

Каким будет предложенный способ передачи файла наиболее быстрым способом ? Кажется, что https://cloud.google.com/network-tiers может быть актуальным, но я немного теряюсь во всех возможных «решениях» этой проблемы.

From This blog post , самое быстрое, что мне удалось получить, было:

david@instance-2:~$ time gsutil -o 'GSUtil:parallel_thread_count=1' 
                                -o 'GSUtil:sliced_object_download_max_components=8' \
                                cp gs://gcp-files/Sales20M.csv .
Copying gs://gcp-files/Sales20M.csv...
/ [1 files][  1.1 GiB/  1.1 GiB]
Operation completed over 1 objects/1.1 GiB.

real    0m4.559s
user    0m10.787s
sys     0m5.527s

Кажется, это неплохо - около 5 секунд для файла размером 1 ГБ, то есть немного больше 1 ГБ / с. Как вы думаете, это потолок или есть какие-то другие способы ускорить это?

Answer 1

Вход в сеть с частных адресов никоим образом не ограничен, поэтому, кроме этого, вы, вероятно, ограничены постоянной пропускной способностью диска (поскольку вы перемещаете большой файл). Основываясь на том, что вы написали, единственное, что приходит в голову, что вы должны проверить, - это размер вашего постоянного диска. Согласно https://cloud.google.com/compute/docs/disks/performance#performance_factors ваш постоянный диск должен быть не менее 4 ТБ для достижения максимальной пропускной способности записи (400 МБ / с) при использовании жестких дисков или 1667 ГБ для достижения 800 МБ / с при использовании твердотельных накопителей.