Существует ли скрытое ограничение пропускной способности (возможно, на одну корзину?) В облачном хранилище Google? - PullRequest
0 голосов
/ 14 декабря 2018

Похоже, что хранилище Google Cloud может загружать 500 МБ данных за 3 секунды (параллельная загрузка) до 6 секунд (однопоточная загрузка), как показано на 2-м графике в этой ссылке: https://cloud.google.com/blog/products/gcp/optimizing-your-cloud-storage-performance-google-cloud-performance-atlas

Этопереводит, для случая однопоточной загрузки, 500 МБ * 8 бит / байт / 6 секунд = ~ 0,7 ГБ

Однако, я запутался: если мой компьютер (в данном случае, виртуальная машина Google с 16 ядрами)) может достигать от 10 ГБ (устойчивый) до 16 ГБ (пик), могу ли я загрузить несколько файлов (скажем, ~ 20) и максимально использовать пропускную способность моего компьютера (например, от ~ 10 до ~ 16 Гбит / с) и облако Googleхранилище сможет получать мои данные с такой скоростью?(Для простоты, давайте предположим, что имена объектов для этих 20 объектов очень хорошо различаются, и поэтому мы не сталкиваемся с проблемой «конфликта имен», которую Google предлагает нам избегать. И, если она имеет значение, объектный блобразмеры могут быть достаточно большими, например,> 1 МБ, поэтому нам не нужно учитывать накладные расходы при передаче и т. д.)

Если ответ отрицательный, я предполагаю, что Google Cloud Storage (и предположительно S3 какхорошо) устанавливает какой-то максимальный предел пропускной способности для одного сегмента?Или, по крайней мере, он накладывает ограничения на общую пропускную способность, исходящую от одного MAC-адреса?(Если так, что произойдет, если запросы на загрузку исходят от разных виртуальных машин GCE (с разными MAC-адресами и IP-адресами и т. Д.? Будет ли совокупная пропускная способность по-прежнему ограничена до 2 Гбит / с?существует?)

1 Ответ

0 голосов
/ 14 декабря 2018

GCS имеет некоторые ограничения скорости API [ 1 , 2 ], но в конечном итоге при правильных шаблонах использования GCS может масштабироваться очень высоко.В какой-то момент вы в конечном итоге достигнете инфраструктурных ограничений, после чего вам нужно будет поговорить с отделом продаж Google, чтобы спланировать, какая емкость вам понадобится.Одиночная ВМ способна.Вы должны быть в состоянии насыщать одну сеть виртуальных машин.

...