Медленная синхронизация с постоянного диска на Google Bucket - PullRequest
0 голосов
/ 24 сентября 2019

У нас есть около 11 ТБ изображений в локальном хранилище, и то же самое было скопировано в Google Cloud Bucket.У нас есть требование синхронизировать все изображения постепенно, то есть только обновленные файлы.В настоящее время мы синхронизируем файлы, используя приведенную ниже команду gsutil.

gsutil -m rsync -r -C / mnt / Test / gs: // test_images / test-H /

Проблема, с которой мы столкнулиськопирование занимает около 6 дней, а сканирование диска - в большинстве случаев.Пожалуйста, дайте мне знать, если какой-либо метод для копирования обновленных данных по крайней мере за 24 часа.

1 Ответ

1 голос
/ 25 сентября 2019

Чтобы увеличить скорость передачи, вот несколько советов:

  • Используйте региональное хранилище, ближайшее к вашей виртуальной машине
  • Используйте виртуальную машину с по крайней мере 8vCPU, чтобы максимизировать пропускную способность как указано в квоте

Зависит от типа машины виртуальной машины:

Все типы машин с общим ядром ограничены 1 Гбит / с.

2 Гбит / с на vCPU, до 32 Гбит / с на виртуальную машину для машин тех типов, которые используют платформы CPU Skylake или более поздние с 16 или более vCPU.Эта скорость выхода также доступна для сверхмощных машин.

2 Гбит / с на виртуальный ЦП, до 16 Гбит / с на виртуальную машину для всех других типов машин с восемью или более виртуальными ЦП.

...