Невозможно скопировать 350 ГБ данных из одной корзины в другую в облаке Google

Question

Я пытаюсь переместить данные из одного сегмента в другой в рамках одного проекта в Google Cloud. Он имеет простые изображения и документы, такие как файлы .png, .jpg & .pdf. Я пробовал несколько раз, но результаты остались прежними.

Ниже приведена команда, которую я использую, gsutil -m cp -r -n gs: // bucket1 / folder1 / subfolder / * gs: // bucket2 / folder1 / subfolder / 2> & 1 | tee ./result.txt

Он работает в течение нескольких часов, через некоторое время экран переходит в зависшее состояние, я не вижу никаких журналов, работающих на консоли Google.

Я сомневаюсь в следующем: есть ли на GCP какая-либо настройка, которая, если сетевой трафик c протекает в течение нескольких часов, блокирует трафик c, что-то в этом роде? Есть ли крышка размера на уровне ковша? Если да, как я могу это проверить?

Должен ли я добавить какой-либо дополнительный параметр в приведенную выше команду? У вас есть другие предложения для выполнения этой задачи?

Answer 1

Я бы предложил попробовать Storage Transfer Service для выполнения задачи.

Storage Transfer Service - это продукт, который позволяет вам:

1.Перемещать или резервировать данные в корзину Cloud Storage от других поставщиков облачных хранилищ или из локального хранилища. .

> 2.Перемещайте данные из одного сегмента облачного хранилища в другое, чтобы они были доступны различным группам пользователей или приложений .

3.Периодическое перемещение данных как часть конвейера обработки данных или аналитического рабочего процесса.

Создание и управление передачей данных с помощью консоли

EDIT

Вы можете запустить команда perfdiag - запустить диагностику производительности c

Команда perfdiag запускает набор диагностических тестов c для данного сегмента Google Storage.

gsutil perfdiag gs://your-bucket

Если доступность не равна 100% и / или обнаружены ошибки HTTP, появляется указание на проблему службы / сети