У меня на локальном сервере 5 файлов, общий размер которых составляет около 34 ГБ. Все эти файлы имеют разные размеры. Я пытаюсь скопировать эти файлы в GCP Bucket и использую для этого следующую команду:
gsutil -o "GSUtil:parallel_process_count=10" -o "GSUtil:parallel_thread_count=4" -o "GSUtil:parallel_composite_upload_threshold=500M" -m cp -r /landing/TgtFiles/ gs://bucket_name/landing/TgtFiles/
В соответствии с документацией gsutil, так как для parallel_thread_count задано значение 4. Передача 4 файлов должна начаться как только эта команда будет выполнена. Тем не менее, в задаче выполнения я мог видеть, что файлы копируются по одному.
Ниже приведен скриншот процесса копирования файла.
Может кто-нибудь, пожалуйста, помогите мне понять, как я могу начать копирование 4 файлов параллельно, чтобы меньше времени уходило на передачу файлов.