Как скопировать файлы с удаленного сервера в облачное хранилище Google?

Question

Я пытался использовать этот код, но он не работал.

gcloud compute ssh user@ftp.example.com --zone my_zone \
--command='gsutil cp path/to/my_file gs://MY_BUCKET'

Я пытался даже копировать файлы с сервера через http-запрос, безрезультатно.Я сделал файлы доступными для общественности и попробовал этот код.

gsutil cp http://example.com/dir1/ gs://MY_BUCKET

Я получаю ошибки, так как http не распознается.

У меня также есть доступ ssh к удаленному серверу.

Answer 1

gsutil cp позволяет вам передавать данные, которые он получает от стандартного ввода, для документации здесь: https://cloud.google.com/storage/docs/gsutil/commands/cp Вставлено ниже:

Потоковые передачи Используйте '-' вместо src_url или dst_urlвыполнить потоковую передачу.Например:

long_running_computation |gsutil cp - gs: // my-bucket / obj Потоковая загрузка с использованием JSON API (см. gsutil help apis) буферизируется в памяти частично обратно в файл и, таким образом, может повторить попытку в случае проблем с сетью или обслуживанием.

Используя это, мы можем транслировать копию scp с вашего удаленного сервера на стандартный выход (если вы используете Linux или Mac) и направить ее в cp gsutil следующим образом:

scp <USER>@<YOUR_SERVER>:/<PATH>/<FILE_NAME> /dev/stdout | gsutil cp - gs://<BUCKET_NAME>/<FILE_NAME>

Answer 2

Объединяя другие ответы, чтобы скопировать файл из экземпляра Compute Engine в Google Cloud Storage, вам потребуется следующая команда:

gcloud compute scp --zone [ZONE] [USER]@[INSTANCE_NAME]:/path/to/file /dev/stdout | gsutil cp - gs://[BUCKET_NAME]/[FILE_NAME]

Если файл расположен на удаленном сервере, отличном от ComputeЭкземпляр движка, вы можете использовать «scp», как сказал Николас.

Answer 3

То, что вы должны делать, это не обычная копия, а защищенная от scp копия.

gcloud compute scp безопасно копирует файлы между экземпляром виртуальной машины и вашим локальным компьютером с помощью команды scp.

Более подробную информацию обо всех доступных переключателях и их описаниях можно найти в онлайн документах