Загрузка больших данных напрямую с URL в облачное хранилище Google Bucket - PullRequest
Новая
       53

Загрузка больших данных напрямую с URL в облачное хранилище Google Bucket

0 голосов
/ 27 мая 2019

Я хочу загрузить большой набор данных с URL «https» непосредственно в облачное хранилище Google (Bucket).

Я использовал команду gsutil stream. через облачную оболочку Google

curl -L https: //../../..velodyne.zip | gsutil cp - gs: //###/##/velodyne.zip

результат

Мы обнаружили чрезмерный выходной сетевой трафик в вашем сеансе Google Cloud Shell. Прекратите или уменьшите этот трафик, иначе ваш сеанс будет прерван.

Ответы [ 2 ]

1 голос
/ 27 мая 2019

Это происходит потому, что вы загружаете в локальную среду (облачную оболочку) с помощью curl, а затем отправляете в GCS.

Способ сделать это - использовать Storage Transfer Service..

Существует один вариант предоставления службе передачи списка URL-адресов , и сама служба загрузит все данные в корзину.

0 голосов
/ 27 мая 2019
  1. Установите SDK на свой локальный компьютер
  2. Затем выполните команду оттуда

Он загрузит файл с вашего локального компьютера, а затем использует его в качестве входных данных для вашей команды gsutil. Вы не сможете сделать это с помощью Cloud Shell, вы, вероятно, нажмете «Нет свободного места на устройстве», если ваш файл слишком большой.

Вы также упомянули в комментарии к сообщению Jofre, что вы пробовали службу передачи хранилища, но она не удалась. Пожалуйста, поделитесь ошибкой, чтобы мы могли увидеть, как она вышла из строя, и, возможно, мы сможем вам помочь.

...