Как экспортировать результат запроса куста в облачное хранилище Google как CSV из GCE

Question

У меня есть запрос, который записывает результат запроса в файл CSV:

hive -e 'select * from transactions limit 50'>abc.csv

, поэтому результат будет сохранен в abc.csv , который доступен только в этом экземпляре gcp.

Но мне нужно экспортировать его в корзину GCS, чтобы потом я мог выбросить его в BigQuery.

Я пытался что-то подобное, но это не сработало:

hive -e 'select * from transactions limit 50'>gs://my-bucket/abc.csv

итак, как я могу сохранить результат запроса улья в корзине GCS?

Answer 1

Вы можете написать запрос улья в свой экземпляр, а затем использовать команду gsutil, чтобы переместить его в корзину.

gsutil mv abc.csv gs://my-bucket/abc.csv

Если на вашем компьютере не установлен gsutilНапример, следуйте инструкциям, приведенным здесь: Установите gsutil |Облачное хранилище

Чтобы узнать больше об использовании хранилищ с экземплярами, вы можете обратиться к документации Google: Подключение к хранилищам облачного хранилища

В качестве альтернативыбыть установленным в вашем хранилище облачного хранилища, позволяя вам записать результат запроса улья прямо в ваше хранилище.

Для этого вам необходимо использовать Cloud Storage FUSE, для установки выполните следующие действия: Cloud Storage FUSE |Облачное хранилище