Поддержка Snowpipe для загрузки данных из внешнего этапа GCS (облачное хранилище Google)

Question

(Интересный вопрос, заданный пользователем, который публикует сообщения на этом форуме)

---

Мы пытаемся получить данные из GCS и хотим использовать для этого Snowpipe REST API, но у нас ничего не получаетсяэта точка. Не могли бы вы, ребята, сообщить нам, поддерживается ли Snowpipe для GCS (как для непрерывной загрузки, так и для запуска через конечные точки REST). Также, если это не поддерживается, можем ли мы знать график, когда будет поддерживаться Snowpipe для GCS.

Answer 1

(следующий ответ был первоначально предоставлен техническим менеджером по работе с клиентами Snowflake)

---

Snowpipe на данный момент не поддерживается для GCS. Это запланировано на будущее. Для временной шкалы нам нужно связаться со службой поддержки Snowflake.

https://community.snowflake.com/s/article/3-27-Release-Notes-June-4-2019

Если вы не используете Snowpipe, вы можете выполнить автоматическую загрузку файлов в GCP Storage Buckets, используя некоторые из собственных GCP. функции, я смог сделать это с помощью следующих трех шагов:

1, создать тему GCP PubSub - инструкции: https://cloud.google.com/pubsub/docs/admin

2, создать GCP «Облачная функция», которая выдаеткопия в команду, используя эту статью в качестве ссылки: https://medium.com/@phil.goerdt/automating-your-snowflake-database-cloning-with-gcp-b30a84f04b6d

дальнейшие инструкции: https://cloud.google.com/functions/docs/quickstart-console

3, Создайте "Уведомление" GCP на вашем хранилище, это "триггер ", который теперь будет вызываться, когда файлы поступают или обновляются в вашем хранилище GCS.

gsutil notification create -t projects/gcpProjectNameHere/topics/gcpTopicNameHere -e OBJECT_FINALIZE -f json -p parentBucketFolder/childBucketFolder/ gs://gcpBucketNameHere

Это не так круто, как Snowpipe, но оно должно работать, удачи!