Подключение и настройка снежинки

Question

Я работаю с клиентом, чтобы управлять интеграцией его CRM с закрытой системой в свою почтовую платформу (называемую MYGuestList) и платформу отчетов BI (Tableau).

Наша CRM делает для репликации данных sh на сервер SQL (Microsoft Azure). Мы были заинтересованы в том, чтобы использовать Snowflake в техническом стеке для размещения всех точек данных (Google Analytics, маркетинговые усилия по электронной почте, медиа и т. Д. c.), Чтобы создать «единый взгляд клиента» и управлять нашими интеграциями.

Я немного растерялся относительно того, что мы будем делать дальше (похоже, я не могу обратиться к Снежинке за какой-либо поддержкой) и хотел бы получить любые рекомендации по следующим вопросам:

• Как мне go подключить наш Azure сервер (после настройки) к Snowflake?
  • Как я могу предложить нашим сторонним разработчикам интегрироваться с нашими точками данных в Snowflake?
  • Нужно ли приобретать сторонний соединитель (FiveTran / Stitch) для данных ETL из Google Analytics?

Заранее благодарю за помощь с этим очень большим новичком ie, пытающимся решить эту проблему для моего клиента!

Кейт

Answer 1

У вас есть 3 варианта загрузки данных:

• Используйте какой-либо инструмент ETL или собственное приложение, например Python, чтобы получить данные из исходной системы и вставить их в Snowflake (напрямую или в файл PUT). на этапе Snowflake)
• извлечение данных в виде csv в облачный каталог или на этапе Snowflake и использование массовой загрузки (COPY INTO) для загрузки
• вы можете использовать PIPE для автоматической загрузки данных из файлов, вставленных как: во втором варианте