Преобразования данных в Snowflake - View, Tools et c?

Question

Мы рассматриваем Snowflake и хотим понять, как мы могли бы использовать его и, возможно, другие инструменты для преодоления одной из наших основных проблем - ETL! В настоящее время мы используем устаревший DWH с процессом ETL, состоящим из SSIS и некоторых представлений. В этом есть все типичные недостатки этой методологии - особенно, что она требует возраста!

Я предполагал, что мы перейдем к модели ELT в Snowflake, я начал исследовать инструменты, чтобы выполнить 'T Однако, я просто слушаю этот подкаст: https://www.dataengineeringpodcast.com/snowflakedb-cloud-data-warehouse-episode-110/

И он предлагает просто ударить SQL Просмотр чего-то и выставить его в виде PowerBI или Таблицы достаточно для Т-части вещей! ...

Просто интересно, какой опыт людей был здесь? - Вы делаете преобразования, просто написав представление в Snowflake? - Используете ли вы сторонний инструмент специально для решения этой проблемы?

Вторично этому, для извлечения и загрузки, вы: - Делаете ли вы это только с помощью снежинки - Используйте сторонний инструмент

Мне особенно интересно, если вы сделаете это, чтобы создать какую-то временную серию в Снежинке из не временного источника. Это то, что мы хотели бы сделать.

Answer 1

На этот вопрос трудно ответить, не высказывая свое мнение, особенно не зная вашего варианта использования. Вот что я думаю о том, что стоит:

• Не прикрепляйте представления поверх таблиц и не открывайте инструмент отчетности, если у вас нет очень простой настройки. Если вы рассматриваете такой инструмент, как Snowflake, то вам, вероятно, захочется go для чего-то более устойчивого, этот подход может стать непомерным с точки зрения стоимости и сложности ваших представлений.

• Используйте сторонний инструмент для управления процессом ELT. Ваш выбор инструмента будет зависеть от ваших внутренних навыков и облачной стратегии, взгляните на такие инструменты, как Stich, Fivetran et c. Если вы не возражаете против использования локальных технологий, почему бы не использовать SSIS или использовать что-то вроде Apache Airflow (требуется повышение квалификации)

• Снежинка не поможет вам с E из ELT, вам понадобится сторонний инструмент для управления извлечением данных из ваших других систем, таких как SSIS. Это поможет с частью L, для этого вы можете использовать команды Snowpipe или COPY, которые доступны в экосистеме Snowflake. Snowflake также поможет вам поделиться своими данными с внешними сторонами, что действительно приятно.

Answer 2

Моя организация создала довольно сложную многомерную модель в Snowflake, используя слои SQL представлений, на которые мы можем указать наши инструменты отчетности. Мы используем отдельный инструмент репликации для извлечения из исходных систем и загрузки в Snowflake. Использование представлений упрощает наш подход, поскольку нам не нужно использовать дополнительный инструмент. Это также делает управление кодом проще, чем что-то вроде SSIS. Например, мы можем искать код, используя интерфейс Snowflake или наш инструмент контроля версий, вместо того, чтобы открывать отдельные пакеты служб SSIS.