если есть какой-либо другой подход, когда я могу загрузить все факты параллельно, как только загрузка всех измерений завершена в Snowflake - PullRequest
0 голосов
/ 03 марта 2020

У меня есть набор таблиц для загрузки из файла на стадию, а затем в измерения и, наконец, в Fact. Я привык к задачам загружать данные из файлов в s3 на стадии, что я мог делать параллельно. Затем я загрузил таблицы измерений со стадии параллельно, используя тот же подход к задачам. Теперь факты должны быть загружены только после загрузки всех измерений. Есть ли способ в задачах, где можно сказать, что загрузка фактов начинается только после загрузки всех таблиц измерений. ИЛИ, если есть какой-либо другой подход, когда я могу загрузить все факты параллельно после завершения загрузки всех измерений.

1 Ответ

2 голосов
/ 03 марта 2020

Снежинка на самом деле не предназначена для того, чтобы быть инструментом оркестровки ETL. Но он довольно хорошо интегрируется со многими инструментами. Открытый исходный код и т. Д.

Для реального управления расписаниями, зависимостями и распараллеливанием, подобным этому, вам понадобится еще один инструмент для управления этим.

...