Как бы вы параметризовали конвейеры Dagster для запуска одних и тех же тел с несколькими различными конфигурациями / ресурсами?

Question

Допустим, я создаю конвейер Дагстера со следующими телами:

1. Выполнение SQL запроса из файла и получение результатов
2. Запись результатов в таблицу

Я хочу сделать это, скажем, для 10 разных таблиц параллельно. Каждая таблица требует отдельного запроса SQL. Какой будет лучший подход?

Answer 1

Я бы рекомендовал создать композитный_ solid, состоящий из solid, который обрабатывает (1), и solid, который обрабатывает (2). Затем вы можете псевдоним составной_ solid один раз для каждой из 10 таблиц, что позволит вам передать запрос SQL через конфигурацию (см. Учебник )