Для тех, кто не знает, Matillion - это инструмент ETL / ELT, который можно использовать для обработки потоков данных Snowflake (среди прочих). Одна интересная особенность заключается в том, что мы можем писать задачи скриптов в bash или python.
В прошлом у меня был похожий опыт с SQL службами интеграции серверов, где можно было писать C# также в задачах.
ИМХО это представило два больших пакета * *
- 1007 * SSIS в виде больших двоичных объектов, что сделало их крайне плохо подходящими для контроля версий. Любое крошечное изменение (например, просто настройка задачи в конвейере) обычно делало сравнение между двумя версиями практически невозможным
- Обмен кодом между задачами был чрезвычайно трудным (было ли это возможно ???)
Matillion "задания" хранятся как json, и, подобно SSIS, невозможно сравнивать две версии одной и той же работы, независимо от того, насколько крошечные изменения. Кроме того, кодирование чего-то большого в python в простом текстовом окне просто не мыслимые
Итак, я хотел бы написать свой код Python вне Matillion и просто использовать задачи Matillion как «клей» между различными функциями / пакетами, которые я написал бы снаружи.
Есть кто-то опыт как это сделать?
Как сделать файл / пакет Python доступным для сценариев Matillion Python? Как я могу обрабатывать разные версии моих Python пакетов в разных Matillion «Версии» моих работ?
Спасибо