У меня есть первый конвейер, который принимает данные для нескольких стран от BigQuery до Azure, это операция, которая копирует преобразованные в BigQuery данные в azure.
На фабрике данных я создаю несколько папок для каждой страна, которая будет иметь несколько конвейеров, например, конкретная модель машинного обучения c только для 1 или 2 стран, конвейер подготовки данных для приложения только для 5 стран и т.д. c.
Я думаю, мне нужна эта конструкция папок для каждого рынка, чтобы она была понятна всем, кому нужно реализовать конвейер и избежать ошибок.
Моя главная проблема - это то, как я могу позвонить, например, конвейер машинного обучения в моей папке UK, который может запускаться только после первого конвейера, завершение большого запроса данных в azure, завершение?
Я не могу вызвать операцию конвейера выполнения, потому что мой первый конвейер bigqueryto azure выполняется самостоятельно, это очень важный шаг, который необходимо выполнить, прежде чем можно будет выполнить любой другой конвейер.
Есть ли способ вызвать завершенный конвейер без активированного конвейера выполнения?
Я думал о создании фиктивного хранилища BLOB-объектов в первом конвейере, который мог бы работать как триггер для всех конвейеров после этого первого?
Заранее спасибо, надеюсь, что все ясно.