Azure Фабрика данных: можно ли приостановить выполнение конвейера, пока работает другой конвейер, а затем возобновить первый конвейер?

Question

Итак, у меня есть этот конвейер, который работает долго (недели), который загружает некоторые таблицы с помощью фабрики данных и обрабатывает их с помощью блоков данных.

Кроме того, у меня есть еще один конвейер, который запускается каждый день для Пару часов. Однако кластер Databricks кажется недостаточно мощным для одновременной работы обоих конвейеров, поскольку он выдает ошибку, когда оба конвейера активны (похоже, ошибка памяти: «Драйвер Spark неожиданно остановился»).

Дневной конвейер имеет наивысший приоритет, поэтому в идеале я бы хотел приостановить на 3 часа для долгосрочного конвейера, затем выполнить ежедневный триггер , а затем возобновить долгосрочное выполнение конвейера.

Возможно ли это сделать?

Заранее спасибо!

Answer 1

Вы не можете приостановить работающий конвейер. Azure конвейер devops не имеет этой функции в настоящее время. Ниже скриншотов перечислены все статусы, которые может быть у билда. Как видите, «пауза» не входит в их число.

Возможно, вам придется попросить увеличить емкость для запуска другого кластера.

Однако вы всегда можете отправить запрос (нажмите Предложить функцию и выберите Azure Devops ) для команды разработчиков Microsoft. Надеюсь, что они рассмотрят реализацию этой функции в будущих спринтах.

Answer 2

Простой ответ: Нет. Вы должны найти решение в кластере блоков данных, выдающее ошибку. Невозможно приостановить конвейер, потому что запущен другой конвейер.