Azure Batch Preempted state

Question

У меня есть пакет TVM / пул, работающий в пакете Azure, и он внезапно перешел в состояние «Выгрузка».Теперь проблема в том, что теперь он не принимает никаких запросов.

Я также настроил формулу Scale, в которой он дает мне виртуальную машину, когда у меня более 0 заданий, ожидающих выполнения в пакете Azure.Но, видимо, это тоже не работает.Он работал до того, как TVM перешел в прерванное состояние.

Как справиться с этой ситуацией?

Answer 1

• AFAIK, я думаю, что узлы с низким приоритетом могут перейти в состояние " preempted " в зависимости от доступной емкости.По этой причине виртуальные машины с низким приоритетом наиболее подходят для определенных типов рабочих нагрузок.Используйте виртуальные машины с низким приоритетом для рабочих нагрузок пакетной и асинхронной обработки, когда время выполнения задания является гибким, а работа распределена по многим виртуальным машинам . И такое поведение определено здесь: https://docs.microsoft.com/en-us/azure/batch/batch-low-pri-vms

• Я думаю, что весьма вероятно, что последняя часть вопроса также имеет отношение к тому факту, что ваши виртуальные машины были предварительно настроены.

Учитывая характеристики виртуальных машин с низким приоритетомКакие рабочие нагрузки могут и не могут их использовать?В целом рабочие нагрузки пакетной обработки хорошо подходят, поскольку задания разбиты на множество параллельных задач или существует множество заданий, которые масштабируются и распределяются по многим виртуальным машинам.

Чтобы максимально использовать избыточную емкость в Azure, подходитзадания могут масштабироваться.

Иногда виртуальные машины могут быть недоступны или перезаписаны, что приводит к снижению емкости заданий и может привести к прерыванию и повторному запуску задачи.Поэтому задания должны быть гибкими во времени, которое они могут выполнять.

На задания с более длинными заданиями может повлиять больше, если их прервать.Если в долго выполняющихся задачах используются контрольные точки для сохранения прогресса по мере их выполнения, то влияние прерывания уменьшается.Задачи с более коротким временем выполнения, как правило, лучше всего работают с виртуальными машинами с низким приоритетом, поскольку влияние прерывания намного меньше.

Долгосрочные задания MPI, использующие несколько виртуальных машин, не очень подходят для использования виртуальных машин с низким приоритетом,потому что одна прерванная виртуальная машина может привести к повторному запуску всей работы.

Надеюсь, это поможет.