Итак, у меня есть набор долгосрочных задач, которые нужно запускать на Compute Engine и масштабировать.Каждое задание занимает примерно 3 часа.Поэтому, чтобы справиться с этим, я подумал об использовании:
https://cloud.google.com/solutions/using-cloud-pub-sub-long-running-tasks
Архитектура.И хотя он работает нормально, есть одна огромная проблема.При уменьшении масштабов я бы очень хотел избежать уменьшения масштаба выполняемой в данный момент задачи!Я потенциально потерял бы 3 часа на обработку.
Есть ли способ гарантировать, что автоматическое масштабирование не уменьшит виртуальную машину с длительным временем работы / работы?
РЕДАКТИРОВАТЬ: Несколько человек попросили разработать мою задачу.Таким образом, это похоже на то, что описано в ссылке выше, где много долгосрочных задач, которые нужно запускать на GPU.Существует кусок данных, которые необходимо обработать.Это занимает 4 часа (кодирование видео), а затем, после завершения, выводится в корзину.Ну, это может занять от 1 до 6 часов в зависимости от продолжительности видео.Как и в приведенной выше архитектуре, было бы неплохо увеличить кластер в зависимости от размера очереди.Но при уменьшении масштаба я хотел бы убедиться, что это не сокращает текущие задачи, как это происходит в настоящее время.Это связано с GPU не позволяет мне использовать метрику процессора.