Планирование GPU в облаке для обучения моделей глубокого обучения

Question

Есть люди, имеющие собственные экземпляры облачных ВМ для выполнения своей задачи. В настоящее время мы можем подключить графический процессор, когда хотим обучить нашу модель глубокого обучения. Но у меня есть только 1-2 GPU, которые я могу использовать одновременно. Итак, я хочу создать механизм планирования, который начнет обучение моей модели, как только графический процессор будет свободен. Как мы можем сделать то же самое? Одним из решений может быть создание экземпляра виртуальной машины с подключенным графическим процессором, и мы отправляем запрос на этот экземпляр из других экземпляров, чтобы запланировать мою работу. Возможно ли это и как сделать то же самое?

Answer 1

Если вы хотите создать экземпляр графического процессора на основе доступности ресурсов графического процессора в определенной зоне, пользователь не может наблюдать, как ресурсы GCP доступны или отсутствуют.

Вы можете запланировать задание cron для экземпляра, который будет выполнять задачу для экземпляра, имеющего ресурсы GPU, путем олицетворения учетной записи службы здесь . Например, вы можете запустить указанную ниже команду, чтобы создать новый файл в экземпляре GPU_INSTANCE_NAME, олицетворяя служебную учетную запись экземпляра. На данный момент создайте скрипт, содержащий указанную ниже команду, и используйте задание cron для планирования задачи в соответствии с вашими требованиями.

«gcloud compute s sh GPU_INSTANCE_NAME --project = Project_Name --zone = VM_Zone --impersonate-service-account = Instance_Service_Account --command =" touch newfile "»