Есть ли способ использовать ускоритель GPU и Torch в облачной AI-платформе Google для развертывания модели?

Question

У меня уже есть модель факела (BERT), и я хотел бы использовать службу ai-platform для получения онлайн-прогнозов с использованием графического процессора, но я не могу понять, как это сделать.

Следующая команда без ускорителя работает:

gcloud alpha ai-platform versions create {VERSION} --model {MODEL_NAME} --origin=gs://{BUCKET}/models/ --python-version=3.5 --runtime-version=1.14 --package-uris=gs://{BUCKET}/packages/my-torch-package-0.1.tar.gz,gs://cloud-ai-pytorch/torch-1.0.0-cp35-cp35m-linux_x86_64.whl --machine-type=mls1-c4-m4 --prediction-class=predictor.CustomModelPrediction

Однако, если я пытаюсь добавить параметр ускорителя:

--accelerator=^:^count=1:type=nvidia-tesla-k80

Я получаю следующее сообщение об ошибке:

ERROR: (gcloud.alpha.ai-platform.versions.create) INVALID_ARGUMENT: Field: version.machine_type Error: GPU accelerators are not supported on the requested machine type: mls1-c4-m4
- '@type': type.googleapis.com/google.rpc.BadRequest
  fieldViolations:
  - description: 'GPU accelerators are not supported on the requested machine type:
      mls1-c4-m4'
    field: version.machine_type

Но если я использую другой тип машины, который, как я знаю, я могу использовать с ускорителем, я получаю следующую ошибку:

ERROR: (gcloud.alpha.ai-platform.versions.create) FAILED_PRECONDITION: Field: framework Error: Machine type n1-highcpu-4 does not support CUSTOM_CLASS.
- '@type': type.googleapis.com/google.rpc.BadRequest
  fieldViolations:
  - description: Machine type n1-highcpu-4 does not support CUSTOM_CLASS.
    field: framework

Это похоже на любую машину, которая поддерживает ускорители GPU, не ' • не поддерживают пользовательские классы (требуется AFAIK для использования Torch), и любой компьютер, который поддерживает пользовательские классы, не поддерживает ускорители GPU.

Есть ли способ заставить его работать?

Существует множество учебные пособия о том, как использовать ai-платформу с Torch, но я не вижу смысла в использовании gcloud для обучения и прогнозирования, нужно ли делать все на процессоре, так что мне это очень странно.

Answer 1

На данный момент, используя Процедуры пользовательского прогнозирования в бета-версии. Кроме того, использование машин других типов , кроме mls1-c1-m2, также находится в бета-версии.

Тем не менее, как вы можете видеть из ранее указанной ссылки , графические процессоры недоступно для mls1-подобных машин. В то же время, это единственные типы машин, которые позволяют модели вне TensorFlow.

В итоге, вероятно, развертывание вашей модели прогнозирования в Torch и использование графического процессора может быть неосуществимым вариантом в настоящее время.

Answer 2

Pytorch + GPU недоступен в AI Platform Prediction, но вы по-прежнему можете Глубоко изучать образы виртуальных машин и создавать свой собственный Pytorch, обслуживающий с графическим процессором