Sagemaker не использует GPU экземпляра в выводе? - PullRequest
0 голосов
/ 24 апреля 2020

Мы проводим сравнительный анализ Sagemaker и хотели бы увидеть влияние использования экземпляров с графическим процессором при размещении модели Tenserflow. Мы создали конечную точку с 8 экземплярами ml.p3.2xlarge и выполнили для нее выводы, но производительность (количество вызовов в минуту) не отличалась от работы с экземплярами ml.m4.xlarge. Глядя на GPUUtilization в разделе Monitor конечной точки в пользовательском интерфейсе, мы видим, что GPUUtilization равен нулю. Должны ли мы что-то сделать, чтобы разрешить использование графического процессора моделью Tensorflow? Мы предполагали, что он автоматически обнаружит возможности экземпляра и сделает u

...