Я проводил нагрузочные тесты на модели, которая классифицирует образы nsfw.
aws c5.large экземпляр (2vCPU, 4 г памяти) с использованием caffe-cpu: обработка изображения занимает около 700 мс
aws p3.2xlarge специализированный экземпляр GPU глубокого обучения с графическим процессором Tesla V100 (16 ГБ памяти GP, 8 виртуальных процессоров, 61 ГБ памяти), с использованием caffe-gpu с cuda, cudnn и всем этим - и он обрабатывает изображение в около 950 мс.
Я ожидал, что время обработки будет намного быстрее. Я что-то неправильно понимаю?