Я наблюдаю, что время отклика модели предсказывается в два раза быстрее при использовании образа докера "latest-gpu" по сравнению с использованием образа докера графического процессора, который я создал локально, используя инструкции, найденные здесь: https://www.tensorflow.org/tfx/serving/docker#building_a_container_from_a_dockerfile.
Я запускаю модель на графическом процессоре Tesla T4 и установил TF_CUDA_COMPUTE_CAPABILITIES = 7.5, поэтому мой локально построенный сервер моделей должен поддерживать возможности Tesla T4, но я подозреваю, что есть некоторая разница в некоторых средах и / или параметрах сборки.
Мой основной вопрос заключается в том, используются ли сценарии для создания образов док-станции тензорного потока / обслуживающего устройства, которые поддерживаются в концентраторе док-станции (https://hub.docker.com/r/tensorflow/serving) где-нибудь доступны онлайн?