Как перераспределить тензор потока-обслуживания с новой версией модели и получить к нему доступ через http пост

Question

У меня уже есть одна модель, развернутая и работающая в докере с обслуживающим тензорным потоком.Теперь я хочу повторно развернуть эту модель с новой и улучшенной моделью.

Я развернул предыдущую модель с помощью следующей команды:

docker run -p 8501:8501 --mount type=bind,source=/opt/scripts/testing/models/model01/,target=/models/my_model -e MODEL_NAME=my_model -t tensorflow/serving

Новая модель сохранена в / opt / scripts /тестирование / модели / model02 /

Answer 1

Если я правильно понимаю ваш вопрос, у вас уже есть Saved Model в пути, /opt/scripts/testing/models/model01/.

Теперь вы обновили / улучшили модель и сохранили ее по пути /opt/scripts/testing/models/model02/.

Теперь вы хотите развернуть новую версию вашей модели. Это просто, в Docker Run command замените model1 на model2, как показано ниже:

docker run -p 8501:8501 --mount type=bind,source=/opt/scripts/testing/models/model02/,target=/models/my_model -e MODEL_NAME=my_model -t tensorflow/serving

Вы можете получить доступ к модели через http post, как показано ниже (пример):

curl -d '{"instances": [1.0, 2.0, 5.0]}' \
    -X POST http://localhost:8501/v1/models/my_model:predict