Обслуживание нескольких моделей TF в обслуживании TF и ​​создание соответствующего клиентского запроса для взаимодействия с конкретной моделью в соответствии с запросом

Question

Можете ли вы предложить любой блог или учебник, которые помогут в обслуживании нескольких моделей TF в обслуживании TF и ​​создании соответствующего клиентского запроса для взаимодействия с конкретной моделью в соответствии с запросом.

Мои требования: 1. У меня естьдля размещения нескольких моделей в тензорном потоке 2. Клиентский запрос поступает для любой модели, только с которой будет работать

Позвольте мне кратко рассказать вам, как я пытаюсь выполнить это требование: 1. Я скопировал требуемые модели вDocker-контейнер 2. Я создал следующий конфигурационный файл, который определяет модели, загруженные в Docker-контейнер:

model_config_list: {
  config: {
    name:  "model1",
    base_path:  "<path to model1 saved in docker container>",
    model_platform: "tensorflow",
    model_version_policy: {
        all: {}
    }
  },
  config: {
    name:  "model2",
    base_path:  "<path to model2 saved in docker container>",
    model_platform: "tensorflow",
    model_version_policy: {
        all: {}
    }
  }
}

3. Далее, при запуске обслуживания вместо определения пути для отдельной модели, я указываю путьк файлу конфигурации внутри контейнера Docker:

tensorflow_model_server --port=9000 --model_config_file=<path to config file saved in docker container>

Теперь передо мной стоят следующие проблемы: 1. Как создать / изменить файл client.py для нескольких моделей в одном файле клиента.2. Каков будет формат запроса клиента?

Будет очень полезно получить руководство для решения проблемы.

Заранее спасибо!

Answer 1

Что вы подразумеваете под «создавать / изменять файл client.py для нескольких моделей в одном клиентском файле»?

Вы можете указать название модели и версию модели следующим образом:

request = predict_pb2.PredictRequest()
request.model_spec.name = 'model1'
request.model_spec.version.value = 1 # Or any other number you want