Команда Docker для модели обслуживания нескольких тензорных потоков?

Question

Я пытаюсь выполнить эту обычную команду tf_serving (которая работает правильно) с версией докера tf_serving. Я не уверен, почему это не работает .. Любое предложение? Я новичок в Docker!

Обычная команда tf_serving:

tensorflow_model_server \
--model_config_file=/opt/tf_serving/model_config.conf \
--port=6006

вот как выглядит мой model_config.conf:

model_config_list: {
  config: {
    name: "model_1",
    base_path: "/opt/tf_serving/model_1",
    model_platform: "tensorflow",
  },
  config: {
    name: "model_2",
    base_path: "/opt/tf_serving/model_2",
    model_platform: "tensorflow",
  },
}

Версия команды Docker, которую я пытаюсь, но не работаю:

docker run --runtime=nvidia \
-p 6006:6006 \
--mount type=bind,source=/opt/tf_serving/model_1,target=/models/model_1/ \
--mount type=bind,source=/opt/tf_serving/model_2,target=/models/model_2/ \
--mount type=bind,source=/opt/tf_serving/model_config.conf,target=/config/model_config.conf \
-t tensorflow/serving:latest-gpu --model_config_file=/config/model_config.conf

Ошибка:

2019-04-13 19: 41: 00.838340: E tenorflow_serving / sources / storage_path / file_system_storage_path_source.cc: 369] FileSystemStoragePathSource обнаружил ошибку доступа к файловой системе: не удалось найти базовый путь / opt / tf_serving / model_1 для работоспособной модели_1

Answer 1

Нашел проблему!Вы должны изменить путь к моделям в model_config.conf следующим образом, и приведенная выше команда docker будет работать и загружать обе модели!

model_config_list: {
  config: {
    name: "model_1",
    base_path: "/models/model_1",
    model_platform: "tensorflow",
  },
  config: {
    name: "model_2",
    base_path: "/models/model_1",
    model_platform: "tensorflow",
  },
}