Tensorflow Serving Model Server непрерывно повторно добавляет те же модели при опросе s3 для файла конфигурации

Question

Я использую Tensorflow Serving для запуска моделей, которые хранятся в корзине s3. Я также храню файл конфигурации модели в отдельном контейнере s3. Мой пример использования заключается в том, что для динамического добавления моделей без необходимости перезапуска сервера я периодически опрашиваю этот файл конфигурации на предмет изменений.

Для этого я использовал следующую настройку:

1. тензор потока / обслуживание: образ 1.15.0, развернутый в кластере Kubernetes с помощью helm.
2. В таблице управления для развертывания следующие строки определяют команду запуска и аргументы, используемые для опроса s3 для конфигурации

command:
 - "/usr/bin/tensorflow_model_server"
args:
 - --model_config_file={path to config file}
 - --model_config_file_poll_wait_seconds=60

Диаграмма управления также устанавливает переменные среды для AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_REGION, S3_ENPOINT и AWS_LOG_LEVEL = 3

Файл конфигурации модели имеет содержимое:

model_config_list: {
    config: {
        name: "mlp",
        base_path: "s3://bucketname/mlp",
        model_platform: "tensorflow",
        model_version_policy: {
            specific: {
                versions: 20200130
            }
        }
    }
}

* 1017 работать должным образом с Tensorflow, загружая правильные модели и правильно их запускать. Проблема, которую я вижу, заключается в том, что каждый раз, когда сервер опрашивает файл конфигурации в S3, он читает модели, даже если они одинаковы. Это приводит к регулярным журналам, как показано ниже.

2020-02-06 07:07:01.930476: I tensorflow_serving/model_servers/server_core.cc:462] Adding/updating models.
2020-02-06 07:07:01.930495: I tensorflow_serving/model_servers/server_core.cc:573]  (Re-)adding model: mlp
2020-02-06 08:07:01.965518: I tensorflow_serving/model_servers/server_core.cc:462] Adding/updating models.
2020-02-06 08:07:01.965548: I tensorflow_serving/model_servers/server_core.cc:573]  (Re-)adding model: mlp
2020-02-06 09:07:01.967228: I tensorflow_serving/model_servers/server_core.cc:462] Adding/updating models.
2020-02-06 09:07:01.967259: I tensorflow_serving/model_servers/server_core.cc:573]  (Re-)adding model: mlp

Меня беспокоит, что это повлияет на производительность модели, если частота опроса слишком высока. Однако мне интересно, происходят ли какие-либо изменения на самом деле или это просто дополнительная регистрация.

Answer 1

Все это выглядит нормально.

Глядя на код (server_core. cc) , кажется, что эти сообщения отображаются при чтении файла model.config, а не при загрузке модели ... что должно произойти после прочтения файла model.config. Хотя я не понимаю код четко, я думаю, мы можем сделать вывод, что эти сообщения не отображаются при загрузке самих моделей; но отображаются в более ранней точке рабочего процесса.

Он только пытается выяснить, какие модели являются новыми после отображения этих сообщений. Вы можете увидеть сравнение здесь .

---

В вашем вопросе есть одна странная вещь. Судя по временным меткам ваших сообщений, кажется, что ваш файл models.config читается каждые 60 минут вместо каждых 60 секунд .