Я пытаюсь запустить сервер модели обслуживания тензорного потока, используя последний докер-контейнер, а затем хочу сохранить файл конфигурации в корзине Amazon S3, чтобы при обновлении этого файла сервер модели обновлял конфигурацию без необходимостиперезапущен. Я обнаружил, что сервер запускается нормально и забирает файл конфигурации с S3, однако, когда я загружаю измененную версию файла на S3, он не принимает изменения и обслуживает правильную модель.
Я нашел этот связанный вопрос
Недопустимый аргумент --model_config_file_poll_wait_seconds
Исходя из этого, я пытался использовать ночные образы докера и больше не могупосмотрите список флагов при запуске сервера, который предполагает, что флаг теперь распознан, но он все еще не работает. Может случиться так, что эта функциональность все еще находится в стадии разработки и недоступна, но было бы неплохо иметь возможность подтвердить, что это так.
Я использую тестовые модели из обслуживания tenorflow и API REST дляПроверьте, обслуживается ли ожидаемая модель.
Я использую следующую команду для запуска моего сервера
docker run -p 8501:8501 -p 8500:8500 -e AWS_ACCESS_KEY_ID=XXX -e AWS_SECRET_ACCESS_KEY=YYY -e S3_ENDPOINT=s3.eu-west-1.amazonaws.com -e AWS_REGION=eu-west-1 -e TF_CPP_MIN_LOG_LEVEL=2 -t tensorflowserving:testtf-nightly --model_config_file=s3://bucket/config.conf --model_config_file_poll_wait_seconds=10
В этом случае образ докера - это тот, который я создал, используя ночной образ какбазовый уровень
Я ожидаю увидеть результаты изменения вызова API после обновления конфигурации, но это не так.
UPDATE
После дальнейшего расследования вышеприведенное утверждение о неработающем ночном изображении оказалось неверным. На самом деле этот образ содержит функциональность и перезагрузит конфигурацию. Источником путаницы было то, что если вы обновляете существующую модель в вашей конфигурации с новым base_path, это, похоже, не вызывает изменений в конфигурации модели. Однако, если вы удалите эту конфигурацию и создадите ее заново, вы увидите ожидаемые изменения.