SageMaker PyTorchModel, передавая пользовательские переменные

Question

При развертывании модели с помощью SageMaker через класс PyTorchModel возможно ли передать пользовательскую переменную среды или kwargs?

Мне бы хотелось иметь возможность переключать функциональность обслуживающего кода с помощью пользовательского аргумента, а не писать несколько serve.py для обработки различных методов экспорта обучающей модели.

model = PyTorchModel(name='my_model',
                     model_data=estimator.model_data,
                     role=role,
                     framework_version='1.0.0',
                     entry_point='serve.py',
                     source_dir='src',
                     sagemaker_session=sess,
                     predictor_cls=ImagePredictor,
                     <custom_argument?>
                    )

Answer 1

Вы пытались использовать параметр env в вашем PyTorchModel?(ср. https://sagemaker.readthedocs.io/en/stable/model.html#sagemaker.model.Model)

model = PyTorchModel(name='my_model',
                     model_data=estimator.model_data,
                     role=role,
                     framework_version='1.0.0',
                     entry_point='serve.py',
                     source_dir='src',
                     sagemaker_session=sess,
                     predictor_cls=ImagePredictor,
                     env={'ENV_VALUE': 'val'}
                    )

Answer 2

Это должно работать (от обученного estimator или от model, с высокоуровневым Python SDK )

model.deploy(
    initial_instance_count=1, 
    instance_type='ml.m5.xlarge',
    env={'MY_ENVIRONMENT_VARIABLE':'value'})