Как использовать несколько входов для пользовательской модели Tensorflow, размещенной в AWS Sagemaker

Question

У меня есть обученная модель Tensorflow, которая использует два входа для прогнозирования. Я успешно настроил и развернул модель на AWS Sagemaker.

from sagemaker.tensorflow.model import TensorFlowModel
sagemaker_model = TensorFlowModel(model_data='s3://' + sagemaker_session.default_bucket() 
                              + '/R2-model/R2-model.tar.gz',
                             role = role,
                             framework_version = '1.12',
                             py_version='py2',
                             entry_point='train.py')

predictor = sagemaker_model.deploy(initial_instance_count=1,
                              instance_type='ml.m4.xlarge')

predictor.predict([data_scaled_1.to_csv(),
                   data_scaled_2.to_csv()]
                 )

Я всегда получаю сообщение об ошибке. Я мог бы использовать функцию AWS Lambda, но я не вижу документации по указанию нескольких входов для развернутых моделей. Кто-нибудь знает, как это сделать?

Answer 1

Только обслуживающая конечная точка TF поддерживает несколько входов в одном запросе на вывод. Вы можете следовать документации здесь, чтобы развернуть конечную точку TFS - https://github.com/aws/sagemaker-python-sdk/blob/master/src/sagemaker/tensorflow/deploying_tensorflow_serving.rst

Answer 2

Скорее всего, вам нужно настроить функции вывода, загруженные в конечные точки.В SageMaker TF SDK doc здесь вы можете найти две опции для развертывания SageMaker TensorFlow:

• Конечная точка Python , то есть по умолчанию, проверьтеесли изменение input_fn может вместить вашу схему вывода
• Конечная точка обслуживания TF

Вы можете диагностировать ошибку в Cloudwatch (доступной через пользовательский интерфейс конечной точки sagemaker),выберите наиболее подходящую обслуживающую архитектуру среди вышеупомянутых двух и при необходимости настройте функции вывода