Использование Estamator.evaluate () на обученной модели тензора sagemaker - PullRequest
Новая
       23

Использование Estamator.evaluate () на обученной модели тензора sagemaker

0 голосов
/ 08 июля 2019

После обучения и развертывания модели с помощью AWS SageMaker я хочу оценить ее по нескольким файлам CSV: 

- category-1-eval.csv (~700000 records)
- category-2-eval.csv (~500000 records)
- category-3-eval.csv (~800000 records)
...

Правильный способ сделать это - использовать метод Estimator.evaluate () , так как он быстрый.

Проблема в том, что я не могу найти способ восстановить модель SageMaker в Tensorflow Estimator, возможно ли это?

Я пытался восстановить такую ​​модель: 

tf.estimator.DNNClassifier(
    feature_columns=...,
    hidden_units=[...],
    model_dir="s3://<bucket_name>/checkpoints",
)

В документации AWS SageMaker описан другой подход - для проверки фактической конечной точки из ноутбука - но это занимает много времени и требует большого количества вызовов API к конечной точке.

1 Ответ

1 голос
/ 08 июля 2019

если вы использовали встроенный контейнер Tensorflow, ваша модель была сохранена в формате обслуживания Tensorflow, например: 

$ tar tfz model.tar.gz
model/
model/1/
model/1/saved_model.pb
model/1/variables/
model/1/variables/variables.index
model/1/variables/variables.data-00000-of-00001

Вы можете легко загрузить его с помощью Tensorflow Serving на локальном компьютере и отправить егообразцы для прогнозирования.Больше информации на https://www.tensorflow.org/tfx/guide/serving

...