Запустите прогноз Tensorflow 2 на AWS Lambda

Question

Я хочу запустить Tensorflow 2 LinearClassifier на AWS Lambda. У меня есть обученная модель тензорного потока LinearClassifier. Я хочу выполнить только прогноз в AWS Lambda, из-за экономической эффективности.

В настоящее время я не знаю, как с этим справиться.

• Я пытался использовать обычный TF2 , но он слишком велик для AWS лямбда-слоев. Все описания, которые вы найдете, относятся к более старым версиям TF 1.1x и Python 2.x.
• Затем я попробовал Tensorflow JS, но похоже, что LinearClassifier использует функции, которые не реализованы в TF JS .
• В последний раз я пытался использовать Tensorflow Lite, но сейчас у меня проблемы с преобразованием моей модели в TFLite.

У вас есть идея, как я могу получить TF 2 Оценка LinearClassifier, работающего на AWS Lambda?

Обычно я думаю, что не все модули Tensorflow объемом 1,5 ГБ используются для простого прогнозирования существующей модели. Так есть ли возможность получить только те файлы, которые используются для запуска скрипта?

Answer 1

Я нашел возможные ответы на ваш вопрос:

1. Для преобразования в модели TFlite:

• блог о «Как преобразовать Оценщик тензорного потока в Tensorflow Lite ": https://medium.com/datadriveninvestor/how-to-convert-a-tensorflow-estimator-to-tensorflow-lite-a3509a9ba902
• другой пример с моделью Keras, но, возможно, тот же трюк с get_concrete_function (у меня работает с моей моделью keras): https://colab.research.google.com/github/tensorflow/tensorflow/blob/master/tensorflow/lite/examples/experimental_new_converter/Keras_LSTM_fusion_Codelab.ipynb

Для использования с AWS Lambda существует множество блогов, но ни один из них не идеален. В моем случае я использовал tensorflow 2.3.0 для создания моей модели keras. Поэтому мне нужно немного изменить этот очень хороший учебник:

• https://www.edeltech.ch/tensorflow/machine-learning/serverless/2020/07/11/how-to-deploy-a-tensorflow-lite-model-on-aws-lambda.html или его github: https://github.com/edeltech/tensorflow-lite-on-aws-lambda

Для части: «Клонировать TensorFlow из официального репозитория GitHub», нам нужно принудительно установить версию tensorflow, потому что иногда последняя версия не компилируется должным образом.

В моем случае мне нужен тензорный поток v2 .3.0, поэтому я изменил эту строку:

git clone https://github.com/tensorflow/tensorflow.git

на

git clone --branch v.2.3.0 https://github.com/tensorflow/tensorflow.git

Я также изменил в конце, чтобы вызывать лямбду на AWS:

sls invoke local -f predict

by

sls invoke -f predict

Я рекомендую вам пройти все учебное пособие с предоставленным образцом модели, чтобы убедиться, что все работает.