Как развернуть Python скрипт, который импортирует Tensorflow в AWS Lambda?

Question

Tensorflow - это большая библиотека, объем которой составляет около 399 МБ. Я использую tenorflow_hub для загрузки предварительно обученной модели универсального кодировщика предложений. Тем не менее, tenorflow_hub имеет много зависимостей от tenorflow .

Мой пакет на молнии сейчас составляет около 500 МБ. Могу ли я решить эту проблему, включив тензорный поток в мое развертывание? Или есть другой сервис, похожий на AWS Lambda, с большим размером пакета.

Answer 1

Я создал скрипт, который удаляет из tenorflow lib тестовые файлы и pycache :

virtualenv --system-site-packages -p python3 ./venv
source ./venv/bin/activate
pip install tensorflow --target tensorflow-layer
cd tensorflow-layer
find . -type d -name "tests" -exec rm -rfv {} +
find . -type d -name "__pycache__" -exec rm -rfv {} +
cc ..
mv tensorflow-layer python
zip -r python tensorflow-layer.zip

Он не удаляет много, но все же может помочь вам получить дополнительные мегабайты, необходимые для поменьше libs

ps: не забудьте иметь соответствующую среду (в этом случае python3, которая будет dl tenorflow 2.10) и убедитесь, что вы заархивировали свой слой в папку с именем, соответствующим лямбда-языку, но, очевидно, вы уже знаете об этом.