Лямбда не находит данные NLTK, загруженные через AWS CodeBuild - PullRequest
Новая
       9

Лямбда не находит данные NLTK, загруженные через AWS CodeBuild

0 голосов
/ 04 февраля 2019

У меня есть скрипт, использующий NLTK в лямбда-сервисе.Я использую конвейер для автоматизации всех этапов разработки.Когда в репозитории GitHub происходит новая фиксация, AWS CodeBuild обрабатывает проект и реализует его в моей функции Lambda.

Сценарий

  • Среда: Python 3.6.5
  • Используйте nltk с пакетными стоп-словами и wordnet

Я использую это решение для своего кода: Установка NLTK / WORDNET на AWS Lambda через CodeBuild 

version: 0.2
phases:
 install:
   commands:
     - echo "install step"
     - apt-get update
     - apt-get install zip -y
     - apt-get install python3-pip -y
     - pip install --upgrade pip
     - pip install --upgrade awscli
     # Define directories
     - export HOME_DIR=`pwd`
     - export NLTK_DATA=$HOME_DIR/nltk_data
 pre_build:
   commands:
     - echo "pre_build step"
     - cd $HOME_DIR
     - virtualenv venv
     - . venv/bin/activate
     # Install modules
     - pip install -U requests
     # NLTK download
     - pip install -U nltk
     - python -m nltk.downloader -d $NLTK_DATA wordnet stopwords
     - pip freeze > requirements.txt
 build:
   commands:
     - echo 'build step'
     - cd $HOME_DIR
     - mv $VIRTUAL_ENV/lib/python3.6/site-packages/* .
     - sudo zip -r9 algo.zip .
     - aws s3 cp --recursive --acl public-read ./ s3://hilightalgo/
     # Put the zip on the lambda function
     - aws lambda update-function-code --function-name arn:aws:lambda:eu-west-3:671560023774:function:LaunchHilight --zip-file fileb://algo.zip
 post_build:
   commands:
     - echo "Build: end"

разные шаги работают хорошо.Нет ошибок, но когда я пытаюсь использовать свою функцию Lambda, кажется, что у меня нет данных nltk.Ниже приведен результат выполнения лямбды: 

{"errorMessage":"\n**********************************************************************\n Resource \u001b[93mstopwords\u001b[0m not found.\n Please use the NLTK Downloader to obtain the resource:\n\n \u001b[31m>>> import nltk\n >>> nltk.download('stopwords')\n \u001b[0m\n Attempted to load \u001b[93mcorpora/stopwords\u001b[0m\n\n Searched in:\n - '/home/sbx_user1060/nltk_data'\n - '/var/lang/nltk_data'\n - '/var/lang/share/nltk_data'\n - '/var/lang/lib/nltk_data'\n - '/usr/share/nltk_data'\n - '/usr/local/share/nltk_data'\n - '/usr/lib/nltk_data'\n - '/usr/local/lib/nltk_data'\n**********************************************************************\n","errorType":"LookupError","stackTrace":[" File \"/var/task/lambda_function.py\", line 13, in lambda_handler\n return preprocessing.find_sentences('twitter.txt', 'english')\n"," File \"./hilight_aglo_v2/preprocessing.py\", line 100, in find_sentences\n (data, data_stopwords) = sentence_tokenize(file, language)\n"," File \"./hilight_aglo_v2/preprocessing.py\", line 52, in sentence_tokenize\n stop_words = set(stopwords.words(language))\n"," File \"/var/task/nltk/corpus/util.py\", line 123, in __getattr__\n self.__load()\n"," File \"/var/task/nltk/corpus/util.py\", line 88, in __load\n raise e\n"," File \"/var/task/nltk/corpus/util.py\", line 83, in __load\n root = nltk.data.find('{}/{}'.format(self.subdir, self.__name))\n"," File \"/var/task/nltk/data.py\", line 699, in find\n raise LookupError(resource_not_found)\n"]}

Я не знаю, почему лямбда не находит данные nltk.У кого-нибудь есть идея решить мою проблему?

1 Ответ

0 голосов
/ 04 февраля 2019

Согласно сообщению об ошибке, NLTK выполняет поиск в этих каталогах: 

Searched in:
 - '/home/sbx_user1060/nltk_data'
 - '/var/lang/nltk_data'
 - '/var/lang/share/nltk_data'
 - '/var/lang/lib/nltk_data'
 - '/usr/share/nltk_data'
 - '/usr/local/share/nltk_data'
 - '/usr/lib/nltk_data'
 - '/usr/local/lib/nltk_data'

Однако в среде выполнения Lambda доступ к файловой системе несколько ограничен;они могут даже не присутствовать, не говоря уже о читабельности вашего кода.Кроме того, ваш код (архив .zip, который вы создаете) извлекается в /var/task.По сути, это домашний каталог.

К счастью, кажется, вы можете дать nltk знать, где искать корпусы, установив переменную среды.Если я правильно понимаю ваш процесс сборки, вы объединяете корпус NLTK в подкаталог nltk_data рядом с вашим кодом Python и необходимыми библиотеками.Таким образом, в среде выполнения Lambda его можно найти по адресу /var/task/nltk_data.

Следовательно, попробуйте установить переменную среды NLTK_DATA для вашей функции в конце процесса CodeBuild: 

aws lambda update-function-configuration \
--function-name arn:aws:lambda:eu-west-3:671560023774:function:LaunchHilight \
--environment 'Variables={NLTK_DATA=/var/task/nltk_data}'
...