В Python AWS Glue log написано «Рассматривать файл без префикса как дополнительный файл Python» для загруженных пакетов Python Zip - PullRequest
Новая
       21

В Python AWS Glue log написано «Рассматривать файл без префикса как дополнительный файл Python» для загруженных пакетов Python Zip

0 голосов
/ 05 ноября 2019

В AWS Glue для простой работы с пандами: чтение данных в XLSX и запись в CSV. У меня есть небольшой код. Согласно инструкциям Python Glue, я сжал необходимые библиотеки и предоставил пакеты Glue Job во время выполнения.

Вопрос: Что передают следующие журналы? 

Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/fsspec.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/jmespath.zip
Considering file without prefix as a python extra file s3://raw-data/sampath/scripts/s3fs/s3fs.zip
....

Пожалуйста, уточните пример?

1 Ответ

0 голосов
/ 06 ноября 2019

В заданиях оболочки Python вы должны добавлять внешние библиотеки в файл egg, а не в файл zip. Zip-файл предназначен для задания Spark.

Я также написал небольшой сценарий оболочки для развертывания задания оболочки Python без ручных шагов, чтобы создать файл egg и загрузить его на s3 и развернуть с помощью облачной информации. Скрипт делает все автоматически. Вы можете найти код на https://github.com/fatangare/aws-python-shell-deploy. Скрипт возьмет CSV-файл и преобразует его в файл Excel с использованием библиотек pandas и xlswriter.

...