Как импортировать пакеты Spark в AWS Glue?

Question

Я хотел бы использовать пакет GrameFrames, если бы я запускал pyspark локально, я бы использовал команду:

~/hadoop/spark-2.3.1-bin-hadoop2.7/bin/pyspark --packages graphframes:graphframes:0.6.0-spark2.3-s_2.11

Но как мне запустить скрипт AWS Glue сэтот пакет?Я ничего не нашел в документации ...

Answer 1

Вы можете указать путь к дополнительным библиотекам, упакованным в zip-архивы, расположенные в s3.

Пожалуйста, проверьте этот документ для получения более подробной информации