Как указать / передать параметры пакетов в задание AWS glue spark?
Я использую Glue версии 1 , которая поддерживает Spark 2.4.3 и хотите использовать Spark avro для чтения некоторых файлов avro
Вы не можете предоставить опцию пакета для работ по склеиванию, вместо этого загрузите зависимые jar-файлы из репозитория maven.
Затем поместите эти jar-файлы в s3 и передайте их в качестве дополнительных jar-файлов вашей работе. Таким образом, вы можете получить доступ к этим банкам в рамках задания.
Для spark2.4.3 вам необходимо передать эту банку
spark2.4.3
https://repo1.maven.org/maven2/org/apache/spark/spark-avro_2.12/2.4.3/spark-avro_2.12-2.4.3.jar