Эти пакеты, которые вы пытаетесь импортировать. Это нестандартные пакеты? если да, то как ты их упаковал? Вы создали файл wheel или zip-файл и задали их как --py-файлы в вашей отправке с помощью spark через livy?
Возможная проблема.
Вы установили пакеты только на главном узле. Вам нужно будет войти в свои рабочие узлы и установить там пакеты. В противном случае, когда вы настраиваете emr, устанавливайте пакеты, используя bootstrap actions
. У вас должна быть возможность добавлять библиотеки с помощью опции -py-files, но безопаснее просто скачать файлы wheel и использовать их, а не архивировать все что угодно.