Мне интересно, использовал ли кто-нибудь частное хранилище Nexus PyPi и spark-submit --py-file https://..../my.egg? Чувствуется, что это возможно, но мне трудно найти информацию по нему.
UPDATE
Я смог wget яйцо из моего личного репо, но по какой-то причине --py-files с тем же URL не работает.
UPDATE
Получение 401 несанкционированного использования --py-файлов, хотя я передаю кредиты в URL следующим образом: https://user:pass@host/pypi/...