У меня есть библиотека python, упакованная в виде zip-файла, доступного в удаленном репозитории (Artifactory), и я хотел бы передать ее в путь python для spark-shell или spark-submit, используя координаты пакета (имя иномер версии).В настоящее время я делаю то же самое с jar-файлами:
spark-shell --repositories https://artifactory.com/maven --jars group:jar-name:1.0
Я хотел бы сделать что-то вроде
spark-shell --repositories https://artifactory.com/pypi --jars zipname==1.0
, что, очевидно, не работает, так как repositories должно бытьрепозиторий maven и jars должны быть именем фляги
Я знаю, что могу заранее скачать zip-файл и добавить его в PYTHONPATH, но было бы лучше, если бы я мог напрямую указывать на него через координаты