Невозможно извлечь файл JAR из репозитория JFrog Artifactory при запуске задания Spark на K8

Question

Я пытаюсь запустить искровое задание в кластере Kubernetes, но оно не выполняется, исключение не найдено. Причина, по которой я чувствую, заключается в том, что он не может извлечь файл JAR из репозитория JFrog Artifactory. Любые предложения о том, что можно сделать?

Можем ли мы включить что-то в параметры отправки или создания файла паролей?

Answer 1

Вы не упомянули, как вы проверяете, как вы тянете банку, когда тестировали свою работу на месте, или, возможно, вы еще не тестировали ее. Согласно Расширенное управление зависимостями :

Spark использует следующую схему URL, чтобы использовать разные стратегии распространения jar-файлов: hdfs :, http :, https :, ftp: - эти выпадающие файлы и JAR-файлы из URI, как и ожидалось

И

Пользователи могут также включать любые другие зависимости, предоставляя разделенный запятыми список координат Maven с помощью --packages. Все переходные зависимости будут обрабатываться при использовании этой команды. Дополнительные репозитории (или резолверы в SBT) могут быть добавлены через запятую с помощью флага --repositories. (Обратите внимание, что учетные данные для репозиториев, защищенных паролем, могут быть предоставлены в некоторых случаях в URI хранилища, например, в https://user:password@host/.... Будьте внимательны при предоставлении учетных данных таким способом.)

Если вы используете репозиторий Jfrog или Jar-файл требует учетных данных, похоже, что вам нужно будет передать учетные данные в URL: https://user:password@host/...