Извиняюсь, если вопрос очень основополагающий c, так как я очень новичок, имел oop env, и я не мог найти большую помощь относительно развертывания кода pyspark на кластере oop. (задаю вопрос, основываясь на моем понимании того, как scala код развернут на кластере oop)
У меня есть код pyspark, который я должен развернуть на кластере oop. код pyspark содержит некоторые основные операции c ETL. Я могу запустить код, используя spark-submit и он работает нормально. Теперь мне нужно развернуть его. Насколько я понимаю, код pyspark должен быть построен как файл jar, а затем развернут.
Как собрать файл jar из кода pyspark. Это с помощью sbt или mvn? если да, пожалуйста, скажите мне, что мне нужно сделать, чтобы создать файл jar.
Буду очень признателен за помощь!