Как экспортировать проект Scala Spark в банку - PullRequest
Новая
       25

Как экспортировать проект Scala Spark в банку

0 голосов
/ 12 апреля 2019

Я работаю над проектом Scala / Spark, я хотел бы экспортировать свой проект в файл jar и запустить его в spark через spark-submit.
Я пробовал это решение:
Файл -> Структура проекта -> Артефакты -> + -> Jar -> Из модулей с зависимостями -> Выбранный основной класс после просмотра -> Выбранная выдержка в целевой сосуд -> Заполняется автоматически каталог для META-INF -> OK -> Apply -> OK -> Build -> Build Artifacts -> Build.
Но я не нашел свой основной класс в файле jar, поэтому не могу его запустить.

1 Ответ

3 голосов
/ 12 апреля 2019

Основная идея, которой вы можете следовать:

Пока вы работаете над Scala

  • Вы можете использовать sbt в качестве системы управления сборкой, чтобы добавить все зависимости в ваш проект

  • Вы можете использовать sbt assembly плагин для создания толстой банки

  • Экспортируйте этот жирный кувшин в кластер, чтобы отправить задания искры.

Пожалуйста, используйте Google, чтобы получить более подробную информацию ...

или вы можете использовать этот проект https://github.com/khodeprasad/spark-scala-examples для начала и интегрировать плагин sbt assembly для создания толстых банок, следуя их документации https://github.com/sbt/sbt-assembly

...