Как добавить libriry в Spark Shell

Question

У меня есть библиотека, которую я хочу использовать в оболочке spark. Как добавить эту библиотеку, чтобы она была доступна из оболочки оболочки? сб:

resolvers += Resolver.bintrayRepo("unsupervise", "maven")
libraryDependencies += "com.github.unsupervise" %% "spark-tss" % "0.1.1"

Maven:

<dependencies>
<!-- Other Dependencies -->
    <dependency>
        <groupId>com.github.unsupervise</groupId>
        <artifactId>spark-tss_2.11</artifactId>
        <version>0.1.1</version>
    </dependency>
</dependencies>
<repositories>
<!-- Other Repositories ... -->
    <repository>
        <id>bintrayunsupervisemaven</id>
        <name>bintray-unsupervise-maven</name>
        <url>https://dl.bintray.com/unsupervise/maven/</url>
        <layout>default</layout>
    </repository>
</repositories>

Answer 1

Используйте параметры repositories и packages.

spark-shell \
  --repositories "https://dl.bintray.com/unsupervise/maven" \
  --packages "com.github.unsupervise:spark-tss_2.11:0.1.1"

Answer 2

Если у вас есть банки локально:

./spark-shell --jars pathOfjarsWithCommaSeprated

Когда бинарные артефакты (банки) управляются через хранилище артефактов, таких как Maven или Nexus, вы будете использовать координаты артефактов, такие как идентификатор группы , идентификатор артефакта и версия .

Ссылка: http // spark. apache .org / docs / latest / rdd-программирования -guide.html # using-the-shell

./bin/spark-shell --master local[4] --packages "com.github.unsupervise:spark-tss_2.11:0.1.1"