Как импортировать фреймворк в spark-shell в windows?

Question

Я использую Windows-машину и установил Spark и Scala для моего обучения.для spark-sql необходимо обработать входные данные json.

scala> sc
res4: org.apache.spark.SparkContext = org.apache.spark.SparkContext@7431f4b8

scala> import play.api.libs.json._
<console>:23: error: not found: value play
       import play.api.libs.json._
              ^

scala>

Как я могу импортировать play api в мой комнад с искровыми оболочками.

Answer 1

Если вы хотите использовать другие библиотеки при использовании spark-shell, вам нужно запустить команду spark-shell с --jars и / или --packages.Например, чтобы использовать play в вашей оболочке spark, выполните следующую команду:

spark-shell --packages "com.typesafe.play":"play_2.11":"2.6.19"

Для получения дополнительной информации вы можете использовать spark-shell -h.Надеюсь, это поможет!