Оболочка Скалы не распознает искру

Question

Я пытаюсь подписаться на тему в kafka, используя оболочку scala, и ниже приведена команда, которую я выполняю для того же:

scala> val topic1 = spark.read.format ("kafka"). Option ("подписка", "topic1"). Option ("kafka.bootstrap.servers", "ip: порт, ip2: порт, ip3 :. порт ") нагрузка

всякий раз, когда я выполняю команду, я заканчиваю ошибкой, как показано ниже:

: 25: ошибка: не найдена: значение искры Есть ли другой способ подписаться на тему в kafka через оболочку scala. Я использую Spark - 1.6.3 Scala - версия 2.10.5.

Answer 1

Вы можете использовать spark-shell, который выглядит точно так же, как оболочка Scala, но со всеми доступными библиотеками и контекстом искры.spark-shell входит в стандартную установку Spark.

Подробнее см., Например, https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-shell.html.

Answer 2

Spark недоступен в стандартной библиотеке Scala, но вы можете загрузить внешние библиотеки, такие как spark, добавив файлы jar в classpath fe:

scala -cp SomeLib.jar

или с :require

scala> :require SomeLib.jar

И тогда вам нужно будет импортировать соответствующую упаковку. Но вопрос почему? Если вы хотите как-то обработать эти сообщения, тогда будет гораздо проще использовать какой-нибудь простой проект с инструментом сборки, таким как SBT. И если вы хотите просто потреблять сообщения, например. для некоторого тестирования / предварительного просмотра, и вы не хотите создавать собственное приложение для этого, тогда в Kafka есть kafka-console-consumer: https://kafka.apache.org/quickstart#quickstart_consume