Как мы могли запустить пример Kafka в официальном проекте Spark? - PullRequest
Новая
       6

Как мы могли запустить пример Kafka в официальном проекте Spark?

0 голосов
/ 01 июня 2018

Я пытаюсь запустить простой пример Кафки в проекте Spark.

Искра построена правильно, поэтому я могу запустить большинство примеров, кроме этого примера Кафки.

Когда я запускаюСледующая команда: 

bin/run-example streaming.JavaDirectKafkaWordCount localhost:9092 test

Я получил следующую ошибку: 

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka010/LocationStrategies

Есть идеи, как мы могли бы правильно запустить Пример Kafka?

(клиент Kafka работает на порту9092. Использование новейших Spark и Kafka и Java 8)

1 Ответ

0 голосов
/ 13 июля 2018

В моем проекте наконец-то я правильно соединил Кафку и Спарк.Я понял, что использование режима local в скрипте Spark весьма полезно при разработке.Гораздо проще отлаживать и практиковать.

Подробную, докернизированную реализацию вы можете найти здесь: https://github.com/zoltan-nz/kafka-spark-project

Примечания по теме: https://github.com/zoltan-nz/kafka-spark-project/blob/master/SparkStreamer/README.md#experiment-06---using-local

...