Совместима ли spark 1.6.3 с Kafka 1.0.0?

Question

У меня есть spark 1.6.3, Scala 2.10.5 и Kafka 1.0.0, возможно ли использовать Kafka 1.0.0 с Scala 2.10.5?

Answer 1

Нет. Кафка 1.0.0 требует Scala 2.11 или 2.12.

https://kafka.apache.org/downloads#1.0.0

Answer 2

Клиенты Spark-Streaming v1.6.3 могут общаться с брокерами Kafka 1.0, да.

Я не уверен, как вы получили старую версию Scala, потому что загрузки Spark 1.6.3 созданы для Scala 2.11