Версия Kafka Connector для использования в Spark Streaming

Question

Последняя версия Kafka, доступная для скачивания, - Kafka 2.1.0.Но чтобы использовать Kafka в Spark Streaming или Spark Structured Streaming, мы используем соответственно следующие соединители:

spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11

Мой вопрос заключается в том, что кажется, что соединители для Kafka версии 0.10.0.0, так как имяиз разъемов включают 0-10.Есть ли что-то, чего я здесь не понимаю, или мы действительно используем разъемы, которые предназначены для гораздо более старых версий Kafka?

Answer 1

Для Spark Structure Streaming 2.4 используется Kafka Client 2.0.

0-10 означает, что он совместим с Kafka Brokers в версии 0.10 или выше.

Вы можете проверить его в pom.xml в искровом проекте: https://github.com/apache/spark/blob/branch-2.4/external/kafka-0-10-sql/pom.xml#L33