spark-streaming-kafka-0-10 vs spark-streaming-kafka-0-10

Question

Я новичок в области больших данных, мне нужно сделать демонстрацию, которая транслирует данные из темы Kafka с использованием Spark Stream, затем выполняет некоторую агрегацию и фильтрацию, а затем сохраняет эти данные.Я использую spark 2.3. Мне нужно знать, какая версия Spark Stream Kafka должна использовать 0.8 или 10, как в документе spark-2.3 ->

https://spark.apache.org/docs/2.3.0/streaming-kafka-integration.html упомянуть, что

0,8 устарела и 10 стабильна, но в интеграции Streaming-Kafka-0-10 ->

https://spark.apache.org/docs/2.3.0/streaming-kafka-0-10-integration.html

отметим, что 0,8 стабильно, а 10 - экспериментально. Я использую Кафку 2,1.

, так что из них я должен использовать

Answer 1

Я использую Кафку 2.1.

Тогда вам следует использовать Spark 0.10 Kafka API, в основном по причинам наличия нового Consumer API, как упомянуто на этой странице.

При обновлении до Spark 2.4 та же библиотека была обновлена ​​для использования библиотек Kafka 2.0, но они сохранили имя как 0.10 - SPARK-18057

Answer 2

Версия 0.8 стабильна, но kafka не предоставляет техническую поддержку для этой версии . Я думаю, вы должны продолжить с последней версией.