спарк-кассандра-разъем для Spark 1.4 и Cassandra 3.0

Question

Эксперты Spark-Cassandra: будет ли Apache Spark 1.4 работать с Apache Cassandra 3.0 в установках Datastax? Мы рассматриваем несколько вариантов миграции DSE 4.8 (Spark 1.4 и Cassandra 2.1) на DSE 5.0 (Spark 1.6 и Cassandra 3.0). Один из вариантов - обновить Cassandra Cluster до DSE 5.0 и оставить кластер Spark на DSE 4.8. Это означает, что мы должны заставить Apache Spark 1.4 работать с Apache Cassandra 3.0. Мы используем https://github.com/datastax/spark-cassandra-connector версии 1.4 (DSE 4.8) и 1.6 (DSE 5.0). Кто-нибудь пробовал использовать Spark 1.4 (DSE 4.8) с Cassandra 3.0 (DSE 5.0)?

Answer 1

Как я могу видеть из Maven Central, Spark Cassandra Connector 1.4.5 действительно использовал версию 2.1.7 драйвера Java. Согласно матрице совместимости в официальной документации , драйвер 2.1.x не будет работать с Cassandra 3.0 ... Конечно, вы можете протестировать его, но я сомневаюсь, что он будет работать - драйвер обычно обратно совместим, но не поддерживает совместимость ...

Я рекомендую выполнить миграцию на DSE 5.0, а затем достаточно быстро перейти на 5.1, так как 5.0 может скоро стать EOL.

P.S. Если у вас есть дополнительные вопросы, я рекомендую присоединиться к DataStax Academy Slack - там есть отдельный канал о разъеме искровой кассандры.