Соединение Spark-Cassandra с использованием набора данных

Question

Я обрабатываю свои данные кассандры в искре.Я использую "spark-cassandra-connector", который передает данные из cassandra в RDD.

Я хочу использовать наборы данных spark 2. * s, так как наборы данных улучшат мою производительность. Любая идея, как я могу это сделать?

Любой фрагмент кода будет отличной помощью

Answer 1

Использование

spark.read.format("org.apache.spark.sql.cassandra")
   .options(Map("keyspace" -> "your_keyspake", "table" -> "your_table"))
   .load.filter(conditions)

Вам не нужно конвертировать из rdd в набор данных.