как получить saveToCassandra и использовать его?

Question

Я использую spark-sql v2.3.1 для записи данных в cassandra v3.11.1.Чтобы записать фрейм данных в таблицу Кассандры, мы можем использовать

df.write.format("org.apache.spark.sql.cassandra") 
 .options(Map( "table" -> tname, "keyspace" -> keyspacename ))
 .mode(SaveMode.Append)
 .save();

Но с той же версией, как я могу использовать метод saveToCassandra(), мне нужно добавить любые банки, я уже добавил spark-cassandra-connector и cassandra-driver-ядро.мне нужно добавить еще банки?Я получаю свечу как искру, и она не поддерживает createDateFrame().

Answer 1

saveToCassandra находится в том же пакете, но работает с RDD , а не с фреймами данных.Таким образом, если вы хотите использовать эту команду (действительно, это должно быть хорошей причиной), вам просто нужно получить RDD из фрейма данных, сказав df.rdd и вызвав saveToCassandra.

Answer 2

sc = spark.sparkContext;

на sc мы можем вызвать saveToCassandra ();