Вставить через параллельный поток данных в Cassandra - PullRequest
Новая
       36

Вставить через параллельный поток данных в Cassandra

0 голосов
/ 28 мая 2018

У меня есть следующий код: - 

collection.foreachRDD(rdd =>
  {
    if (!rdd.partitions.isEmpty) {
      println("RDD collected")
      try {
        val dfs = rdd.toDF()
 dfs.write.format("org.apache.spark.sql.cassandra").options(Map("table" -> "table", "keyspace" -> "db", "cluster" -> "Test Cluster"))
          .mode(SaveMode.Append).save()
      } catch {
        case e: Exception => e.printStackTrace
      }
      println("Written to cassandra")
    } else {
      println("blank rdd")
    }
  })

Теперь я ищу решение, в котором я могу писать в Cassandra параллельно, используя поток или что-то еще, потому что моя запись очень очень медленная, она идет воколо 2000-2200 в секунду.Спасибо,

...