Почему запись данных в Cassandra так медленна, как в версии 2.4.1v? - PullRequest
Новая
       63

Почему запись данных в Cassandra так медленна, как в версии 2.4.1v?

0 голосов
/ 17 октября 2019

В моем проекте мы используем kakfa с поддержкой Stream Streaming, для PoC я использую версию spark 2.4.1, apache cassandra с 6 узлами и java8.

Когда я пытаюсь вставить данные своего кадра данных в C *таблица с небольшими данными. Он не будет вставлен в Cassandra быстро, в следующей партии он иногда вставляет другие пропуски времени без ошибок.

Ниже приведен код: 

StreamingQuery queryStream = 
            mydatadf
              .writeStream()
              .trigger(Trigger.ProcessingTime("5 seconds"))
              .option("checkpointLocation", checkpointPath )
              .foreachBatch((batchDf, batchId) -> {
                  batchDf
                    .write()
                    .format("org.apache.spark.sql.cassandra")
                    .option("table", c_mydata) 
                    .option("keyspace", keyspace1 )
                    .mode(SaveMode.Append)
                    .save();
              }).start();

queryStream.awaitTermination();

Что не так меняделать здесь ? как исправить это медленное письмо?

ценим вашу помощь.

...