Apache Spark SQL чтение и запись Cassandra TTL - PullRequest
0 голосов
/ 10 февраля 2020

Каким образом Spark sql читает apache данные cassandra ttl с Dataframe (Spark Sql). Я не нашел ни одного примера? Могу ли я получить пример?

Мой предыдущий вопрос был на rdd Spark: Spark получает столбец ttl от cassandra

Но теперь запрос для Dataframe.

1 Ответ

0 голосов
/ 10 февраля 2020

Spark Cassandra Connector не поддерживает TTL и WriteTime в API DataFrame. Вы можете отслеживать JIRA SPARK C -528 для прогресса.

Вы можете читать TTL и / или WriteTime, используя RDD API (лучше всего с сопоставлением с делом класса ), а затем конвертировать в DataFrame.

...