pyspark set ttl на строки в таблице Cassandra - PullRequest
Новая
       11

pyspark set ttl на строки в таблице Cassandra

0 голосов
/ 07 января 2020

Я использую PySpark для манипулирования данными в Cassandra и хочу настроить ttl для строк. Я попробовал следующий код, он работал нормально, но после запуска я проверил таблицу, запись / строка все еще была там. 

def set_ttl(tableName, keyspaceName, dataDf):
  (dataDf.write
          .format("org.apache.spark.sql.cassandra")
          .options(table = tableName, keyspace = keyspaceName, ttl = str(1))
          .mode("append")
          .save())


emails='abc@test.com'.split(",")
df = read_table(my_table, my_keyspace,"*").where(col("email").isin(emails))

set_ttl(my_table, my_keyspace, df)

Я погуглил и получил ответы на конфликты, некоторые сказали, что это выполнимо, но другие сказали, что это поддерживается. так как я не получил никакой ошибки при запуске скрипта, поэтому я предполагаю, что он должен работать? Пожалуйста, помогите.

...