Использование pyspark для записи в cassandra с отметкой времени

Question

Я хотел бы иметь возможность использовать USING TIMESTAMP Кассандры, например:

INSERT INTO ... VALUES ... USING TIMESTAMP 1000;

Используя pyspark, указывая, какую временную метку использовать. В настоящее время я сохраняю значение фрейма данных, например:

dataframe.write.mode("append").format("org.apache.spark.sql.cassandra").options(
   **load_options
).save()

Я проверил документацию и осмотрелся, но не смог найти никакой информации об этом, если это возможно (и как это сделать) или нет,Есть ли способ иметь эту опцию в pyspark?

Answer 1

API Dataframe не поддерживает запись с отметкой времени или TTL - он доступен только в RDD API. Это общее ограничение для всех языков.

Я не пробовал сам, но похоже, что это возможно с помощью пакета pyspark-cassandra, который имеет соответствующих опций .