Хотите преобразовать timestamp
столбец в timeuuid
, вот мой spark
фрейм данных (импортированный CSV-файл из cassandra
):
scala> newDF.printSchema
root
|-- eventID: string (nullable = true)
|-- userID: string (nullable = true)
|-- timestamp: string (nullable = true)
|-- sessionID: string (nullable = true)
|-- fullJson: string (nullable = true)
Мне удалось создать новый столбец event_date
, просто приведя новый столбец к DateType
:
val finalDF = newDF.withColumn("event_date", helpFrame("timestamp").cast(DateType))
Можно ли преобразовать столбец timestamp
в timeuuid
, используя com.datastax.driver.core.utils.UUIDs
.
В моем другом (Java
) приложении мне удалось сделать это следующим образом:
Date date = new Date();
UUID uuid2 = new UUID(UUIDs.startOf(date.getTime()).getMostSignificantBits(), random.nextLong());
Хотите знать, как это можно просто сделать в Spark shell