Столбец метки времени как timeuuid - PullRequest
1 голос
/ 02 мая 2019

Хотите преобразовать timestamp столбец в timeuuid, вот мой spark фрейм данных (импортированный CSV-файл из cassandra):

scala> newDF.printSchema
root
 |-- eventID: string (nullable = true)
 |-- userID: string (nullable = true)
 |-- timestamp: string (nullable = true)
 |-- sessionID: string (nullable = true)
 |-- fullJson: string (nullable = true)

Мне удалось создать новый столбец event_date, просто приведя новый столбец к DateType:

val finalDF = newDF.withColumn("event_date", helpFrame("timestamp").cast(DateType))

Можно ли преобразовать столбец timestamp в timeuuid, используя com.datastax.driver.core.utils.UUIDs.

В моем другом (Java) приложении мне удалось сделать это следующим образом:

Date date = new Date();
UUID uuid2 = new UUID(UUIDs.startOf(date.getTime()).getMostSignificantBits(), random.nextLong());

Хотите знать, как это можно просто сделать в Spark shell

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...