Добавить столбец отметки времени в RDD с помощью Scala

Question

У меня есть следующий RDD с тысячами записей в виде (Int, Double), в который я хотел бы добавить столбец в качестве временной метки, чтобы он стал (Int, Double, Datetime). Я попробовал следующее:

    val addTimeStampRDD = OriginalRDD.map {
      case(a, b) =>
        (a, b, current_timestamp())}

К сожалению, работа не может быть выполнена с такими ошибками, как:

java.lang.NoClassDefFoundError: scala/Product$class

Это потому, что отметка времени является функцией SQL? Есть ли лучшая альтернатива, чем эта?

Answer 1

Для достижения результата в Spark вы можете использовать LocalDateTime из java.time.LocalDateTime

Вы можете следовать этому вопросу

scala> import java.time.LocalDateTime
import java.time.LocalDateTime

scala> LocalDateTime.now()

Вы также можете использовать DateTimeFormatter для форматирования даты в требуемом формате

scala> import java.time.format.DateTimeFormatter
import java.time.format.DateTimeFormatter

scala> DateTimeFormatter.ofPattern("yyyy-MM-dd_HH:mm").format(LocalDateTime.now)