Инициализаторы столбцов даты Spark для "withColumn"?

Question

Scala 2.11 здесь. У меня есть следующая таблица БД:

[input]
===
id BIGINT UNSIGNED NOT NULL,
name VARCHAR(50) NOT NULL,
rank INT NOT NULL

Это я прочитал со следующим кодом Spark:

val inputDf = sqlContext().read
    .format("blah whatever")
    .option("url", "jdbc://blah://whatever")
    .option("query", "SELECT * FROM input WHERE id < 500")
    .load()

Однако я бы хотел, чтобы мой inputDf содержал новый столбец, который не существует в базе данных, lastRanOn, который будет Java Date со значением текущего времени (поэтому new Date()) , Самое близкое, что я мог придумать, было:

inputDf.withColumn("lastRanOn", new Date())

Однако, это дает мне ошибки компилятора:

«Несоответствие типов, ожидаемое: столбец, фактическое: Дата»

Есть идеи, как мне этого добиться?

Answer 1

Второй аргумент должен быть Column. Вы можете использовать current_date

import org.apache.spark.sql.functions.current_date

inputDf.withColumn("lastRanOn", current_date)