Как извлечь месяц из значений столбца даты в фрейме данных scala?

Question

Дано:

val df = Seq((1L, "04-04-2015")).toDF("id", "date")
val df2 = df.withColumn("month", from_unixtime(unix_timestamp($"date", "dd/MM/yy"), "MMMMM"))
df2.show()

Я получил этот вывод:

+---+----------+-----+
| id|      date|month|
+---+----------+-----+
|  1|04-04-2015| null|
+---+----------+-----+

Однако я хочу, чтобы вывод был таким, как показано ниже:

+---+----------+-----+
| id|      date|month|
+---+----------+-----+
|  1|04-04-2015|April|
+---+----------+-----+

Как я могу сделать это в sparkSQL, используя Scala?

Answer 1

Это должно сделать это:

val df2 = df.withColumn("month", date_format(to_date($"date", "dd-MM-yyyy"), "MMMM"))

df2.show
+---+----------+-----+
| id|      date|month|
+---+----------+-----+
|  1|04-04-2015|April|
+---+----------+-----+

Примечание:

• Первая строка (to_date) должна соответствовать формату вашей существующей даты
  • Будьте осторожны с: "ДД-ММ-ГГГГ" против "ММ-ДД-ГГГГ"
• Вторая строка (date_format) - это формат вывода

Docs:

• to_date
• date_format

Answer 2

Ничего Неправильно в вашем коде просто сохраняет ваш формат даты в качестве столбца даты. Здесь я прилагаю скриншот с вашим кодом и изменениями кодов.

HAppy Hadoooooooooooopppppppppppppppppppppp