Pyspark: как узнать дату недели и год

Question

У меня есть датафрейм со столбцом, содержащим номер недели и год. Например: 18/2020, что соответствует первой дате 2020-04-27. Как извлечь полный столбец даты?

Answer 1

Просто используйте to_date в формате w/yyyy:

df = spark.createDataFrame([(1, "18/2020")], ['id', 'week_year'])
df.withColumn("date", to_date(col("week_year"), "w/yyyy")).show()

#+---+---------+----------+
#| id|week_year|      date|
#+---+---------+----------+
#|  1|  18/2020|2020-04-26|
#+---+---------+----------+