Как найти день даты, используя только функции pyspark

Question

Как найти день даты, используя только функции Pyspark

Если дата 13-09-2018, то днем ​​будет среда.

df = sqlContext.createDataFrame([["2018-09-13"]], ["date"])
df.withColumn(
 "day",
 date_function("date")
)

Можете ли вы предложить мнедата_функция для того же?

Answer 1

Пожалуйста, проверьте приведенное ниже решение и дайте мне знать, если это поможет вам:

df = sqlContext.createDataFrame([('2015-04-08 13:08:15',)], ['date'])

df = df.withColumn(
    "date",
    F.col("date").cast("date")
)

df.show()

df.withColumn(
 "day",
 F.date_format(F.col("date"), "E")
).show()

вывод для того же:

+----------+
|      date|
+----------+
|2015-04-08|
+----------+

+----------+---+
|      date|day|
+----------+---+
|2015-04-08|Wed|
+----------+---+