Дата карты PySpark Map в простом файле считывается, чтобы извлечь год-неделю

Question

У меня есть текстовый файл, который я хотел бы прочитать в Spark SQL на Python.Он содержит столбец даты в форме dd.MM.yyyy

|amount| date     | dim1  |   dim2  |  dim3 | dim4  |
|     0|08.02.2018|     AB|    12345|A12345 |     VG|
|     0|08.02.2018|     AB|    12345|B12345 |     VG|
|     0|15.02.2018|     AB|    12345|A12345 |     VG|

Как мне сопоставить этот столбец даты таким образом, чтобы можно было извлечь год-неделю?

myTab.select(date_format(
    unix_timestamp("date", "dd.MM.yyyy").cast("timestamp"),
   "dd.MM.yyyy"
)).show()

Что, кажется, что-то делает, но мне неясно, как я могу сделать это частью моей функции отображения.