Мой вопрос о том, как преобразовать строку даты / времени Unicode в python datetime в pyspark
Я написал программу машинного обучения с использованием pyspark в среде Databricks / AWS.Весь мой код работает хорошо, за исключением преобразования Unicode string (u’4/6/2017 13:25’) to python datetime.. Я хочу определить разницу во времени между сегодняшним днем и датой покупки.
Мой код:
historicalE = historicalD.withColumn('new_purchase_date', f.date_format(historicalD.purchase_date.cast(dataType=t.TimestampType()), "%m-%d-%YT%H:%MZ"))
После запуска кода “new_purchase_date” = None
В другой попытке я попытался:
historicalE = historicalD.withColumn('new_purchase_date', datetime.datetime.strptime(historicalD.purchase_date, '%m-%d-%YT%H:%M'))
Это вызвало прерывание must be a string, not a column
Я работал над этой проблемой, используя несколько решений в течение дня, и не добился никакого прогресса.Ваши предложения очень ценятся.Благодарю.