Pyspark дата преобразования гггг-ммм-дд - PullRequest
Новая
       8

Pyspark дата преобразования гггг-ммм-дд

0 голосов
/ 30 мая 2018

Есть кадр данных искры.У одного из столбцов даты заполнены в формате, например, 2018-12 января

Мне нужно изменить эту структуру на 20180112

Как этого достичь

Ответы [ 3 ]

0 голосов
/ 30 мая 2018

Вы можете использовать Pyspark UDF . 

from pyspark.sql import functions as f
from pyspark.sql import types as t
from datetime.datetime import strftime, strptime

df = df.withColumn('date_col', f.udf(lambda d: strptime(d, '%Y-%b-%d').strftime('%Y%m%d'), t.StringType())(f.col('date_col')))

Или вы можете определить большую функцию для перехвата исключений при необходимости. 

def date_converter(col):
    try:
        _date = strptime(date_string, '%Y-%b-%d')
        str_date = _date.strftime('%Y%m%d')
        return str_date
    except Exception:
        # Some code if needed
        return ''

udf_function = f.udf(date_converter, t.StringType())

df = df.withColumn('date_col', udf_function(df.date_col))

note: IЯ предполагаю, что date_col - это название вашего столбца.

0 голосов
/ 30 мая 2018

Для Spark версии 1.5 +

Предположим, у вас был следующий фрейм данных: 

df = sqlCtx.createDataFrame([("2018-Jan-12",)], ["date_str"])
df.show()
#+-----------+
#|   date_str|
#+-----------+
#|2018-Jan-12|
#+-----------+

Чтобы избежать использования udf s, вы можете сначала преобразовать строку в дату : 

from pyspark.sql.functions import from_unixtime, unix_timestamp
df = df.withColumn('date', from_unixtime(unix_timestamp('date_str', 'yyyy-MMM-dd')))
df.show()
#+-----------+-------------------+
#|   date_str|               date|
#+-----------+-------------------+
#|2018-Jan-12|2018-01-12 00:00:00|
#+-----------+-------------------+

Затем отформатировать дату в виде строки в желаемом формате: 

from pyspark.sql.functions import date_format, col
df = df.withColumn("new_date_str", date_format(col("date"), "yyyyMMdd"))
df.show()
#+-----------+-------------------+------------+
#|   date_str|               date|new_date_str|
#+-----------+-------------------+------------+
#|2018-Jan-12|2018-01-12 00:00:00|    20180112|
#+-----------+-------------------+------------+

Или, если вы предпочитаетеВы можете связать все это вместе и пропустить промежуточные шаги: 

import pyspark.sql.functions as f
df.select(
    f.date_format(
        f.from_unixtime(
            f.unix_timestamp(
                'date_str',
                'yyyy-MMM-dd')
        ),
        "yyyyMMdd"
    ).alias("new_date_str")
).show()
#+------------+
#|new_date_str|
#+------------+
#|    20180112|
#+------------+
0 голосов
/ 30 мая 2018

Исследование библиотеки Python datetime и методов strftime() и strptime(): Основные типы даты и времени: trftime () и strptime ()

Например, используя strftime.org в качестве ссылки: 

from datetime import datetime

date_string = '2018-Jan-12'
# Assuming day of the month is a zero-padded decimal number
datetime_object = datetime.strptime(date_string, '%Y-%b-%d')
converted_date_string = datetime_object.strftime('%Y%m%d')
...