Более быстрый способ объединения столбцов даты, часа и интервала для большого набора данных - PullRequest
Новая
       12

Более быстрый способ объединения столбцов даты, часа и интервала для большого набора данных

0 голосов
/ 08 октября 2018

В настоящее время у меня есть набор данных около 1,2 миллиона строк, который содержит столбцы даты, часа и интервала (четверти часа).

Delivery Date      Delivery Hour Delivery Interval
1-1-2017           1             1
1-1-2017           1             2
1-1-2017           1             3
1-1-2017           1             4

В настоящее время у меня есть цикл for, который объединит эти столбцы в один, но я ищу более быстрый подход, так как это займет несколько часов, чтобы закончить работу.

for i in range(len(df_rt['Delivery Interval'])):

    hour = int(df_rt['Delivery Hour'][i]) - 1
    minute = (int(df_rt['Delivery Interval'][i]) - 1)*15
    df_rt['Time'][i] = str(hour) + ':' + str(minute)

df_rt['DateTime'] = df_rt['Delivery Date'] + " " + df_rt['Time']
df_rt['DateTime'] = pd.to_datetime(df_rt['DateTime'])

Ответы [ 3 ]

0 голосов
/ 09 октября 2018

Должно работать следующее (метод 1): 

df_rt['datetime'] = pd.to_datetime(df_rt['Delivery Date']) \
                    + pd.to_timedelta(df_rt['Delivery Hour'] - 1, unit='h') \
                    + pd.to_timedelta(15*(df_rt['Delivery Interval'] - 1), unit='m')

Более быстрый метод (метод 2): 

def format_row(row):
    return f'{row["Delivery Date"]} {row["Delivery Hour"] - 1}:{15*(row["Delivery Interval"] - 1)}'
pd.to_datetime(df_rt.apply(format_row, axis='columns'), format='%d-%m-%Y %H:%M')

Время:

Метод1 

2.53 ms ± 86.3 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

Метод 2 

1.21 ms ± 67.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
0 голосов
/ 09 октября 2018

Интересный подход - преобразовать ряды, чтобы получить компоненты объекта datetime, а затем передать массив данных этих компонентов в pd.to_datetime: 

df[['month', 'day', 'year']] = df['DeliveryDate'].str.split('-', expand=True)
df['DeliveryHour'] -= 1
df['DeliveryInterval'] = (df['DeliveryInterval'] - 1) * 15
df = df.rename(columns={'DeliveryHour': 'hour', 'DeliveryInterval': 'minute'})

print(pd.to_datetime(df[['year', 'month', 'day', 'hour', 'minute']]))

0   2017-01-01 00:00:00
1   2017-01-01 00:15:00
2   2017-01-01 00:30:00
3   2017-01-01 00:45:00
dtype: datetime64[ns]
0 голосов
/ 08 октября 2018

Не самое чистое решение, но оно избегает явного зацикливания вашего фрейма данных: 

df['DateTime'] = pd.to_datetime(df['Delivery Date'].astype(str) + ' ' + 
    (df['Delivery Hour'].astype(int)-1).astype(str) + ':' + 
    ((df['Delivery Interval'].astype(int)-1)*15).astype(str))

Учитывая ваш примерный фрейм данных, это дает: 

  Delivery Date  Delivery Hour  Delivery Interval            DateTime
0      1-1-2017              1                  1 2017-01-01 00:00:00
1      1-1-2017              1                  2 2017-01-01 00:15:00
2      1-1-2017              1                  3 2017-01-01 00:30:00
3      1-1-2017              1                  4 2017-01-01 00:45:00
...