Pythonic способ заполнить строки с диапазоном дат - PullRequest
Новая
       2

Pythonic способ заполнить строки с диапазоном дат

0 голосов
/ 14 декабря 2018

Я работаю над постановкой задачи, которая требует, чтобы я заполнил строки пропущенных дат (то есть даты между двумя датами в столбцах кадра данных pandas).Пожалуйста, смотрите пример ниже.Я использую Pandas для моего текущего подхода (упомянутого ниже).

Пример входных данных (который содержит около 25000 строк) : 

A  | B  | C  | Date1    | Date2
a1 | b1 | c1 | 1Jan1990 | 15Aug1990 <- this row should be repeated for all dates between the two dates
.......................
a3 | b3 | c3 | 11May1986 | 11May1986 <- this row should NOT be repeated. Just 1 entry since both dates are same.
.......................
a5 | b5 | c5 | 1Dec1984 | 31Dec2017 <- this row should be repeated for all dates between the two dates
..........................
..........................

Ожидаемый вывод: 

A  | B  | C  | Month    | Year
a1 | b1 | c1 | 1        | 1990  <- Since date 1 column for this row was Jan 1990
a1 | b1 | c1 | 2        | 1990    
.......................
.......................
a1 | b1 | c1 | 7        | 1990  
a1 | b1 | c1 | 8        | 1990  <- Since date 2 column for this row was Aug 1990
..........................
a3 | b3 | c3 | 5        | 1986  <- only 1 row since two dates in input dataframe were same for this row.
...........................
a5 | b5 | c5 | 12       | 1984 <- since date 1 column for this row was Dec 1984
a5 | b5 | c5 | 1        | 1985 
..........................
..........................
a5 | b5 | c5 | 11       | 2017 
a5 | b5 | c5 | 12       | 2017 <- Since date 2 column for this row was Dec 2017

Я знаю более традиционный способ достижения этого (мой текущий подход):

  • Перебирайте каждую строку.
  • Получитеразница в днях между двумя столбцами даты.
  • Если дата совпадает в обоих столбцах, просто включите одну строку для этого месяца и года в выходной фрейм данных
  • Если даты отличаются (разница> 0), затем получите все (месяц, год) комбинации для каждой строки разницы дат и добавьте новый фрейм данных

Поскольку входные данные имеют около 25000 строк, я считаю, что выходные данные будут очень очень большими, поэтомуЯ ищу больше Pythonic способ для достижения этого (если это возможно и быстрее, чем итеративный подход)!

Ответы [ 3 ]

0 голосов
/ 14 декабря 2018

С учетом данных примера 

df = pd.DataFrame({'Date1': ["1Jan1990", "11May1986", "1Dec1984"],
                   'Date2': ["5Jul1990", "11May1986", "7Apr1985"],
                   'A': ['a1', 'a3', 'a5'],
                   'B': ['b1', 'b3', 'b5'],
                   'C': ['c1', 'c3', 'c5'],})

вот решение без явной итерации 

# Convert to pandas datetime
df['Date1'] = pd.to_datetime(df['Date1'])
df['Date2'] = pd.to_datetime(df['Date2'])

# Split and stack by dates
df = pd.concat([df.drop('Date2', 1).rename(columns={'Date1': 'Date'}),
                df.drop('Date1', 1).rename(columns={'Date2': 'Date'})])
df = df.drop_duplicates().set_index('Date')

# Break down by dates
df = (df.groupby(['A', 'B', 'C'], as_index=False)
      .resample('M') # with end of month interval
      .ffill() # propagating everything else forward
      .reset_index(level=0, drop=True)) # getting rid of auxiliary index

# Get the year and a month
df['Year'] = df.index.year
df['Month'] = df.index.month

, в результате чего 

             A   B   C  Year  Month
Date                               
1990-01-31  a1  b1  c1  1990      1
1990-02-28  a1  b1  c1  1990      2
1990-03-31  a1  b1  c1  1990      3
1990-04-30  a1  b1  c1  1990      4
1990-05-31  a1  b1  c1  1990      5
1990-06-30  a1  b1  c1  1990      6
1990-07-31  a1  b1  c1  1990      7
1986-05-31  a3  b3  c3  1986      5
1984-12-31  a5  b5  c5  1984     12
1985-01-31  a5  b5  c5  1985      1
1985-02-28  a5  b5  c5  1985      2
1985-03-31  a5  b5  c5  1985      3
1985-04-30  a5  b5  c5  1985      4
0 голосов
/ 14 декабря 2018

Вот еще один подход, использующий 2 вспомогательных понимания и numpy.repeat

import numpy as np
import pandas as pd

repeats = (pd.to_datetime(df['Date2']) - pd.to_datetime(df['Date1'])) // np.timedelta64(1, 'M') + 1
periods = np.concatenate([pd.period_range(start=pd.to_datetime(d), periods=r, freq='M')
                          for d, r in zip(df['Date1'], repeats)])

new_df = (pd.DataFrame(
            np.repeat(df.values, repeats, 0),
            columns=df.columns,
            index=periods)
          .assign(month = [x.month for x in periods],
                  year = [x.year for x in periods])
          .drop(['Date1', 'Date2'], axis=1))

print(new_df)

[out]
          A   B   C  month  year
1990-01  a1  b1  c1      1  1990
1990-02  a1  b1  c1      2  1990
1990-03  a1  b1  c1      3  1990
1990-04  a1  b1  c1      4  1990
1990-05  a1  b1  c1      5  1990
1990-06  a1  b1  c1      6  1990
1990-07  a1  b1  c1      7  1990
1990-08  a1  b1  c1      8  1990
1986-05  a3  b3  c3      5  1986
1984-12  a5  b5  c5     12  1984
1985-01  a5  b5  c5      1  1985
1985-02  a5  b5  c5      2  1985
1985-03  a5  b5  c5      3  1985
1985-04  a5  b5  c5      4  1985
1985-05  a5  b5  c5      5  1985
1985-06  a5  b5  c5      6  1985
1985-07  a5  b5  c5      7  1985
1985-08  a5  b5  c5      8  1985
1985-09  a5  b5  c5      9  1985
1985-10  a5  b5  c5     10  1985
1985-11  a5  b5  c5     11  1985
1985-12  a5  b5  c5     12  1985
...
0 голосов
/ 14 декабря 2018

Мне кажется, что лучшим инструментом для использования здесь является PeriodIndex (для генерации месяцев и лет между датами).

Однако PeriodIndex может работать только с одной строкой за раз.Итак, если мы собираемся использовать PeriodIndex, каждая строка должна обрабатываться индивидуально.К сожалению, это означает циклическое перемещение по строкам DataFrame: 

import pandas as pd
df = pd.DataFrame([('a1','b1','c1','1Jan1990','15Aug1990'),
                   ('a3','b3','c3','11May1986','11May1986'),
                   ('a5','b5','c5','1Dec1984','31Dec2017')],
                  columns=['A','B','C','Date1','Date2'])

result = [] 
for tup in df.itertuples():
    index = pd.PeriodIndex(start=tup.Date1, end=tup.Date2, freq='M')
    new_df = pd.DataFrame([(tup.A, tup.B, tup.C)], index=index)
    new_df['Month'] = new_df.index.month
    new_df['Year'] = new_df.index.year
    result.append(new_df)
result = pd.concat(result, axis=0)
print(result)

приводит к 

          0   1   2  Month  Year
1990-01  a1  b1  c1      1  1990    <--- Beginning of row 1
1990-02  a1  b1  c1      2  1990
1990-03  a1  b1  c1      3  1990
1990-04  a1  b1  c1      4  1990
1990-05  a1  b1  c1      5  1990
1990-06  a1  b1  c1      6  1990
1990-07  a1  b1  c1      7  1990
1990-08  a1  b1  c1      8  1990    <--- End of row 1
1986-05  a3  b3  c3      5  1986    <--- Beginning and End of row 2
1984-12  a5  b5  c5     12  1984    <--- Beginning row 3
1985-01  a5  b5  c5      1  1985
1985-02  a5  b5  c5      2  1985
1985-03  a5  b5  c5      3  1985
1985-04  a5  b5  c5      4  1985
...      ..  ..  ..    ...   ...
2017-09  a5  b5  c5      9  2017
2017-10  a5  b5  c5     10  2017
2017-11  a5  b5  c5     11  2017
2017-12  a5  b5  c5     12  2017    <--- End of row 3

[406 rows x 5 columns]

Обратите внимание, что на самом деле вам не обязательно определять Month и Year столбцы 

new_df['Month'] = new_df.index.month
new_df['Year'] = new_df.index.year

, поскольку у вас уже есть PeriodIndex, который упрощает вычисления месяцев и лет.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.

Нет похожих вопросов

...