DataPrame Python Pandas - Заполнить пустые столбцы с вычислением, которое использует значение строки и имя столбца

Question

У меня есть датафрейм df, который можно создать с помощью этого:

import pandas as pd
import datetime
#create the dates to make into columns
datestart=datetime.date(2018,1,1)
dateend=datetime.date(2018,1,5)
newcols=pd.date_range(datestart,dateend).date
#create the test data
d={'name':['a','b','c','d'],'earlydate': [datetime.date(2018,1,1),datetime.date(2018,1,3),datetime.date(2018,1,4),datetime.date(2018,1,5)]}
#create initial test dataframe
df=pd.DataFrame(data=d)
#create the new dataframe with empty newcols
df=pd.concat([df,pd.DataFrame(columns=newcols)])

И выглядит так:

df
Out[17]: 
  name   earlydate 2018-01-01    ...     2018-01-03 2018-01-04 2018-01-05
0    a  2018-01-01        NaN    ...            NaN        NaN        NaN
1    b  2018-01-03        NaN    ...            NaN        NaN        NaN
2    c  2018-01-04        NaN    ...            NaN        NaN        NaN
3    d  2018-01-05        NaN    ...            NaN        NaN        NaN

[4 rows x 7 columns]

То, что я хочу сделать, это заполнить все пустые протоколы разницей в днях между именем newcol и ранней датой (newcolname (которая является датой) -earlydate (которая является датой). Я хочу сделать это фрейм данных 'мудрый', и не использовать функцию, лямбду, применять или цикл for. Я вполне уверен, что это должно быть в состоянии сделать в фрейме данных, а не столбец или строка.

Результат / ожидаемое окончание df может быть создано с помощью этого:

dresultdata={'name':['a','b','c','d'],
         'earlydate': [datetime.date(2018,1,1),datetime.date(2018,1,3),datetime.date(2018,1,4),datetime.date(2018,1,5)],
         datetime.date(2018,1,1):[0,-2,-3,-4], #this is the difference in days between the column name and the earlydate
         datetime.date(2018,1,2):[-1,1,2,3],
         datetime.date(2018,1,3):[-2,0,1,2],
         datetime.date(2018,1,4):[-3,-1,0,1]}
dferesult=pd.DataFrame(data=dresultdata)

И выглядит так:

dferesult
Out[19]: 
  name   earlydate  2018-01-01  2018-01-02  2018-01-03  2018-01-04
0    a  2018-01-01           0          -1          -2          -3
1    b  2018-01-03          -2           1           0          -1
2    c  2018-01-04          -3           2           1           0
3    d  2018-01-05          -4           3           2           1

Я сделал эту работу, выполнив следующие действия:

for d in newcols:
    df.loc[:,d]=d-df.earlydate

Но для больших фреймов (1м строк) это длится вечно. Идеи приветствуются!

Answer 1

IIUC:

i = pd.to_datetime(df.earlydate.values).values
j = pd.to_datetime(df.columns[2:]).values

df.iloc[:, 2:] = (j - i[:, None]).astype('timedelta64[D]').astype(int)

df

    earlydate name 2018-01-01 2018-01-02 2018-01-03 2018-01-04 2018-01-05
0  2018-01-01    a          0          1          2          3          4
1  2018-01-03    b         -2         -1          0          1          2
2  2018-01-04    c         -3         -2         -1          0          1
3  2018-01-05    d         -4         -3         -2         -1          0