Вы можете просто применить sub к столбцу меток времени панд, как это было сказано Джезраэль в его ответе, который очень прямой.
Если вы хотите сделать одно и то же последовательно, вы можете сделать это так с помощью карты
base_date = pd.Timestamp('2010-01-01 00:00:00')
df['days'] = df['date'].map(lambda date : (pd.Timestamp(date) - base_date).days )