Pandas Панельные данные - смещение значений на два с учетом разницы в годах

Question

В настоящее время я работаю с панелью данных финансовой информации по pandas, поэтому работаю с разными компаниями в разные годы. Я пытаюсь сгенерировать столбец вложенных $, сдвинутых на 2 периода времени. Следовательно, сообщая значение времени t также при t + 2.

Обычно, чтобы отстать от переменной, я использовал бы df.groupby('tic')['investments'].shift(2), однако, к сожалению, мои данные немного нестабильны, и поэтому для той же компании я мог бы есть разрыв в годах. Просто, чтобы дать вам представление, вот пример моего df:

       datadate    fyear       tic   invest   
0    31/12/1998     1997      AAPL     12.3  
1    31/12/1999     1998      AAPL     14.5
2    31/12/2002     2002      AAPL      9.7   
3    31/12/2003     2003      AAPL     21.8   
4    31/12/2004     2004      AAPL     21.4
5    31/12/2005     2005      AAPL     18.9   
6    31/05/2008     2008      TSLA     11.5    
7    31/05/2009     2009      TSLA     13.7    
8    31/05/2010     2010      TSLA     19.4 
9    31/05/2011     2011      TSLA     14.5   
10   31/05/2014     2013      TSLA     14.8 
..      ...         ..         ..      ..    

Поэтому я пытаюсь достичь следующего:

       datadate    fyear       tic   invest   l2_invest
0    31/12/1998     1997      AAPL     12.3         NaN
1    31/12/1999     1998      AAPL     14.5         NaN
2    31/12/2002     2002      AAPL      9.7         NaN
3    31/12/2003     2003      AAPL     21.8         NaN
4    31/12/2004     2004      AAPL     21.4         9.7
5    31/12/2005     2005      AAPL     18.9        21.8
6    31/05/2008     2008      TSLA     11.5         NaN
7    31/05/2009     2009      TSLA     13.7         NaN
8    31/05/2010     2010      TSLA     19.4        11.5
9    31/05/2011     2011      TSLA     14.5        13.7
10   31/05/2014     2013      TSLA     14.8        19.4
..      ...         ..         ..      ..    

Заранее спасибо за ваша помощь :)

Answer 1

При условии, что столбец 'datadate' является индексом таблицы (и типа datetime64), следующий код должен создать желаемый дополнительный столбец:

df.groupby('tic')['invest'].shift(1, freq=pd.DateOffset(years=2))

Редактировать: все еще необходимо добавить этот новый столбец к исходной таблице. Вот еще некоторые подробности.

Сначала убедитесь, что столбец 'datadate' имеет тип datetime64:

df['datadate'] = pd.to_datetime(df['datadate'])

Затем давайте создадим новый столбец и добавим его в нашу таблицу:

new_column = (df.set_index('datadate')
                .groupby('tic')['invest']
                .shift(1, freq=pd.DateOffset(years=2)))
df.set_index(['tic', 'datadate'], inplace=True)
df['l2_invest'] = new_column
df.reset_index(inplace=True)

Начиная с исходной таблицы, получается

     tic   datadate  fyear  invest  l2_invest
0   AAPL 1998-12-31   1997    12.3        NaN
1   AAPL 1999-12-31   1998    14.5        NaN
2   AAPL 2002-12-31   2002     9.7        NaN
3   AAPL 2003-12-31   2003    21.8        NaN
4   AAPL 2004-12-31   2004    21.4        9.7
5   AAPL 2005-12-31   2005    18.9       21.8
6   TSLA 2008-05-31   2008    11.5        NaN
7   TSLA 2009-05-31   2009    13.7        NaN
8   TSLA 2010-05-31   2010    19.4       11.5
9   TSLA 2011-05-31   2011    14.5       13.7
10  TSLA 2014-05-31   2013    14.8        NaN