Время конвертирования
df['Time'] = pd.to_datetime(df['Time'],format= '%H:%M' ).dt.time
Используйте Groupby и Diff
df=pd.concat([df.Time, df.groupby('Category').Time.diff()],
axis=1, keys=['Time','Diff']).fillna(0)
Конвертировать в минуты
df['Diff']=df['Diff'].apply(lambda x: f'{int(x.seconds/60)} min')
выход
Time Category
0 12:37:00 one
1 12:39:00 two
2 12:41:00 two
3 12:45:00 one
4 12:46:00 one