Вы можете использовать, как сказал @CoryKramer, .sub:
В минутах:
col1.sub(col2).dt.seconds/60
0 1439.983333
1 1439.983333
2 1439.983333
dtype: float64
Если вы хотите более точные значения, например, микросекунды:
col1.sub(col2).dt.microseconds
0 756000
1 343000
2 342000
dtype: int64