Во-первых, из того, что мы видим из ваших данных, кажется более естественным определить
df['time difference'] = df['date 2'] - df['date 1']
, чтобы получить положительные значения.
Затем, чтобы иметь возможность выполнять произвольные вычисления с этими значениями, вы должны выбрать единицу и преобразовать их в чистый числовой тип c. Например, вы можете сделать это, чтобы получить разницу во времени в днях в виде числового столбца c:
df['time difference days'] = df['time difference'].dt.days
См. Раздел об атрибутах в документации pandas Timedelta .
Теперь ваш расчет должен работать, если вы просто используете цифру c Series вместо Timedelta Series.