Вы бы использовали
df['datetime_colum'].apply(lambda x:x.toordinal())
Если это не удастся, причиной может быть то, что ваш столбец является объектом, а не датой и временем.Поэтому вам нужно:
df['datetime_colum'] = pd.to_datetime(df['datetime_colum'])
перед отправкой на порядковый номер.
Если вы работаете над проектированием функций, вы можете попробовать создать дни между датами 1 и 2, получить логическое значение, если зима, лето, осень или весна, если смотреть на месяцы и, если у вас есть время, логическое значение, будь то утро, полдень или ночь, но все это зависит от вашей проблемы с обучением машин.