Вы можете конвертировать его и после прочтения файла:
import datetime as dt
df['datetime'].apply(lambda x: dt.datetime.strptime(str(x), '%Y%m%d'))
Редактировать
Как и @jezrael, предложенный в комментарии, вы можете использовать pd.to_datetime
.
df['datetime'] =pd.to_datetime(df['datetime'], format = '%Y%m%d', errors='ignore')