У меня есть итеративная функция, которая постоянно вытягивает данные с веб-сайта в информационный фрейм (используя BeautifulSoup), а затем сохраняет их в CSV. Сюда входит столбец даты и времени, отметка времени.
Иногда при перезагрузке фрейма данных «тип» моего столбца даты и времени меняется с панд на ноль, но я не могу понять, где это произойдет. Я бы хотел, чтобы моя программа всегда делала столбец datetime типа pandas.
Я попытался распечатать 'type' вдоль нескольких точек в программе. Тип, кажется, меняется только между прогонами, а не во время.
Я тоже не могу воспроизвести, когда это произойдет. Я мог бы повторить программу 5-10 раз, прежде чем она это сделает.
Все записи сделаны так:
l = []
d = {}
...
d["Timestamp"] = datetime.fromtimestamp(
float(item.find("span", {"class": "time_date_info"})['data-timestamp']))
l.append(d)
df = pd.DataFrame(l)
...
df.to_csv("test.csv")
Все чтения кодируются как:
pd.read_csv("test.csv", parse_dates=['Timestamp'], index_col=0)
...
Я не получаю ошибок, но если я запускаю:
print(df['Timestamp'][0])
print(type(df['Timestamp'][0]))
Для начала я получаю желаемый результат, который выглядит следующим образом:
2019-06-22 17:53:54
<class 'pandas._libs.tslibs.timestamps.Timestamp'>
Затем с определенной точки получите результаты, такие как:
2019-06-24T11:36:35.000000000
<class 'numpy.datetime64'>
Я хочу всегда иметь тип отметки времени панд.