pandas read_csv низкая производительность при использовании parse_dates - PullRequest
0 голосов
/ 12 марта 2020

У меня есть файл CSV с 58K строками данных временных рядов. Первый столбец - это отметка времени, и все это уникальные значения.

Когда я делаю pd.read_csv("data.csv"), это занимает меньше секунды. Но когда я делаю pd.read_csv("data.csv", parse_dates=[0]), это занимает больше 30 секунд. Это ожидаемая производительность при разборе меток времени в csv?

Я попробовал все решения здесь и не смог улучшить: Pandas: медленное преобразование даты

Есть ли способ улучшить производительность? Что если я скажу pandas формат даты и времени?

Вот рабочий репл, с которым можно поиграть: https://repl.it/@eparizzi / Pandas -Testing-1

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...