Почему низкое время анализа с параметром usecols в Pandas read_csv - PullRequest
0 голосов
/ 12 ноября 2018

CSV - это формат хранения, ориентированный на строки.Документация Pandas гласит, что уменьшение количества столбцов, которые должны быть прочитаны с использованием параметра usecols в методе read_csv, происходит быстрее, чем чтение всего файла.В файле хранения, ориентированном на строки, как в реляционных базах данных, ориентированных на строки, считываются целые строки, даже когда мы выбираем подмножество столбцов.Теперь это может привести к снижению использования памяти, но как это приведет к сокращению времени разбора, поскольку время поиска диска должно оставаться неизменным?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...