Как быстро читать только кусок файла CSV?

Question

Я использую этот ответ о том, как читать только кусок файла CSV с pandas.

Предложение использовать pd.read_csv('./input/test.csv' , iterator=True, chunksize=1000) отлично работает, но возвращает <class 'pandas.io.parsers.TextFileReader'>, поэтому я конвертирую его в фрейм данных с pd.concat(pd.read_csv('./input/test.csv' , iterator=True, chunksize=25)), но это занимает столько же времени, сколько и чтение файла!

Любые предложения о том, как быстро прочитать только часть файла?

Answer 1

pd.read_csv('./input/test.csv', iterator=True, chunksize=1000) возвращает итератор.Вы можете использовать функцию next, чтобы получить следующий

reader = pd.read_csv('./input/test.csv', iterator=True, chunksize=1000)

next(reader)

Это часто используется в цикле for для обработки одного блока за раз.

for df in pd.read_csv('./input/test.csv', iterator=True, chunksize=1000):
    pass