Импортировать только несколько столбцов csv в качестве фрейма данных Python Pandas?

Question

Я бы хотел импортировать только подмножество csv в качестве фрейма данных, так как он слишком велик, чтобы импортировать все это. Есть ли способ сделать это изначально в pandas без необходимости настраивать базу данных наподобие структуры?

Я пробовал только импортировать кусок, а затем объединить его, но он все еще слишком велик и вызывает ошибку памяти. У меня есть сотни столбцов, поэтому ручное указание dtypes могло бы помочь, но, скорее всего, это было бы основным требованием времени.

df_chunk = pd.read_csv("filename.csv", chunksize=1e7)
df = pd.concat(df_chunk,ignore_index=True)

Answer 1

Вы можете использовать аргументы skiprows и nrows в функции read_csv, чтобы загрузить только подмножество строк из исходного кадра данных.

Например:

 import pandas as pd
 df = pd.read_csv("test.csv", skiprows = 4, nrows=10)