как импортировать отфильтрованные строки перед чтением CSV панд

Question

Привет! Мне нужно загрузить большое количество CSV-файлов в панде.Могу ли я отфильтровать данные из этих CSV-файлов перед загрузкой, чтобы не получить ошибку памяти.

При существующей настройке возникает ошибка памяти

У меня есть столбец Расположение, в котором есть32 значения, но я хочу отфильтровать только 3-4 местоположения перед импортом.

Возможно ли это?

Answer 1

Вы можете использовать библиотеку csv , чтобы читать построчно и хранить только те записи, которые вам нужны:

import csv
with open('names.csv', newline='') as csvfile:
     reader = csv.DictReader(csvfile)
     for row in reader:
         print(row['first_name'], row['last_name'])

После этого вы можете сохранить отфильтрованные строки в файлы CSV, используя writerow