Получить строки с определенным идентификатором из всех файлов CSV в одном каталоге и создать новый файл CSV, содержащий записи только с этим идентификатором

Question

Я новичок в python и ищу помощи.

У меня есть несколько файлов в одном каталоге, из которых мне нужно извлечь строки с определенным идентификатором и сохранить их в новый файл CSV. Мой каталог выглядит так:

2019-09-01.csv
2019-09-02.csv
2019-09-03.csv
2019-09-04.csv
2019-09-05.csv
2019-09-06.csv
...

Структура моего файла:

   date        id     itemName   customerCount  orderCount
2019-09-01    1234     Guitar         72            90
2019-09-01    5432     Drums          15            15
...

Может ли кто-нибудь помочь мне с этим?

Заранее спасибо!

Answer 1

Чтобы получить все ваши CSV-файлы, мы можем использовать модуль ОС, как показано ниже:

import os

all_files = []

for dirpath, dirname, files in os.walk('<your path where csv files are located>'):
for file in files:
    if file.endswith('.csv'):
        all_files.append(file)

В этом списке будут перечислены все ваши CSV-файлы.

Теперь, чтобы прочитать CSV-файл, фильтр на основе идентификатора и записи в другой CSV-файл, вы можете использовать что-то, как показано ниже:

import pandas as pd
df01 = pd.read_csv('2019-01-01.csv')
df02 = pd.read_csv('2019-01-02.csv')

id01 = [1234,5432]

df01_filt = df01[df01['id'].isin(id01)]

df02_filt = df02[df02['id'].isin(['4023'])]

df_final = pd.concat([df01_filt, df02_filt])
df_final.to_csv('output.csv')