Python + Pandas: копирование определенных столбцов первой строки нескольких CSV и сохранение строк в одном CSV

Question

У меня около 190 CSV.каждый из которых имеет одинаковые имена столбцов.Пример csv поделился ниже:

С каждые csv, мне нужно выбрать only the Item, Predicted_BelRd(D2), Predicted_Ulsoor(D2), Predicted_ChrchStrt(D2), Predicted_BlrClub(D2), Predicted_Indrangr(D1), Predicted_Krmngl(D1), Predicted_KrmnglBkry(D1), Predicted_HSR(D1) столбцы только первой строки , и нужно хранить все эти строки в отдельном CSV.Таким образом, окончательный CSV должен 190 строк.

Как это сделать?

Редактировать: Код, предложенный DavidDR:

path = '/home/hp/products1'
all_files = glob.glob(path + "/*.csv")
#print(all_files)

columns = ['Item', 'Predicted_BelRd(D2)', 'Predicted_Ulsoor(D2)', 'Predicted_ChrchStrt(D2)', 'Predicted_BlrClub(D2)', 'Predicted_Indrangr(D1)', 'Predicted_Krmngl(D1)', 'Predicted_KrmnglBkry(D1)', 'Predicted_HSR(D1)']

rows_list = []
for filename in all_files:
    origin_data = pd.read_csv(filename)
    my_data = origin_data[columns]
    rows_list.append(my_data.head(1))

output = pd.DataFrame(rows_list)
#output.to_csv(file_name, sep='\t', encoding='utf-8')
output.to_csv('smallys_final.csv', encoding='utf-8', index=False) 

Редактировать2: Исходный кадр данных:

prod = pd.read_csv('/home/hp/products1/' + 'prod[' + str(0) + '].csv', engine='python')
print(prod)

Вывод:

      Category                         Item  UOM  BelRd(D2)  Ulsoor(D2)  \
0  Food/Bakery  BAKING POWDER SPARSH (1KGS)  PKT          0           0   
1  Food/Bakery  BAKING POWDER SPARSH (1KGS)  PKT          0           0   
2  Food/Bakery  BAKING POWDER SPARSH (1KGS)  PKT          0           0   
3  Food/Bakery  BAKING POWDER SPARSH (1KGS)  PKT          0           0   
4  Food/Bakery  BAKING POWDER SPARSH (1KGS)  PKT          0           0   

   ChrchStrt(D2)  BlrClub(D2)  Indrangr(D1)  Krmngl(D1)  KrmnglBkry(D1)  \
0              0            0             0           0               1   
1              0            0             0           0               0   
2              0            0             0           0               0   
3              0            0             0           0               0   
4              0            0             0           0               1   

   HSR(D1)         date  Predicted_BelRd(D2)  Predicted_Ulsoor(D2)  \
0        0    10 FEB 19                  0.0                   0.0   
1        0    17 FEB 19                  NaN                   NaN   
2        0    24 FEB 19                  NaN                   NaN   
3        0   4 MARCH 19                  NaN                   NaN   
4        0  11 MARCH 19                  NaN                   NaN   

   Predicted_ChrchStrt(D2)  Predicted_BlrClub(D2)  Predicted_Indrangr(D1)  \
0                      0.0                    0.0                     0.0   
1                      NaN                    NaN                     NaN   
2                      NaN                    NaN                     NaN   
3                      NaN                    NaN                     NaN   
4                      NaN                    NaN                     NaN   

   Predicted_Krmngl(D1)  Predicted_KrmnglBkry(D1)  Predicted_HSR(D1)  
0                   0.0                       0.0                0.0  
1                   NaN                       NaN                NaN  
2                   NaN                       NaN                NaN  
3                   NaN                       NaN                NaN  
4                   NaN                       NaN                NaN  

    3        0   4 MARCH 19  
    4        0  11 MARCH 19  

Answer 1

Не проверял, но это должно работать.

Вы в основном читаете все свои CSV-файлы из того же места, а затем выбираете только соответствующие столбцы.Затем вы выдвигаете первый ряд и добавляете его в список всех первых рядов.в конце вы создаете новый DataFrame из списка первой строки и сохраняете его в один CSV-файл.

import glob
import pandas as pd

path = # use your path
all_files = glob.glob(path + "/*.csv")

columns = ['Item', 'Predicted_BelRd(D2)', 'Predicted_Ulsoor(D2)', 'Predicted_ChrchStrt(D2)', 'Predicted_BlrClub(D2)', 'Predicted_Indrangr(D1)', 'Predicted_Krmngl(D1)', 'Predicted_KrmnglBkry(D1)', 'Predicted_HSR(D1)']
rows_list = []
for filename in all_files:
    origin_data = pd.read_csv(filename)
    my_data = origin_data[columns]
    rows_list.append(my_data.head(1))

output = pd.DataFrame(rows_list)
output.to_csv(file_name, sep='\t', encoding='utf-8')

Answer 2

Вот, пожалуйста:

def function():
    firstrows = []  # to collect 190 dataframes, each only 1 row
    for filename in csvnames:
        # read CSV, filter for a subset of columns, take only first row
        df = pd.read_csv(filename) \
             .filter(["Item", "Predicted_BelRd(D2)", ...]) \
             .iloc[:1]
        firstrows.append(df)
    return pd.concat(firstrows)