У меня есть список CSV-файлов, которые я пытаюсь объединить с помощью Pandas.
Ниже приведен пример представления файла csv:
Примечание: столбец 4 - сохраняет широту
Колонка 5 - сохранить долготу
store-001,store_name,building_no_060,23.4324,43.3532,2018-10-01 10:00:00,city_1,state_1
store-002,store_name,building_no_532,12.4345,45.6743,2018-10-01 12:00:00,city_2,state_1
store-003,store_name,building_no_536,54.3453,23.3444,2018-07-01 04:00:00,city_3,state_1
store-004,store_name,building_no_004,22.4643,56.3322,2018-04-01 07:00:00,city_2,state_3
store-005,store_name,building_no_453,76.3434,55.4345,2018-10-02 16:00:00,city_4,state_2
store-006,store_name,building_no_456,35.3455,54.3334,2018-10-05 10:00:00,city_6,state_2
Когда я пытаюсь объединить несколько CSV-файлов в вышеуказанном формате, я вижу столбцы, имеющие широту и долготу, сначала сохраняются в первой строке из A2 - A30, а за ними следуют другие столбцы в строке 1.
Ниже приведен способ выполнения конкатата:
masterlist = glob.glob('path') <<- This is the path where all the csv files are stored.
df_v1 = [pd.read_csv(fp, sep=',', error_bad_lines=False).assign(FileName=os.path.basename(fp)) for fp in masterlist] <<-- This also includes the file name in the csv file
df = pd.concat(df_v1, ignore_index=True)
df.to_csv('path'), index=False) <<-- This stores the final concatenated csv file
Может кто-нибудь подсказать мне, почему конкатенация не работает должным образом. Спасибо