У меня есть эти экспорты данных, которые заполняются каждый час в определенном каталоге, и я надеюсь, что у меня будет скрипт, который читает все файлы и добавляет их в один основной фрейм данных в Python.Единственная проблема заключается в том, что, поскольку они заполняются каждый час, я не хочу добавлять существующие или уже добавленные файлы CSV к основному кадру данных.
Я очень плохо знаком с Python, и до сих пор смог загрузить только все файлы в каталоге и добавить их все, используя следующий код:
import pandas as pd
import os
import glob
path = os.environ['HOME'] + "/file_location/"
allFiles = glob.glob(os.path.join(path,"name_of_files*.csv"))
df = pd.concat((pd.read_csv(f) for f in allFiles), sort=False)
С помощьюПриведенный выше код просматривает файл file_location и импортирует любые файлы с именем "name_of_files" и использует подстановочный знак, поскольку хвост каждого файла будет отличаться.
Я мог бы продолжить это делать, но я 'Я буквально собираю сотни файлов и не хочу импортировать их все и добавлять / объединять их каждый час.Чтобы избежать этого, я хотел бы, чтобы упомянутый выше кадр основных данных имел только новые csv-файлы, которые заполняются каждый час, чтобы автоматически добавляться к существующему основному файлу.
Опять супер новый для Python, так что даже неуверен, что делать дальше.Любой совет будет принята с благодарностью!