Есть ли способ ускорить это для l oop? - PullRequest
Новая
       7

Есть ли способ ускорить это для l oop?

0 голосов
/ 27 февраля 2020

Я создал al oop, который открывает и объединяет множество txt-файлов, содержащихся в подпапках из основного каталога.

Для l oop необходимо открыть 124 050 файлов в 332 папках. Это займет целую вечность, около 30 минут на мощном ноутбуке Alienware. Есть ли способ ускорить этот l oop? 

start_dirctory='D:/RPi Noise/'  # change this
df_result= None
for path, dirs, files in os.walk(start_dirctory):
        for file in fnmatch.filter(files, '*.txt'): # find .txt files
                full_name=os.path.join(path, file) # make full file path
                df_tmp= pd.read_csv(full_name, header=None) # read file to df_tmp
                df_tmp['date']=os.path.basename(path) # df.date = filepath
                df_tmp['file']=os.path.basename(file) # df.file = file name
                df_tmp['line_number']= range(df_tmp.shape[0])
                if df_result is None:
                    df_result= df_tmp
                else:
                    df_result= pd.concat([df_result, df_tmp], axis='index', ignore_index=True)
                print(full_name)
...