Может ли Pandas обрабатывать большой CSV-файл с помощью Concat? - Объединяйте файлы CSV

Question

это код, который объединяет файлы CSV. Может ли он обрабатывать большие файлы CSV?

import pandas as pd
import sys
import glob

li = []

for filename in sys.argv[1:]:
    df = pd.read_csv(filename, index_col=None, header=0)
    df['filename']=str(filename)
    li.append(df)

frame = pd.concat(li, axis=0, ignore_index=True)

frame.to_csv('combinedFILE.csv')