Параллельное чтение файлов в Python - PullRequest
0 голосов
/ 08 июня 2018

Я пытался прочитать большой файл и записать в другой файл в то же время, после обработки данных из входного файла, файл довольно большой, около 4-8 ГБ, есть ли способ распараллелить процесс ссэкономить время

Исходная программа:

with open(infile,"r") as filein:
with open(writefile,"w") as filewrite: 
    with open(errorfile,"w") as fileerror:
        line=filein.readline()
        count=0
        filewrite.write("Time,Request,IP,MAC\n")
        while line:
            count+=1
            line=filein.readline()
            #print "{}: {}".format(count,line.strip()) testing content
            if requestp.search(line):
                filewrite.write(line.strip()[:15]+",")
                filewrite.write(requestp.search(line).group()+",")
                if IP.search(line):
                    filewrite.write(IP.search(line).group())
                filewrite.write(",")
                if MACp.search(line):
                    filewrite.write(MACp.search(line).group())
                filewrite.write("\n")
            else:
                fileerror.write(line)

Но это занимает слишком много времени для обработки такого файла, и у меня есть сотни таких файлов, я пытался использовать Ipyparellel для парализациикод, но еще не увенчались успехом, есть ли способ сделать это.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...