Я пытался прочитать большой файл и записать в другой файл в то же время, после обработки данных из входного файла, файл довольно большой, около 4-8 ГБ, есть ли способ распараллелить процесс ссэкономить время
Исходная программа:
with open(infile,"r") as filein:
with open(writefile,"w") as filewrite:
with open(errorfile,"w") as fileerror:
line=filein.readline()
count=0
filewrite.write("Time,Request,IP,MAC\n")
while line:
count+=1
line=filein.readline()
#print "{}: {}".format(count,line.strip()) testing content
if requestp.search(line):
filewrite.write(line.strip()[:15]+",")
filewrite.write(requestp.search(line).group()+",")
if IP.search(line):
filewrite.write(IP.search(line).group())
filewrite.write(",")
if MACp.search(line):
filewrite.write(MACp.search(line).group())
filewrite.write("\n")
else:
fileerror.write(line)
Но это занимает слишком много времени для обработки такого файла, и у меня есть сотни таких файлов, я пытался использовать Ipyparellel для парализациикод, но еще не увенчались успехом, есть ли способ сделать это.