Я пытаюсь обработать большое количество файлов с помощью библиотеки Bleualign, используя пул многопроцессорной обработки Python.
Я получаю ошибки памяти через несколько часов, есть ли что-то, что я делаю неправильно с тем, как я выполняю многопроцессорную работу ниже?
#!/usr/bin/python
# -*- coding: utf-8 -*-
import os, sys, glob
from multiprocessing import Pool
number_of_workers = 4
def bleualign(file):
cmd = "python3 '../bleualign/bleualign.py' -s ../4a_zh-tokenized-converted/"+file+" -t '../3_en-tokenized/"+file+"' --srctotarget './"+file+"' -o '../5_aligned-zh/"+file+"'"
try:
os.system(cmd)
except:
print('error')
files = []
os.chdir("./4b_zh-tokenized-sample-en")
for file in glob.glob("*.txt"):
files.append(file)
mypool = Pool(number_of_workers)
mypool.map(bleualign, files)