Проблемы с памятью в многопроцессорном пуле Python, я что-то не так делаю? - PullRequest
0 голосов
/ 23 ноября 2018

Я пытаюсь обработать большое количество файлов с помощью библиотеки Bleualign, используя пул многопроцессорной обработки Python.

Я получаю ошибки памяти через несколько часов, есть ли что-то, что я делаю неправильно с тем, как я выполняю многопроцессорную работу ниже?

#!/usr/bin/python
# -*- coding: utf-8 -*-
import os, sys, glob
from multiprocessing import Pool
number_of_workers = 4

def bleualign(file):
    cmd = "python3 '../bleualign/bleualign.py' -s ../4a_zh-tokenized-converted/"+file+" -t '../3_en-tokenized/"+file+"' --srctotarget './"+file+"' -o '../5_aligned-zh/"+file+"'"
    try:
        os.system(cmd)
    except:
        print('error')

files = []
os.chdir("./4b_zh-tokenized-sample-en")
for file in glob.glob("*.txt"):
    files.append(file)


mypool = Pool(number_of_workers)
mypool.map(bleualign, files)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...