Я пытаюсь реализовать многопоточность в Python для некоторых интенсивных операций чтения и загрузки файлов в БД. Я попытался импортировать многопроцессорный модуль в Python и столкнулся с ошибкой травления. Однако после импорта многопроцессорного модуля ошибка исчезла и сделала то, что она должна была сделать.
Я разработал и протестировал этот код на коробке windows и работал нормально. Тем не менее, мне пришлось развернуть это в производственной коробке и получить ошибку травления даже для многопроцессорного модуля. И многопроцессорная, и многопроцессорная не работают на Linux.
Ниже приведен пример кода, который я пытался реализовать.
def run_insertion():
dbs = cfg.prefs.get_key_arr_dbs()
dbinfo_list = []
for key in dbs:
params = {}
table_name = 'q_' + str(key).replace('ITE', '').lower() + '_nrfu'
params['key'] = key
params['table_name'] = table_name
params['cfg'] = cfg
dbinfo_list.append(params)
pool = Pool()
output = pool.map(extract_upload_data, dbinfo_list)
for res in output:
print (res)
Ниже приводится точная ошибка, которую я получил
Traceback (последний вызов был последним): файл "bin / data.py", строка 179, в основном (sys.argv [0:]) файл "bin / data.py", строка 163, в основном data_extractor.run_insertion () Файл "build / bdist. linux -x86_64 / egg / procs / data_extractor_mod.py", строка 30, в файле run_insertion "/usr/lib/python2.7/site-packages/multiprocess- 0.70.9-py2.7.egg / multiprocess / pool.py ", строка
return self.map_asyn c (fun c, iterable, chunksize) .get () Файл" / usr / lib / python2 .7 / site-packages / multiprocess-0.70.9-py2.7.egg / multiprocess / pool.py ", повышение строки self._value cPickle.PicklingError: Can't pickle: поиск атрибута встроенный .module не удалось
Пожалуйста, сообщите