Я хочу создать файл с 100.000.000 записей, используя Python. Независимо от того, какой метод я выберу, я всегда получаю memory_error.
Я пробовал многопроцессорную обработку.
def mp_worker(number):
number += 1
return number
def mp_handler():
p = multiprocessing.Pool(4)
#numbers = list(range(1000000))
with open('results.txt', 'w') as f:
for result in p.imap(mp_worker, range(100000000)):
line = generateCustomerData(result)
f.write('%s\n' % line)
f.flush()
Ожидаемый результат - файл с 100.000.000 записей.
Фактический результат - ошибка памяти.