Невозможно создать огромный файл - PullRequest
0 голосов
/ 09 июля 2019

Я хочу создать файл с 100.000.000 записей, используя Python. Независимо от того, какой метод я выберу, я всегда получаю memory_error.

Я пробовал многопроцессорную обработку.

def mp_worker(number):
    number += 1
    return number

def mp_handler():
    p = multiprocessing.Pool(4)
    #numbers = list(range(1000000))
    with open('results.txt', 'w') as f:
        for result in p.imap(mp_worker, range(100000000)):
            line = generateCustomerData(result)
            f.write('%s\n' % line)
            f.flush()

Ожидаемый результат - файл с 100.000.000 записей. Фактический результат - ошибка памяти.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...