Когда я пытаюсь использовать joblib.Parallel, как показано ниже:
generator = (i for i in range(10))
Parallel(n_jobs=2)(delayed(sqrt)(i ** 2) for i in generator)
Но с генератором с тысячами объектов по 100 МБ кажется, что все данные в генераторе загружаются в память перед фактической параллельной обработкой, вызываяпроблемы с памятью.
Как я могу подать генератор непосредственно в функцию, чтобы он внутренне вызывал метод next() непосредственно перед обработкой вместо преобразования в список?
Спасибо, Джек