У меня есть простая функция, которая принимает 4 аргумента, которые являются всеми фреймами данных, используя те фреймы данных, которые он выполняет предварительной обработкой, например очистку, используя машинное обучение для заполнения нулевых значений, манипулируя фреймами данных, используя group by, а затем вконец выдает два фрейма данных в функции возврата.Примерно так:
def preprocess(df1,df2,df3,df4):
"some arguments for cleaning and manipulation data"
return(clean,df_new)
Поскольку я выполняю операции с интенсивным использованием памяти, я подумал, смогу ли я использовать функциональность параллельных фьючерсов в Python.Я попытался просто использовать этот стиль:
with concurrent.futures.ProcessPoolExecutor() as executor:
executor.map(clean,df_new=preprocess(df1,df2,df3,df4))
Я получаю сообщение об ошибке о том, что clean и df_new не определены.Я немного озадачен тем, как использовать параллельное будущее для функции «предварительной обработки», чтобы я мог использовать все ядра своего ноутбука и повысить скорость обработки для этой операции.Любые идеи / помощь действительно приветствуется.