Распараллелить цикл перечисления с модулем `multiprocessing '

Question

Мой код выглядит так:

# Features' construction - Multiprocessing #
import pandas as pd
import time
import multiprocessing



def features_construct(index, row):

    dict_features ={}

    ...

    return(dict_features)


data = []
for index, row in enumerate(raw_data):

    data.append(features_construct(index, row))


df_data = pd.DataFrame.from_records(data)

raw_data - это список двухэлементных списков, где каждый элемент является json.

Как можно распараллелить этот код с *Модуль 1007 * * multiprocessing?

Answer 1

Пробег:

import multiprocessing

output=[]

raw_data = [[2,2],[4,3],[5,1],[6,3],[7,2],[12,4],[12,2]]


def features_construct(index, row):

    dict_features ={}

    ...

    return(dict_features)

def combinations():
    pool = multiprocessing.Pool(64)
    outputs=pool.starmap(features_construct, raw_data)
    ### check starmap above

    return outputs

if __name__ == '__main__':
    output.append(combinations())