повышение скорости обработки кода Python в ноутбуке Jupyter

Question

У меня есть сценарий Python, который управляет набором данных из 3 миллионов строк, и загрузка ЦП составляет только 25%, так как же повысить скорость обработки за счет использования нескольких ядер в ЦП или полного использования ЦП для увеличения скорости обработки?

Входы, необходимые для многопроцессорной обработки и пула процессов.

Answer 1

import multiprocessing
pool = multiprocessing.Pool(multiprocessing.cpu_count())

def some_function_you_want_executed_in_parallel(args):
   pass  # logic goes here

arg_list = []  # put input arguments here

results = pool.map(some_function_you_want_executed_in_parallel, arg_list)