Быстрый, глупый вопрос:
Как лучше всего написать две параллельные многопроцессорные задачи, особенно если они обе используют одинаковое количество потоков?
Что я?В настоящее время я делаю:
from multiprocessing.dummy import Pool
pool = Pool(8)
pool.imap_unordered(do_something, data_list)
pool.close()
pool.join()
pool = Pool(8)
pool.imap_unordered(do_something_else, another_data_list)
pool.close()
pool.join()
Пояснения к комментариям ниже:
Моя первая функция, do_something, получает набор GET URL-адресов и создает список another_data_list,для второй функции do_something_else.Поэтому я не хочу запускать второй пул, пока первый пул полностью не завершится.