Python разбивает большие списки на меньшие списки для проверки производительности?

Question

Каков наилучший способ разбить большой список (более 1000 наименований) в целях повышения производительности? А использовать «части» большого списка?

Например; У меня есть список из 10 тысяч адресов, которые я хочу сканировать. Как я могу разделить этот список на 4-й и закончить список по разделам, чтобы повысить производительность?

Answer 1

Если вы читаете все элементы списка, разделение фактически снизит вашу производительность. Вы должны профилировать свою программу (возможно, опубликуйте ее в вопросе здесь, если вы можете достаточно упростить ее).

Если вы не читаете все элементы, почему вы используете список в первую очередь? Используйте set или dict. Операции над обоими чрезвычайно быстры.

Answer 2

См. Ответы на этот вопрос о том, как разбить произвольный список на более мелкие куски.Он явно не охватывает увеличение производительности, поэтому вы можете рассмотреть возможность использования многопроцессорного модуля для фактического управления этими небольшими списками одновременно, если это то, что вы ищете.

Answer 3

То есть, вы хотите выполнить операцию над всем списком, но она медленно выполняется последовательно?Я думаю, что вы хотите рабочий пул. это помогает?