Программа, использующая list (filter ()), работает на Python 3 очень медленно

Question

У меня есть программа, которая обрабатывает большие наборы данных. Большинство из них выполняется очень быстро, за исключением нескольких строк кода, которые иногда занимают около минуты.

Что делают эти строки кода, так это принимают список от 1 до 1000 различных значений в диапазоне от 0до 1000000. Затем в течение определенного k раз они фильтруют список и удаляют значение, которое больше всего представлено в этом списке (если несколько значений представлены одинаковое количество раз, оно просто принимает случайное значение).

Есть ли способ написать это, так что выполнение займет меньше времени.

Я запускаю Windows 10 Pro с Intel I7-8086K GTX1660 и 16 ГБ оперативной памяти DDR4.

k = int(new1[1])


    def most_frequent(lists):
        return max(set(lists), key=lists.count)


    ite = 0
    while ite < k:
        new = list(filter(lambda a: a != most_frequent(new), new))
        ite += 1

Какперед тем, как я получу результаты, я хочу сказать, что программа работает очень медленно.

Answer 1

Как насчет этого:

# count elements in the list

counts = {}
for x in ls:
    counts[x] = (counts.get(x) or 0) + 1

# sort counts by most frequent

counts = sorted(counts.items(), key=lambda c: -c[1])

# get top k elements

to_remove = set(c[0] for c in counts[:k])

# remove them

new_list = [x for x in ls if x not in to_remove]