Недостаточно памяти: убить процесс или пожертвовать ребенком в потоке в python3 - PullRequest
Новая
       39

Недостаточно памяти: убить процесс или пожертвовать ребенком в потоке в python3

0 голосов
/ 12 октября 2018

У меня есть программа, которая непрерывно проверяет содержимое веб-страницы, пока оно не меняется ... Для этого я открываю новые темы каждые 0,5 с, у каждого потока есть новое соединение с новым прокси, поэтому обновление кажется очень быстрым с большим количествомнить.Я помещаю скрипт на сервер, но через некоторое время он останавливается с этой строкой

Недостаточно памяти: убить процесс 2066 (python3), набрать 376 баллов или пожертвовать потомком

какя могу предотвратить это?Это вызвано превышением объема информации в оперативной памяти?

edit: чтобы она работала лучше, я хотел бы открыть 10 сеансов на ссылку.Когда одна сессия закроется, другая заменит последнюю закрытую.Для этого я читаю об очереди в потоке, но не знаю, как это сделать.

Вот как я открываю новые темы: 

sites = read_from_txt("links.txt")
proxy_list = read_from_txt("proxies.txt")


 # Start monitoring sites
    while(True):
        threads = []
        for link in sites:
            # skip over blank lines 
            if not link.strip():
                pass
            else :

                #threading setup
                t = Thread(target=monitor, args=(link, proxy_list))
                threads.append(t)
                t.start()
                time.sleep(0.5)
...