Использование requests_html import HTMLSession Я реализовал скребок, который отлично работает. Проверяя производительность, я заметил, что экземпляры хрома, похоже, остаются в памяти, тогда как в коде все перезаписывается. Как бы они ни были малы, я хотел бы усилить это и работать круглосуточно, не забивая память. Я искал SO и пытался .kill безрезультатно.
Запуск python 3.7 на windows.
Любой комментарий будет более чем приветствоваться. Спасибо вперед
def get_marketcap(url_path):
from requests_html import HTMLSession
session = HTMLSession()
r = session.get(url_path)
r.html.render(wait = 8, sleep = 8)
session.close() #added after first comment
return r.html
Затем используется как:
while True:
Try:
def get_marketcap()
scrape...
Диспетчер задач
