Избегайте истечения срока действия файлов cookie (веб-очистка) - PullRequest
Новая
       23

Избегайте истечения срока действия файлов cookie (веб-очистка)

0 голосов
/ 01 сентября 2018

Поэтому я использую Python, чтобы сделать веб-скребок для сайта школьных сборников под названием Schoology. Пока что это прекрасно работает, но я был обеспокоен тем, что срок действия всех файлов cookie истечет через несколько дней. Есть ли способ автоматически получать новые файлы cookie, чтобы мне не приходилось заменять их каждые несколько дней? В моей школе используется логин "SSO", где вы должны войти в свою школьную учетную запись Google, что усложняет ситуацию. Я использовал CURL, чтобы получить информацию заголовка / файла cookie. Если есть что-то, что я могу улучшить в своем коде, дайте мне знать. Вот мой код: 

# Schoology Web Scraper

import requests
from bs4 import BeautifulSoup

grades = []

headers = {
    # A bunch of headers / cookies that will expire
}

response = requests.get('https://monongalia.schoology.com/grades/grades', headers=headers)
soup = BeautifulSoup(response.content, 'html.parser')

for item in soup.find_all('span', attrs={"class":"course-grade-value"}):
  grades.append(item.get_text())

print('\n'.join(grades))
...