сохранить и загрузить ответ html как объект в файл - python - PullRequest
0 голосов
/ 14 мая 2018

Моя цель - сохранить и загрузить ответ для последующего использования. (Это может быть через несколько дней). Я хочу быть эффективным и не сканировать веб-сайты в любое время, а сохранять их в виде файлов и загружать их при необходимости.

import requests
from bs4 import BeautifulSoup

html = requests.get(link, timeout=5)
page_content = BeautifulSoup(html.content, "html.parser")

"""" Example of function that I would like to load the responce here instead."""

def getValue(page):
    return page.find('td', attrs={'class': 'Fz(s) Fw(500) Ta(end)'}).text

тип HTML:

<class 'requests.models.Response'>

тип page_content:

<class 'bs4.BeautifulSoup'>

1 Ответ

0 голосов
/ 25 февраля 2019

Сделать запрос и сохранить ответ в файл:

import requests

r = requests.get(url)
content = r.text

with open('workfile', 'w') as f:
    f.write(content)

А когда вам нужен доступ к ранее сохраненным данным:

with open('workfile') as f:
   read_data = f.read()
...