Ускорьте очистку веб-страниц от Yahoo Finance - PullRequest
Новая
       7

Ускорьте очистку веб-страниц от Yahoo Finance

0 голосов
/ 30 августа 2018

Я тестирую веб-скребинг с помощью Yahoo Finance, используя python с beautifulsoup lib, но он работает очень медленно. Как я могу ускорить это? и законно ли ломать сайт? 

quotes = []
quote = {}
symbolList = ['SPY', 'AAPL']

for symbol in symbolList:
    url = ('http://finance.yahoo.com/quote/%s?p=%s' % (symbol, symbol))
    page = requests.get(url)
    html = page.text
    soup = BeautifulSoup(html, 'html.parser')

    span_latest_price = soup.find("span", {"class": "Trsdu(0.3s) Trsdu(0.3s) Fw(b) Fz(36px) Mb(-4px) D(b)"})
    span_quote_name = soup.find('h1', {'class': 'D(ib) Fz(16px) Lh(18px)'})

    last_price = span_latest_price.text if span_latest_price else ''
    name = span_quote_name.text if span_quote_name else ''
    quote = {'name': name, 'lastPrice': last_price}
    quotes.append(quote)
...