Веб-скребок работает только в течение нескольких минут после открытия веб-страницы, которую я хочу очистить - PullRequest
0 голосов
/ 07 октября 2018

Вот бит соответствующего кода:

from bs4 import BeautifulSoup
from selenium import webdriver

item = 'https://steamcommunity.com/market/listings/730/AK-47%20%7C%20Redline%20%28Field-Tested%29'
driver = webdriver.Chrome()
driver.get(item)
res = driver.execute_script('return document.documentElement.outerHTML')
driver.quit()

soup = BeautifulSoup(res, 'lxml')
buyorder_table = soup.find('table', {'class': 'market_commodity_orders_table'})
print(buyorder_table)

Когда я обычно запускаю этот код, он печатает

None

Но когда я открываю URL-адрес элемента в своем браузере, затем запускаюкод возвращает таблицу, которую я хочу (и затем у меня есть код для ее анализа).

Я нашел эту, казалось бы, полезную статью , но я попытался использовать встроенный анализатор HTML и имелта же проблема, которая, я думаю, является предлагаемым решением в статье.

Есть ли способ решить эту проблему?Заранее спасибо.

1 Ответ

0 голосов
/ 07 октября 2018

Я нашел сообщение, в котором, кажется, есть ответ, я обновлю позже, если это сработает

Проблемы с анализом текста с использованием BeautifulSoup и Python

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...