URL магазина Python BeautifulSoup после поиска - PullRequest
1 голос
/ 06 марта 2019

Я создал скрипт, который вводит логин и пароль, нажимает кнопку авторизации, переходит на страницу поиска, набирает результаты поиска и получает страницу с результатами. Мне нужно сохранить этот URL-адрес результатов, чтобы я мог использовать Beautiful soup для извлечения необходимой мне информации. Однако я не могу использовать библиотеку запросов, так как не знаю URL, пока не выполню поиск. Ниже приведен пример моей проблемы, я нажимаю кнопку отправки, что нормально, задержка 2 секунды для загрузки страницы. Затем я пытаюсь сохранить страницу результатов как переменную r и использовать суп для получения необходимой информации.

Однако, используя приведенный ниже код, я получаю сообщение об ошибке: у объекта str нет атрибута content, поэтому я думаю, что это моя переменная r. Заранее спасибо.

submitbutton.click()
time.sleep(2)
r = browser.page_source
soup = bs4.BeautifulSoup(r.content,'lxml') 
data = soup.find("div" , {"class": "specification"})

1 Ответ

0 голосов
/ 06 марта 2019

Предполагается, что (* 1) submitbutton.click() и r = browser.page_source являются вызовами селена, значение "r" - это чистая строка - источник HTML страницы, на момент вызова * 1005.*.
Как таковой, он не имеет атрибута .content (то же самое исключение, которое вы получили), и он вам не нужен - у вас уже есть html, просто передайте его как есть конструктору BS:

soup = bs4.BeautifulSoup(r,'lxml') 

* 1 Предположение основано на теге вопроса и именах методов / атрибутов, которые в следующий раз будут более явными.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...