Python, Selenium ":: after" проблема при соскабливании - PullRequest
1 голос
/ 17 марта 2020

Я пытаюсь собрать информацию об автомобиле с динамической c веб-страницы . Однако после запуска браузера Selenium chrome элементы контроля не отображаются так, как на исходной странице источника. Вместо html кода деталей автомобиля (информационная область рядом с изображением продукта) в исходном коде html появляется элемент ":: after".

Вы можете увидеть мой код очистки ниже;


import requests
from requests import get
from bs4 import BeautifulSoup
from selenium import webdriver

driver_path = ("C:\\Desktop\\chromedriver.exe")
driver = webdriver.Chrome(driver_path)
driver.get('https://www.arabam.com/ilan/galeriden-satilik-citroen-c-elysee-1-6-hdi-attraction/fiat-onkol-oto-dan-c-elysee-1-6-attraction-92-hp-beyaz/14046287')
soup = BeautifulSoup(driver.page_source, 'html.parser')
table = soup.table

table_rows = table.find_all('li')
print(table_rows)

Когда я использовал данный код для получения относительной информации с веб-страницы, я не мог видеть атрибуты html, которые необходимы для дальнейших циклов очистки.

Что может быть причиной этого проблема и как я могу решить это?

Спасибо,

Редактировать;

HTML содержание элемента в браузере селена,

enter image description here

Нормальный контент Google Chrome HTML, который я пытаюсь найти,

enter image description here

1 Ответ

0 голосов
/ 11 апреля 2020

На предоставленной вами странице HTML нет таблицы, попробуйте использовать другой селектор. Вы можете попробовать выбрать

driver.find_elements_by_class_name("w100 semi-bold lh18")

Это должно дать вам упорядоченный список span элементов

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...