Я хочу очистить Ebay. До того, как произойдет очистка, я хочу автоматизировать поиск, фильтрацию и сортировку сообщений ebay, автоматизируя необходимые для этого клики с помощью селена. Мне удалось (относительно надежно) добраться до нужной мне страницы, однако, похоже, что есть проблемы с (1) изменением кода веб-страницы и / или (2) переходом к части BeautifulSoup.
( 1): Иногда, когда я ищу элемент на ebay в браузере и проверяю веб-страницу, класс для несортированного списка (ul), который описывает все статьи ebay на странице, имеет имя класса «ListInnerView», но в некоторых других случаях его "srp-результаты". Кроме того, кажется, что многие имена классов и идентификаторов меняются от структуры «lv (сопровождаемый строкой)» на «s-item __ (сопровождаемый строкой)», поэтому вся страница, похоже, изменяется каким-то образом.
(2): Когда я смотрю код html, который показывает BeautifulSoup (он должен запросить URL, с которым закончил Selenium, а именно c), имена классов и идентификаторов не совпадают те, которые я вижу в веб-драйвере. Это точное различие имен, которые вы видите в (1).
Я не знаю, что делать, если html -код из окна веб-драйвера не совпадает с тем, который получает BeautifulSoup. Потому что тогда я не могу визуально найти элементы, которые BeautifulSoup должен найти.
Я искал в Интернете объяснения / решения моей проблемы и пока не нашел ни одного, поэтому вопрос.
Вот важные части моего кода (если информация отсутствует, я также могу поделиться всем кодом):
from bs4 import BeautifulSoup
import requests
from time import sleep
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
driver = webdriver.Chrome()
driver.get("https://www.ebay.de")
>a bunch of clicking, hovering and scrolling, that works<
soup = BeautifulSoup(driver.page_source, "html.parser")
>a bunch of finding elements, doesn't work; works on its own though, using specific set of class(id-names...