Selenium сделает все это за вас, и многое другое!Ниже приведен пример использования Firefox;Вы можете легко использовать Chrome, IE и т. д.
from selenium import webdriver
profile = webdriver.FirefoxProfile()
profile.accept_untrusted_certs = True
wd = webdriver.Firefox(executable_path="C:/Utility/geckodriver.exe", firefox_profile=profile)
url = "https://www.google.com/"
wd.get(url)
# download geckodriver for windows 64-bit from here
# https://github.com/mozilla/geckodriver/releases
Вам необходимо сосредоточиться на таких вещах:
find_element_by_class_name(name)
Finds an element by class name.
Args:
name: The class name of the element to find.
Returns:
WebElement - the element if it was found
Raises:
NoSuchElementException - if the element wasn’t found
Usage:
element = driver.find_element_by_class_name('foo')
Для получения дополнительной информации см. ссылки ниже.
https://selenium -python.readthedocs.io / api.html
https://www.seleniumhq.org/docs/