Взаимодействие с веб-страницей с использованием Python

Question

Я хочу сделать определенные c наборы операций, используя Python:

1- Доступ к веб-странице 2- Нажмите кнопку страницы 3- Очистите кэш и файлы cookie и любые другие данные сайта из память браузера. 4- Сделайте вышеупомянутое в al oop.

. Я начинающий, когда дело доходит до взаимодействия с сетью, используя Python. Сам язык, однако, я на промежуточном.

Мне нужен какой-то учебный материал, который я мог бы использовать, чтобы понять основы c HTTP и иметь возможность взаимодействовать с веб-страницей, используя Python.

Какие библиотеки, учебные пособия, документацию я могу использовать для дальнейшего изучения?

Answer 1

Селен звучит как ваш лучший выбор! Это автоматизированный веб-инструмент с открытым исходным кодом.

from selenium import webdriver
from selenium.webdriver.common.keys import Keys

browser = webdriver.Firefox()

browser.get('http://www.yahoo.com')
assert 'Yahoo' in browser.title

elem = browser.find_element_by_name('p')  # Find the search box
elem.send_keys('seleniumhq' + Keys.RETURN)

browser.quit()

Этот фрагмент удалит кеш, et c:

from selenium.webdriver.support.ui import WebDriverWait


def get_clear_browsing_button(driver):
    """Find the "CLEAR BROWSING BUTTON" on the Chrome settings page."""
    return driver.find_element_by_css_selector('* /deep/ #clearBrowsingDataConfirm')


def clear_cache(driver, timeout=60):
    """Clear the cookies and cache for the ChromeDriver instance."""
    # navigate to the settings page
    driver.get('chrome://settings/clearBrowserData')

    # wait for the button to appear
    wait = WebDriverWait(driver, timeout)
    wait.until(get_clear_browsing_button)

    # click the button to clear the cache
    get_clear_browsing_button(driver).click()

    # wait for the button to be gone before returning
    wait.until_not(get_clear_browsing_button)