Python селен соскоб трейдвью список сделок

Question

Я пытаюсь очистить список сделок на этом графике TradingView (https://www.tradingview.com/chart/lUsimB6z/), но не знаю, с чего начать. Сначала я попробовал Selenium, но таблица загружается при прокрутке вниз, что вызывает у меня проблемы. Я новичок в Selenium и Python в целом. Любая помощь будет оценена. Спасибо.

Answer 1

Итак, стартовый код выглядит следующим образом:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

Первым шагом будет создание объекта webdriver.

chrome_options = Options()
# Stops the UI interface (chrome browser) from popping up
# chrome_options.add_argument("--headless") 
driver = webdriver.Chrome(executable_path='/path/to/chrome_driver', options=chrome_options)

Ускорение браузера с помощью URL

page_url = "https://www.tradingview.com/chart/lUsimB6z/"
driver.get(page_url)

Этот элемент driver содержит методы, которые можно использовать для извлечения элементов из html. Полный исходный код страницы можно получить с помощью driver.page_source. При необходимости вы можете переключиться на BeautifulSoup, просто используя soup = BeautifulSoup(driver.page_source, "html.parser")

Некоторые методы, которые вы можете использовать с объектом driver:

driver.find_element_by_tag_name(tag_name)
driver.find_element(s)_by_class_name(class_name)
driver.save_screenshot()
etc...

This ссылка объясняет, как можно смоделировать прокрутку в браузере, используя объект driver для извлечения данных таблицы.

Наконец,

driver.quit()

Вам понадобится Хромированный драйвер может быть расположен в '/path/to/chrome_driver' для работы селена.