Ну, как следует из названия, я пытаюсь собрать некоторые данные с веб-сайта ( пример) с помощью Selenium, однако у меня возникают проблемы с получением данных, скрытых в каждой строке таблицы Pro Results. тот, который отображается при нажатии кнопки Показать подробности (+).
Это мой код:
from bs4 import BeautifulSoup
from selenium import webdriver
# Set some Selenium Options
options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('--no-sandbox')
options.add_argument('--disable-dev-shm-usage')
# Webdriver
wd = webdriver.Chrome('chromedriver',options=options)
# URL
url = 'https://www.tapology.com/fightcenter/fighters/30449-sultan-aliev'
# Load URL
wd.get(url)
# Get HTML
soup = BeautifulSoup(wd.page_source, 'html.parser')
# All rows of the Pro Record table
rows = soup.findAll('div', {'class': 'result'})
print(len(rows))
# [Out] 18
# Try to find all hidden data
hidden = soup.findAll('div', {'class': 'detail tall'})
print(hidden)
# [Out] []
Как видите, я могу легко получить строки таблицы, но когда я пытаюсь получить скрытые данные, я просто не могу найти способ их получить.
Я тоже не очень знаком с Selenium, поэтому любые рекомендации будут приветствоваться.