Python / Selenium web Scraping JS table без использования данных JSON

Question

Я хочу очистить таблицу от:

https://www2.sgx.com/securities/annual-reports-financial-statements

Я понимаю, что это возможно, изучив заголовки и найдя вызовы API, такие как: https://api.sgx.com/financialreports/v1.0?pagestart=3&pagesize=250&params=id,companyName,documentDate,securityName,title,urlно мне было интересно, можно ли получить все данные из таблицы без этого, так как мне нужно было бы проанализировать 16 файлов JSON.

При попытке разобраться с Selenium я могу добраться только до концавидимой таблицы (таблица становится намного больше при нажатии «Очистить все» на левой стороне, это все данные, которые мне нужны).

Любые идеи приветствуются!

РЕДАКТИРОВАТЬ: Воткод, который возвращает только 144 ячейки из тысячи в таблице

from time import sleep  # to wait for stuff to finish.
from selenium import webdriver  # to interact with our site.
from selenium.common.exceptions import WebDriverException  #  url is wrong
from webdriver_manager import chrome  # to install and find the chromedriver executable


BASE_URL = 'https://www2.sgx.com/securities/annual-reports-financial-statements'
driver = webdriver.Chrome(executable_path=chrome.ChromeDriverManager().install())
driver.maximize_window()

try:
    driver.get(BASE_URL)
except WebDriverException:
    print("Url given is not working, please try again.")
    exit()

# clicking away pop-up
sleep(5)
header = driver.find_element_by_id("website-header")
driver.execute_script("arguments[0].click();", header)

# clicking the clear all button, to clear the calendar
sleep(2)
clear_field = driver.find_element_by_xpath('/html/body/div[1]/main/div[1]/article/template-base/div/div/sgx-widgets-wrapper/widget-filter-listing/widget-filter-listing-financial-reports/section[2]/div[1]/sgx-filter/sgx-form/div[2]/span[2]')
clear_field.click()

# clicking to select only Annual Reports
sleep(2)
driver.find_element_by_xpath("/html/body/div[1]/main/div[1]/article/template-base/div/div/sgx-widgets-wrapper/widget-filter-listing/widget-filter-listing-financial-reports/section[2]/div[1]/sgx-filter/sgx-form/div[1]/div[1]/sgx-input-select/label/span[2]/input").click()
sleep(1)
driver.find_element_by_xpath("//span[text()='Annual Report']").click()

rows = driver.find_elements_by_class_name("sgx-table-cell")
print(len(rows))

Answer 1

Я знаю, что вы просили не использовать API. Я думаю, что его использование намного чище подход.

(вывод 3709 документов)

import requests

URL_TEMPLATE = 'https://api.sgx.com/financialreports/v1.0?pagestart={}&pagesize=250&params=id%2CcompanyName%2CdocumentDate%2CsecurityName%2Ctitle%2Curl'

NUM_OF_PAGES = 16
data = []
for page_num in range(1, NUM_OF_PAGES):
    r = requests.get(URL_TEMPLATE.format(page_num))
    if r.status_code == 200:
        data.extend(r.json()['data'])
print('we have {} documents'.format(len(data)))
for doc in data:
    print(doc)