Веб-скрейпинг таблицы Javascript с использованием BeautifulSoup

Question

Я относительно новичок в веб-поиске и создании прототипов с использованием различных веб-сайтов. У меня возникли проблемы с очисткой таблиц, загруженных Javascript. Любая помощь приветствуется. Вот мой код:

import requests
from bs4 import BeautifulSoup


url='https://onlineservice.cvo.org/webs/cvo/register/#/search/
toronto/0/1/0/10'

response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
tables = soup.find_all(class_='table')
print(tables)

Answer 1

Попробуйте следующий URL, чтобы получить всю информацию в мгновение ока. Вы можете получить этот URL с помощью инструментов разработчика Chrome по запросу xhr на вкладке сети. Дайте ему шанс:

import requests

URL = 'https://onlineservice.cvo.org/rest/public/registrant/search/?query=%20toronto&status=0&type=1&skip=0&take=427'
response = requests.get(URL)

for items in response.json()['result']:
    lastname = items['lastName']
    firstname = items['firstName']
    middlename = items['middleName']
    commonname = items['commonName']
    status = items['registrationStatus']['name']
    print(lastname,firstname,middlename,commonname,status)

Частичные результаты:

Ackerman Kent Alan Kent Active
Albarracin Oscar Fernando Oscar Active
Alcock Kathleen  Kathleen Active
Ali Karissa Soraiya Karissa Active
Allen John Kyle John K. Active
Alvarez Luisa Cristina Luisa Active