Я пытаюсь очистить часть страницы, сгенерированную JS, поэтому значение не присутствует в исходном коде.
Я использую Selenium (впервые) с BeautifulSoap (знаком с этим).
ВНИМАНИЕ: URL-адрес сайта для взрослых!
Вот мой код:
import sys
import urllib2
from selenium import webdriver
from selenium.webdriver.firefox.options import Options
from bs4 import BeautifulSoup
import re
import pandas as pd
import os
url = "https://www.kink.com/shoot/5540"
options = Options()
options.headless = True
driver = webdriver.Firefox(options=options)
driver.implicitly_wait(30)
driver.get(url)
soup = BeautifulSoup(driver.page_source, 'lxml')
print url
print soup
Однако суп, который я получаю, не содержит сгенерированного JS бита.
Мне нужна только часть рейтинга, которая гласит: «Средний рейтинг: 58 оценок».
Чего мне не хватает?