Как получить данные в режиме реального времени с веб-сайта, используя python?

Question

Я хочу получить данные сома с веб-сайта

https://web.sensibull.com/optionchain?expiry=2020-03-26&tradingsymbol=NIFTY

Я использую библиотеку Beautifulsoup для получения этих данных и пробовал следующее code:

import requests

import urllib.request

import time

from bs4 import BeautifulSoup

url = 'https://web.sensibull.com/optionchain?expiry=2020-03-26&tradingsymbol=NIFTY'

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

b = soup.find("div", {"class": "style__AtmIVWrapper-idZNMX kUMMRI"})

print(b)

Но в качестве выходных данных он показывает "None".

Хотя в полном коде HTML есть только один класс этого имени, но я также попробовал это:

for b in soup.find_all('div', attrs={'class':'style__AtmIVWrapper-idZNMX kUMMRI'}):

    print(b.get_text())

    print(len(b))

Но это не сработает.

Также пробовал soup.find ("div") Но он не показывает требуемый тег div в выводе, возможно из-за вложенных div настоящее время.

Невозможно получить эти данные и продолжить работу. Пожалуйста помоги.

Answer 1

Если вы ищете код. Это может помочь: -

from selenium import webdriver 
import time
webpage = 'https://web.sensibull.com/optionchain?expiry=2020-03-26&tradingsymbol=NIFTY'
driver = webdriver.Chrome(executable_path='Your/path/to/chromedriver.exe') 
driver.get(webpage)
time.sleep(10)
nifty_fut = driver.find_element_by_xpath('//*[@id="app"]/div/div[4]/div[2]/div[3]/div/div/div[2]/div[1]/div[1]/div/button/span[1]/div[1]')
print(nifty_fut.text)
atm_iv = driver.find_element_by_xpath('//*[@id="app"]/div/div[4]/div[2]/div[3]/div/div/div[2]/div[1]/div[2]')
print(atm_iv.text)
driver.quit()

Answer 2

Может быть проблема с синтаксисом, попробуйте с soup.find_all("div", class_="style__AtmIVWrapper-idZNMX kUMMRI") или просто soup.find("div", class_="style__AtmIVWrapper-idZNMX kUMMRI")

Если вы заинтересованы в webscraping и bs4, посмотрите документацию https://www.crummy.com/software/BeautifulSoup/bs4/doc/#find