Невозможно прочитать страницу с запросами

Question

Я хочу прочитать страницу https://www1.hkexnews.hk/listedco/listconews/index/lci.html?lang=zh. Вот мой код:

import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
url = 'https://www1.hkexnews.hk/listedco/listconews/index/lci.html?lang=zh'
res = requests.get(url, headers = headers)
res.encoding = 'utf-8-sig'
soup = BeautifulSoup(res.text, 'lxml')

Однако res.text не содержит данных страницы.

Я тоже пробовал:

from requests_html import HTMLSession
session = HTMLSession()
r = session.get(url)
r.html.render()

Там написано: pyppeteer.errors.NetworkError: Protocol error Target.closeTarget: Target closed.

Что мне делать?

Answer 1

https://www1.hkexnews.hk/ncms/json/eds/lcisehk1relsdc_1.json

Добро пожаловать.

Если вам интересно, вкладка "Сеть" DevTools - ваш друг.

Answer 2

Ваш код правильный.Попробуйте другую страницу для загрузки.Я запустил скрипт, и он работает.

import requests
from bs4 import BeautifulSoup  # You missed a character 'l'

url = "https://www1.hkexnews.hk/listedco/listconews/index/lci.html?lang=zh"
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'}
response = requests.get(url, headers=headers)
response.encoding = 'utf-8-sig'
if response.status_code == 200:
    soup = BeautifulSoup(response.text, 'lxml')
    els = soup.select("#Callable\ Bull\/Bear\ Contracts")
    print(els[0])

Я получил:

 <input checked="" class="filterCheckBox strcProdCheckBox" data-value="Callable Bull/Bear Contracts" id="Callable Bull/Bear Contracts" name="Property" tabindex="-1" type="checkbox"/>

Попробуйте:

curl --header "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Geckoe/50.0.2661.102 Safari/537.36" https://www1.hkexnews.hk/listedco/listconews/index/lci.html?lang=zh