разбор страницы с красивым супом

Question

Я пытаюсь проанализировать эту веб-страницу и получить некоторую информацию:

http://www.tsetmc.com/Loader.aspx?ParTree=151311&i=778253364357513

import requests
page = requests.get("http://www.tsetmc.com/Loader.aspx?ParTree=151311&i=778253364357513")

from bs4 import BeautifulSoup
soup = BeautifulSoup(page.content, 'html.parser')

All_Information = soup.find(id="MainContent")

print(All_Information)

В ней вся информация между тегами скрыта. когда я запускаю код, эти данные возвращаются.

<div class="tabcontent content" id="MainContent">
<div id="TopBox"></div>
<div id="ThemePlace" style="text-align:center">
<div class="box1 olive tbl z2_4 h250" id="Section_relco" style="display:none"></div>
<div class="box1 silver tbl z2_4 h250" id="Section_history" style="display:none"></div>
<div class="box1 silver tbl z2_4 h250" id="Section_tcsconfirmedorders" style="display:none"></div>
</div>
</div>

Почему информации там нет, и как я могу найти и / или получить к ней доступ?

Answer 1

Информация, которую я предполагаю, что вы ищете, не загружена в ваш запрос. Веб-страница делает дополнительные запросы после первоначальной загрузки. Есть несколько способов получить эту информацию.

Вы можете попробовать selenium. Это python пакет, имитирующий веб-браузер. Это позволяет странице загружать всю информацию перед тем, как вы попытаетесь ее удалить.

Другой способ заключается в том, чтобы обратить внимание на веб-сайт и выяснить, где он получает нужную вам информацию.

Посмотрите эту ссылку. http://www.tsetmc.com/tsev2/data/instinfofast.aspx?i=778253364357513&c=57+

Он вызывается вашей страницей каждые несколько секунд и содержит всю информацию о ценах, которую вы ищете. Может быть проще позвонить на эту веб-страницу, чтобы получить вашу информацию.