Прежде всего, спасибо, что нашли время для моего вопроса. Я пытаюсь почистить веб-страницу с BeautifulSoup, в прошлом я просмотрел несколько других веб-сайтов. Не новичок ie по этому вопросу, но я впервые столкнулся с источником веб-страницы, который загружается, когда я щелкаю инструментами веб-разработчика (вероятно, вызванными другими действиями). Когда я получаю страницу с BeautifulSoup и когда я щелкаю правой кнопкой мыши страницу и источник просмотра страницы, они идентичны, но я не вижу ту часть, которая мне нужна (Использование firefox в качестве веб-браузера, кстати).
Это веб-страница: https://www.security.honeywell.com/all-categories/video-systems/30-series-ip-cameras/ip-mini-cameras
Я пытаюсь (очевидно) получить продукты. Но только эта часть не отображается, когда я получаю исходный код страницы с BeautifulSoup или просто щелкаю правой кнопкой мыши и просматриваю исходный код страницы (даже когда страница загружена и продукты тут же). Но когда я открываю инструменты разработчика и проверяю продукты, я вижу их информацию.
Поэтому, пока инструменты разработчика открыты, я щелкнул сеть и обновил страницу. И я проверил, что есть запрос POST с xhr и возвращает данные json (https://www.security.honeywell.com/coveo/rest/v2/?sitecoreItemUri=sitecore%3A%2F%2Fweb%2F%7BC82C8340-17EC-4C14-A2D0-634B2D99AD47%7D%3Flang%3Den-US%26ver%3D1&). Так что данные внутри этого. Но даже я загружаю страницу, вижу продукты и получаю источник веб-страницы, информации там нет.
Источник веб-страницы идентичен с проверенным временем до этого:
Но нет |||| часть, которая мне нужна.
Как я могу получить эту часть с BeautifulSoup? Спасибо