Если веб-сайт загружает продукт на сервер, но еще не публикует его для общественности, могу ли я получить доступ к этой информации?

Question

Я новичок в изучении веб-страниц и пытаюсь узнать больше.Я знаю, что некоторые сайты загружают продукты на сервер, прежде чем они становятся доступными для широкой публики.Есть ли способ получить доступ к этой информации с помощью анализатора HTML или любой другой библиотеки?

Я подозреваю, что разработчики веб-сайтов используют динамический JavaScript для изменения информации после загрузки.Или использовать разные теги / классы, чтобы скрыть информацию?

Answer 1

Здесь я вижу два вопроса:

1) Могу ли я получить доступ к информации на веб-сервере, которая не отправляется на страницу клиента?

Нет .Вы можете только очистить то, что существует на странице.Все остальное было бы незаконным доступом к непубличному серверу и выходило бы за рамки хакерских действий.

2) Если сайт загружается асинхронно и / или динамически, могу ли я получить доступ к контенту, который загружается после основной части HTML?

Да, используя инструменты автоматизации браузера, такие как селен, вы можете приблизить пользователя, который посещает сайт, и дождаться загрузки всего контента, прежде чем его очистить.Это отличается от простых запросов / beautifulsoup, которые собирают HTML только в тот момент, когда вы отправляете запрос.