Как узнать, что HTML-страница должна отображаться компилятором JS?

Question

Я пытаюсь сканировать некоторые веб-сайты, и хотя я использую браузер Chrome без головы с селеном для рендеринга некоторых HTLM со встроенным JS, я также хотел бы просто использовать запросы в тех случаях, когда нет необходимости в рендеринге кода JS,

Есть ли способ узнать, должен ли HTML отображаться браузером или простой requests.get() даст мне полный HTML-контент?

Answer 1

Любой HTML-код, сгенерированный тегами, не будет получен запросами.

Единственный способ узнать, нужно ли браузеру отображать страницу для генерации всего контента, - это проверить, есть ли в ее HTML-коде теги.

Тем не менее, если информацияинтерес не генерируется JS, request.get () будет вам полезен.