Полагаются ли запросы на селен?

Question

Я провожу несколько обходов, чтобы проверить, отклоняются ли результаты. Для этого я создал два набора тестов, первый из которых я создал с запросами и библиотекой BeautifulSoup, а другой - на основе селена. Я хотел бы выяснить, обнаруживают ли страницы оба бота одинаково.

Но я все еще не уверен, прав ли я, полагая, что запросы и BeautifulSoup не зависят от Selenium.

Я надеюсь, что это не вопрос дампа, но я пока не нашел правильного ответа (возможно, из-за неправильных ключевых слов). Тем не менее, любая помощь будет оценена. Заранее спасибо

Я проверил документацию запросов. Я написал письмо разработчику, без какого-либо ответа. И конечно я проверил на Google. Я нашел кое-что о scrapy против селена, но хорошо ... запросы и BeautyfulSoup связаны с scrapy?

Answer 1

Selenium автоматизирует браузеры , поэтому вы представите веб-сервису строку пользовательского агента и другие переменные, которые будет отображать браузер, выбранный вами для работы с Selenium.

Вы можете указать строку user-agent , когда вы используете запросы или нет, но запросы не управляют браузером по своей сути, поэтому вы будете представлены как другая сущность с точки зрения user-agent, например, python-запросы / 2.18.4.

BeautifulSoup является синтаксическим анализатором , и поэтому он представляет веб-службе через другую библиотеку (например, запросы);у него нет собственной нативной презентации.

Answer 2

Модуль запросов Python не использует Selenium, как и BeautifulSoup. Оба будут работать независимо от веб-браузера. Оба являются чистыми реализациями Python.