Как автоматизировать браузер с библиотекой запросов (не селен вызывает производительность) - PullRequest
0 голосов
/ 05 мая 2019

Почему я хочу использовать библиотеку запросов, а не Selenium

Я знаю, что это намного сложнее, чем просто использование Selenium.У меня уже есть работающее приложение Selenium для того, что мне нужно.Я также уже отключил изображения, прокси, ... для оптимизации производительности.И я также знаю, что селен может быть без головы.Но это все еще медленно.

Что мне нужно сделать

Проблема в том, что я хочу загрузить кучу изображений с некоторой информацией на нескольких сайтах.Итак, у меня около 200 файлов .png, и у каждого есть имя, описание и так далее.Даже с оптимизацией, использование Selenium заняло бы довольно много времени.

Моя текущая идея

Моя идея состоит в том, чтобы отправлять почтовый запрос только на страницах с формой, поэтому мне не нужно запрашиватьHTML.У меня также есть идея, как нажимать обычные кнопки (просто получите ссылку и получите эту страницу (можно также сохранить эти ссылки, чтобы мне даже не нужно было запрашивать страницу с кнопкой)).

Проблема

Большая проблема - это просто JavaScript!Как запустить функции JavaScript из файла скрипта, который я, например, получил из головы.Или как я могу запускать отдельные команды JavaScript?
Мне нужно делать все, что будет делать браузер, если я нажму на кнопки, с которыми связано событие JavaScript.Но мне нужно сделать это на Python.Вы знаете хорошую библиотеку для этого?Или это даже возможно напрямую в запросах?

Точные вещи, которые мне нужно сделать (я не знаю, как это сделать)

-> Мне нужно запустить JavaScript на python
-> Мне нужно получить результат функции JavaScript как переменную в Python
-> Мне нужно иметь возможность визуализировать веб-страницу, отображаемую JavaScript

-> Мне нужно нажимать на кнопки без ссылкино функция JavaScript привязывается к нажатию
-> Мне нужно вычислить информацию или изменения на изображениях, если они обычно вычисляются с помощью JavaScript и вызваны тем, что пользователь нажимает на что-то




Надеюсь, вы поможете мне!Спасибо за вашу помощь!
...