Поиск рецепта, похожего на учебник, для очистки веб-сайтов (особенно с кнопкой «загрузить больше») - PullRequest
0 голосов
/ 27 марта 2020



Я пытаюсь вычеркнуть цены с веб-сайтов для хобби, возможно, когда-нибудь превратить их в лекцию. Я уже прочитал много контента, но на самом деле я не программист.

В настоящее время мне не удается очистить веб-сайты «загрузить больше кнопок», но я уже знаю, что эта головоломка связана с API и XML. URL-адрес stati c Я не могу получить доступ к изменяющимся номерам страниц.

Мой вопрос заключается в том, как вообще решать такие вопросы. Каковы правильные подходы к решению этой головоломки. Есть ли какие-либо heuristi c (1. попробуйте это. 2. попробуйте это. 3. ...)? Существуют ли технологии, позволяющие браузеру выполнять запросы к серверу, которые нельзя получить от программистов, и как узнать, так ли это? Существуют ли языки программирования (майб ie старше), которые больше подходят для очистки или могут сделать больше?

В настоящее время я пытаюсь выяснить, что это за запрос и какие данные отправлять. , Изучение
Chrome> DevTools> Сеть> XHR> Имя
. При нажатии этой кнопки генерируется только один документ. Соответствующая статистика выглядит следующим образом:


Метод запроса: POST
Тип содержимого: multipart / form-data
Accept-Encoding: gzip, deflate, br

Похоже, что данные формы в правом углу этого изображения размещены.
text


Но я не знаю, как это сделать самостоятельно.
Поэтому я попытался проанализировать файлы. js ( в моем случае 10.000 строк кода) вручную
Здесь у меня возникли дополнительные вопросы?
- Это многообещающий способ ответа на вопросники?
- Какие ключевые слова для поиска?
- Есть ли инструмент для анализа незнакомого кода. Может ie нарисовать карту, перечислить все функции, ключевые слова, объекты любого вида или используемые модули?

Пожалуйста, извините, если я как-то не правильно спросил.

...