Как бы я выяснил все URL, сгенерированные определенными переключателями на веб-сайте?

Question

Я работаю над проектом, который проверяет наличие обновлений на определенном веб-сайте одежды, где вы можете фильтровать по таким вещам, как верх, низ, обувь и т. Д., А также по размеру.

Я планировал проанализировать html страниц, чтобы проверить наличие обновлений, но мне было интересно, есть ли способ проверить URL-адрес определенной комбинации параметров фильтрации.

Вот сайт: https://www.grailed.com/

Например, если бы я хотел проверить, какими будут URL «всех вершин» фильтра и «размер XL», как бы я это сделал?

Предпочитаю, чтобы реализация или технологии были в java или python, так как это все, с чем мне удобно.

Answer 1

Пользователь анализирует данные http / https с помощью инструмента fiddler. Я обнаружил, что www.grailed.com использует API поиска для получения результатов поиска пользователя.

Из анализа, который вам необходим для моделирования, браузер отправляет запрос POST на URL API поиска, в запросе необходимо изменить параметры X-CSRF-Token, Cookie и request content. Вы упомянули, что вы используете фильтр size и all tops, поэтому вам нужно изменить содержимое параметра "filters" , дополнительную информацию, пожалуйста, попробуйте несколько раз и нашли другое.

Желаю вам закончить.