Scrapy - используйте поисковую систему сайта, чтобы просмотреть результаты

Question

Я должен просмотреть результаты поиска на сайте.Дело в том, что URL-адрес не изменяется при поиске чего-либо на этом сайте, а это означает, что я не могу использовать URL-адрес для получения результатов, которые я хочу получить.

Мой вопрос: может ли Scrapyустановить фильтры, которые мне нужны, найти результаты, а затем просмотреть все результаты поиска?

Если да, то как?А если нет, знаете ли вы что-то, что могло бы сделать это с помощью Python или что-то еще?

Спасибо

Answer 1

Если поисковый термин не отражен в URL, это означает, что он передается на сервер в виде запроса POST.Это означает, что ваш код Scrapy также должен сделать запрос POST для отправки желаемого поискового запроса.

Документация Scrapy * содержит примеры создания запроса POST, имитирующего отправку формы.:

return [FormRequest(url="http://www.example.com/post/action",
                formdata={'name': 'John Doe', 'age': '27'},
                callback=self.after_post)]