Scrapy и возможности доступны - PullRequest
1 голос
/ 26 марта 2019

Я изучаю возможности поиска в интернете и изучаю программу Scrapy.Мне было интересно, если кто-нибудь знает, возможно ли ввести инструкции в сценарий, чтобы после посещения URL-адреса он мог выбирать предварительно выбранные даты из календаря на веб-сайте.?Конечный результат должен использоваться для сравнения цен на таких сайтах, как Trivago.Я надеюсь, что смогу заставить программу выбрать определенные критерии, такие как даты, один раз на сайте, как это сделал бы человек.

Спасибо, Алекс

1 Ответ

2 голосов
/ 27 марта 2019

Теоретически для такого веб-сайта, как Trivago, вы можете использовать URL-адрес, чтобы установить даты, которые вы хотите запросить, но вам нужно будет исследовать пользовательских агентов и прокси-серверы, потому что в противном случае ваш IP попадет в черный список очень быстро.

...