Очень бы не советовали " screen scrape " другим веб-сайтам.Помимо того, что его сложно поддерживать (по мере изменения веб-сайта и т. Д.) - это фактически противоречит условиям использования / обслуживания (TOS) для многих веб-сайтов.
Вместо этого посмотрите, предлагают ли нужные веб-сайты предложение.веб-сервис, который вы можете использовать.Они будут возвращать данные в гораздо более удобном формате, таком как JSON или XML.Обычно вы также получаете свой собственный ключ разработчика (для отслеживания запросов против), а также другие возможные функции, которые вы не получили бы, если бы работали непосредственно с HTML.
В частности, Amazon, безусловно, предлагает это,Подробнее см. https://affiliate -program.amazon.com / gp / advertising / api / detail / main.html .(Не путайте с названием «реклама».)