Сценарий сравнения цен на товары - PullRequest
0 голосов
/ 16 июля 2009

Как бы вы создали скрипт сравнения цен? Я знаю, что Amazon предлагает публичный API, но я видел эти два сайта goodreads , bookdope , которые сравнивают цены на книги, получают цены с Walmart и других веб-сайтов, которые не предлагают API. Как вы получаете цены с сайтов, которые не имеют API?

Я использую C # и ASP.NET MVC.

1 Ответ

1 голос
/ 16 июля 2009

Если сайт не предлагает API, вам нужно сделать то, что называется скриншотом экрана. Вы получаете HTML страницы и ваша программа извлекает из нее информацию.

Это работает, но остерегайтесь проблем.

Компаниям часто не нравится, что вы делаете это. Если бы они хотели, чтобы вы получили информацию, они бы предоставили API. Они могут даже обнаружить большое количество попаданий из вашего конкретного местоположения и заблокировать вас.

Помимо всего прочего, страница предназначена для чтения человеком в браузере. Они могут изменить его в любое время, и в результате ваше приложение может не работать.

...