Сканирование данных в магазине приложений

Question

Кто-нибудь знает, как AppShopper.com сканирует данные в магазине приложений Apple?Нужно ли имитировать браузер с помощью автоматического тестирования, такого как Watir?Это единственный способ сбора данных (например, статистика загрузки, цена)?

Answer 1

Ползание не самый лучший метод.Существует партнерская программа , к которой можно присоединиться абсолютно бесплатно.могу дать вам необходимые данные.Прочитайте FAQ

Answer 2

Существуют сотни услуг, подобных той, о которой вы упомянули ... но создать собственный скребок не сложно ..

Допустим, вы хотите просмотреть все отзывы в Великобритании для приложения с id = xxxxxxxxx (щелкните правой кнопкой мыши iTunes на ссылке приложения и выберите «Копировать ссылку»). Вы должны получить файл:

http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11

Если вы добавите этот URL в свой браузер, вы не сможете увидеть тот же объем информации, который вы бы увидели в iTunes. Также может быть, что вы вообще ничего не видите, и ваш браузер попросит открыть iTunes. Тем не менее, URL-адрес выше тот же самый, который посещает iTunes - только iTunes запрашивает его немного иначе, чем веб-браузер. Для этого вы можете использовать команду cURL, которая по умолчанию используется в большинстве дистрибутивов GNU / Linux, но вы также можете установить ее в Windows.

1. Если вы работаете в Windows и у вас не установлен cURL, загрузите его (http://curl.haxx.se/download.html), распакуйте его и добавьте каталог bin в переменную PATH (http://www.computerhope.com/issues/ch000549.htm);

2. Открыть окно терминала (META + R, цифра CMD);

После установки cURL в Windows и * nix вырежьте и вставьте в свой терминал:

curl -H 'Host: itunes.apple.com' -H 'Accept-Language: en-us, en; q = 0,50' -H 'X-Apple-Store-Front: 143444,5' -H ' X-Apple-Tz: 3600 '-U' iTunes / 9.2.1 (Macintosh; Intel Mac OS X 10.5.8) AppleWebKit / 533.16 '' http://itunes.apple.com/WebObjects/MZStore.woa/wa/customerReviews?s=143444&id=xxxxxxxxx&displayable-kind=11'

Теперь вы должны увидеть фактический XML-файл, который видит iTunes, со всеми отзывами.

Answer 3

Если вы щелкнете правой кнопкой мыши по любой ссылке или значку в iTunes, он предоставит вам URL-адрес, который он использует для загрузки данных, которые он отображает для следующей страницы iTunes.Формат данных HTML периодически изменяется недокументированными способами.Если вы используете wget или curl для загрузки данных с этих URL-адресов, вам также может понадобиться имитировать пользовательский агент iTunes и название национального магазина, которое вы можете получить, отслеживая трафик iTunes с помощью проводной акулы.