Приемлемая скорость запросов http - PullRequest
1 голос
/ 10 июня 2011

Я хочу добавить в мои приложения функцию, которая анализирует HTML-страницу и выскакивает на каждую <a href="http:\\foo" > по очереди.

Я собираю заголовок, описание и ключевые слова с каждой загрузки страницы и ничего больше не загружаю и не собираюсь допускать, чтобы переход был более чем на один по глубине.

Это само по себе тривиальное применение NSURLDownload и NSXMLDocument, но то, что я хочу знать ...

Существует ли приемлемая частота запросов, из-за которой мое приложение не выглядит как событие DOS, как если бы я просто выводил дочерние запросы со скоростью, с которой я анализировал их с родительской страницы, тогда я подозреваю, что это очень быстро будет обнаружено как таковое .

1 Ответ

2 голосов
/ 10 июня 2011

Вы должны соответствовать протоколу исключения роботов . RFC 2616 устанавливает ограничение в 2 одновременных запроса на имя хоста, однако современные браузеры проходят через это, и эта часть спецификации, вероятно, будет пересмотрена в соответствии. Вполне вероятно, что NSURLConnection все равно будет использовать ограничение на внутреннее соединение, но вы должны проверить это.

...