Как обрабатывать динамические URL при сканировании интернет-магазинов? - PullRequest
0 голосов
/ 17 марта 2012

Я просматриваю интернет-магазины для сравнения цен.Многие магазины активно используют динамические URL.Это заставляет моего сканера тратить много времени на все интернет-магазины.Несмотря на то, что большинство из них имеют только 5-6 тысяч уникальных продуктов, они имеют уникальные URL-адреса> = 300 тысяч.Любая идея, как обойти это.

Заранее спасибо!

1 Ответ

0 голосов
/ 17 марта 2012

Если вы анализируете некоторые страницы продукта, обычно эти URL имеют какой-то идентификатор продукта.

Найдите шаблон для извлечения идентификатора продукта из URL и используйте его для фильтрации уже посещенных URL.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...