Какая польза от номера корзины в штормовой гусеничной системе? - PullRequest
0 голосов
/ 17 сентября 2018

при сканировании нескольких веб-сайтов с использованием раздела "хост" ключ раздела, также называемый сегментом, создается на основе хоста.И каждому экземпляру носика дают ведро для получения URL.что произойдет, если я сканирую только один веб-сайт?В этом случае у меня есть только одно ведро, что означает, что только один экземпляр носика будет иметь доступ к моему ведру?И в случае сканирования многих веб-сайтов, если просматриваются все URL из одного сегмента. Будет ли экземпляр spout перемещаться в следующий сегмент или нет?

1 Ответ

0 голосов
/ 17 сентября 2018

если вы сканируете один сайт, тогда да, будет активен только один носик. Если вы сканируете много сайтов, они будут распределены по нескольким группам, и будет активным равное количество экземпляров носика. Если больше нет URL-адресов для извлечения фрагмента, соответствующий носик не будет отправлять URL-адреса по топологии. Другие экземпляры носика будут продолжать обрабатывать URL-адреса до тех пор, пока больше не нужно будет ничего делать.

...