Как заставить Heritrix продолжить процесс сканирования на найденных доменах, которых нет в начальном списке

Question

Как заставить Heritrix продолжить процесс сканирования на найденных доменах, которых нет в начальном списке?
Я имею в виду сделать это, чтобы не останавливаться после обхода всех доменов в списке семян. и продолжайте процесс сканирования для каждой ссылки, найденной в процессе сканирования.

Answer 1

По умолчанию Heritrix настроен на сканирование только тех URL-адресов, которые находятся в вашем начальном списке.Некоторый дополнительный материал также обычно сканируется, поскольку внедренный материал, размещенный в другом месте, также извлекается.

Если вы хотите, чтобы Heritrix сканировала все, с чем сталкивались, вам нужно изменить область действия.

Область действия состоит из ряда правил принятия решений.Каждое правило может ПРИНЯТЬ, ОТКАЗАТЬ или передать URL.Последнее правило либо ПРИНЯТЬ, либо ОТКАЗАТЬ побеждает.Как правило, первое правило в списке - это общее отклонение всех, затем следует SurtPrefixDecideRule, который управляет во всех URL-адресах, которые соответствуют списку SURT.Список SURT обычно создается с использованием начального списка.

Однако вы можете настроить список SURT вручную, указав свой собственный, или (если вы действительно хотите все), вы можете просто удалить его и отклонить все правила идобавьте в начало правило принятия всех решений.

Подробнее о настройке области действия Heritrix 3.

Answer 2

Прошло много времени с тех пор, как я в последний раз работал с Heritrix, но если память хорошо мне подходит, вам нужно изменить max-link-hops в ваших настройках / профиле. Чем больше вы делаете max-link-hops, тем больше шагов ("прыжков") делает Heritrix из заданных вами семян.

Answer 3

Вы также можете установить для правила выбора Surt 'NotonDomains' значение true. При этом будут сканироваться все домены, которых нет в начальном списке.