Nutch: Критерии для db_unfetched состояния URL

Question

В каких случаях URL перешел на фазу db_unfetched. делает URL не удовлетворяющим crawlurlfilter.txt и переходит в состояние db_unfetched.

Answer 1

Следующие URL помечены как db_ unfetched:

1. Недавно введенный URL,
2. URL, который не получен,
3. URL, который не может быть получен из-за какого-то исключения

crawlurlfilter.txt не позволяет URL иметь право на получение. Таким образом, URL останутся db_unfetched.