NCrawler не сканирует дальше первого URL, хотя MaxCrawlDepth> 1

Question

NCrawler не сканирует после первого URL, даже если MaxCrawlDepth> 1. Поэтому, если я укажу yahoo.com и MaxCrawlDepth = 3, он сканирует только эту страницу и останавливается.Я также проверил это, используя перехватчик пакетов, когда единственным адресом, на который он пошел, был yahoo.com.

Как мне заставить его сканировать каждую ссылку на странице?(У меня нет времени, чтобы проверить исходный код)

Answer 1

Это происходит на моей стороне, когда я добавляю HTMLAgilityPack, проверьте, есть ли он у вас, и удалите его.

Answer 2

NCrawler ожидает полностью сформированный URL. Попробуйте заменить URL-адрес на http://www.yahoo.com