сканировать 1000 URL за повторное сканирование

Question

привет, я написал скрипт сканирования для сканирования URL-адреса, и мне нужно выбрать 1000 URL-адресов за сеанс сканирования, если я использую это bin/nutch fetch $s1 -threads 100 -topN 1000 он сканирует более 1000 URL-адресов, я понятия не имею, может ли это случиться, любой может сказать мне, какя сканирую ровно 1000 URL за сеанс сканирования в nutch1.2

Answer 1

Из верхней части моей головы вы должны использовать

bin/nutch generate ... -topN 1000

Fetch использует только результат создания.