В соответствии с руководством Nutch вы должны добавить имя агента в следующий файл: ./conf/nutch-default.xml, например, vi /opt/nutch/conf/nutch-default.xml Изменить: http.agent.name to:
<name>http.agent.name</name>
<value>nutch</value>
Также задайте значения для http.agent.url и http.agent.email для http.robots.agents - убедитесь, что первая запись соответствует вашему http.agent.name, т.е. http.robots.agentsNutch *