Ошибка извлечения Nutch с состоянием протокола: TEMP_MOVED

Question

Мы используем версию Nutch2.3, и для некоторых URL-адресов мы получаем нижеприведенное исключение при получении.

"Ошибка при получении с состоянием протокола: TEMP_MOVED"

Попытка увеличить количество URL-адресов перенаправления, но при этом все равно появляется та же ошибка.

Есть ли способ получить и проанализировать эту страницу?

Answer 1

Проблема в том, что веб-сервер отвечает перенаправлением вместо содержимого.

Увеличьте значение http.redirect.max в вашем nutch-site.xml (https://github.com/apache/nutch/blob/master/conf/nutch-default.xml#L341, 0 по умолчанию).