Ребол должен прочитать любой действительный URL. Может быть, это перенаправление, файлы cookie или другое требование, которое вы пропустили? Может быть, сайт блокирует сканеры и предполагает, что все, что не является браузером, является одним из них?