HTTPWebREquest - возвращает WebException - ошибка (404) не найдена

Question

У меня есть сканирующая программа, которая извлекает URL для анализа html и столкнулась с необычной ошибкой с тех пор, как я ее запустил.Для определенного набора URL-адресов с сайта при получении с использованием HTTPWebRequest и HTTPWebResponse я получаю сообщение об ошибке

**> Удаленный сервер возвратил ошибку:

(404) Не найдено **

Это необычно, так как работает при вставке в мой браузер.Любые идеи приветствуются.Не уверен, нужен ли код для публикации, но дайте мне знать, если так.

Answer 1

Может ли быть так, что удаленный сервер обслуживает разные страницы в зависимости от User-Agent и не имеет страницы, соответствующей значению User-Agent, предоставленному экземпляром HttpWebRequest (по умолчанию пустым)? Просто мысль, поскольку вы говорите, что страницу можно найти при переходе по ее адресу с помощью браузера, но не с помощью кода.

Answer 2

Сайт может блокировать ваш пользовательский агент, или для него могут потребоваться файлы cookie.