Самый эффективный способ тестирования ссылок

Question

В настоящее время я разрабатываю приложение, которое просматривает все файлы на сервере и проверяет каждую отдельную ссылку, чтобы проверить, действительны они или нет. Использование WebClient или HttpWebRequest / HttpWebResponse является своего рода излишним процессом, поскольку он загружает всю страницу каждый раз, что бесполезно, мне нужно только проверить, не возвращает ли ссылка 404.

Что было бы наиболее эффективным способом? Сокет, кажется, хороший способ сделать это, однако я не совсем уверен, как это работает.

Спасибо, что поделились своим опытом!

Answer 1

Наиболее эффективным было бы отправить глагол HEAD для сохранения полосы пропускания.

var request = WebRequest.Create("http://google.com/");
request.Method = "HEAD";
using (var response = (HttpWebResponse)request.GetResponse())
{
    if (response.StatusCode == HttpStatusCode.OK)
    {
        // 200 OK
    }
}

Answer 2

Установите HttpWebRequest.Method на "Head". Это будет получать только заголовки.