httpwebrequests скорость

Question

Я использую класс httpwebrequest для загрузки информации заголовка страниц, чтобы увидеть, существует ли страница.Поэтому я устанавливаю метод head и использую несколько потоков.Однако я получаю только 1000 запросов за 30 секунд.

Я прошел и оптимизировал все, что мог.Я установил для прокси-сервера значение null, чтобы избежать проверки, и время ожидания лучше всего работало при 20000 мс.

Также System.Net.ServicePointManager.DefaultConnectionLimit был увеличен до количества используемых потоков (которое составляет 50).

Все, что мне нужно, чтобы проверить, существует ли страница (404 или нет), есть ли что-то еще, что я могу сделать, чтобы улучшить скорость?

Альтернативой, которую я использовал, был веб-клиент, но я не смог установитьэто только в голову.

Вот что я использую сейчас

HttpWebRequest req;

HttpWebResponse response;

bool ret;


req = WebRequest.Create("http://" + url) as HttpWebRequest;
req.Method = "HEAD";
req.Timeout = timeout;
req.Proxy = null;

response = req.GetResponse() as HttpWebResponse;
ret = (response.StatusCode == HttpStatusCode.OK);

Answer 1

Попробуйте изменить максимальное количество соединений в управлении соединениями.

Вот как вы это делаете:

<configuration>
  <system.net>
    <connectionManagement>
      <add address = "http://www.contoso.com" maxconnection = "4" />
      <add address = "*" maxconnection = "2" />
    </connectionManagement>
  </system.net>
</configuration>

ссылка