Как обработать тайм-аут HttpWebRequest в F # Async.Parallel - PullRequest
Новая
       31

Как обработать тайм-аут HttpWebRequest в F # Async.Parallel

8 голосов
/ 19 апреля 2011

Я потратил много времени на то, чтобы понять, почему этот код «зависал» для некоторых URL: 

let getImage (imageUrl:string) =
    async {
        try
            let req = WebRequest.Create(imageUrl) :?> HttpWebRequest
            req.UserAgent <- "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)";
            req.Method <- "GET";
            req.AllowAutoRedirect <- true;
            req.MaximumAutomaticRedirections <- 4;
            req.Timeout <- 3000; //HAHAHA, nice try!
            let! response1 = req.AsyncGetResponse()
            let response = response1 :?> HttpWebResponse
            use stream = response.GetResponseStream()
            let ms = new MemoryStream()
            let bytesRead = ref 1
            let buffer = Array.create 0x1000 0uy
            while !bytesRead > 0 do
                bytesRead := stream.Read(buffer, 0, buffer.Length)
                ms.Write(buffer, 0, !bytesRead)
            return SuccessfulDownload(imageUrl, ms.ToArray())

        with
            ex -> return FailedDownload(imageUrl, ex.Message)
    }

После того, как удалось отследить, какой из 3000 URL висел, я узнал, что AsyncGetResponse не замечает HttpWebRequest.Timeout. Я провел небольшой поиск, который выдает предложения об обёртывании асинхронного запроса в потоке с таймером. Это отлично подходит для C #, но если я запускаю 3000 из них через Async.Parallel |> Async.RunSynchronously, как лучше всего решить эту проблему?

1 Ответ

7 голосов
/ 19 апреля 2011

Я только приблизительно проверил это, но он должен иметь правильное поведение: 

type System.Net.WebRequest with
  member req.AsyncGetResponseWithTimeout () =
    let impl = async {
      let iar = req.BeginGetResponse (null, null)
      let! success = Async.AwaitIAsyncResult (iar, req.Timeout)
      return if success then req.EndGetResponse iar
             else req.Abort ()
                  raise (System.Net.WebException "The operation has timed out") }
    Async.TryCancelled (impl, fun _ -> req.Abort ())

В вашем коде, вызовите req.AsyncGetResponseWithTimeout() вместо req.AsyncGetResponse().

...