Go's sync.WaitGroup потерял один из ответов - PullRequest
Новая
       54

Go's sync.WaitGroup потерял один из ответов

0 голосов
/ 11 июня 2018

Я пытаюсь посылать http запросы последовательно, добавляя time.Sleep в goroutine самостоятельно.

Однако, всегда теряется один ответ на sync.WaitGroup, например, следующий клиент go отправил5 запросов на мой веб-сервер, но только 4 из 5 полученных ответов: 

Sending http://localhost:9001/?id=1, at 2018-06-11 17:11:56.424086867 +0800 CST m=+0.000949479
Sending http://localhost:9001/?id=2, at 2018-06-11 17:11:57.426178028 +0800 CST m=+1.003040640
GOT id: 2 sleeping .... 0.347917120258,  at: 2018-06-11 17:11:57.776187964 +0800 CST m=+1.353050576
GOT id: 1 sleeping .... 1.63133622383,  at: 2018-06-11 17:11:58.059441646 +0800 CST m=+1.636304258
Sending http://localhost:9001/?id=3, at 2018-06-11 17:11:58.42641506 +0800 CST m=+2.003277672
GOT id: 3 sleeping .... 0.959551004983,  at: 2018-06-11 17:11:59.392013618 +0800 CST m=+2.968876230
Sending http://localhost:9001/?id=4, at 2018-06-11 17:11:59.428900219 +0800 CST m=+3.005762831
GOT id: 4 sleeping .... 0.0479890727854,  at: 2018-06-11 17:11:59.479683953 +0800 CST m=+3.056546565
Sending http://localhost:9001/?id=5, at 2018-06-11 17:12:00.428293512 +0800 CST m=+4.005156124

Вот код клиента Go 

package main

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "sync"
    "time"
)

func main() {
    urls := []string{
      "http://localhost:9001/?id=1",
      "http://localhost:9001/?id=2",
      "http://localhost:9001/?id=3",
      "http://localhost:9001/?id=4",
      "http://localhost:9001/?id=5",
    }
    jsonResponses := make(chan string)

    var wg sync.WaitGroup

    wg.Add(len(urls))

    for i, url := range urls {
        tsleep := i
        go func(url string) {
            defer wg.Done()
            time.Sleep(time.Duration(tsleep) * time.Second)
            fmt.Println("Sending " + url + ", at " + time.Now().String())
            res, err := http.Get(url)
            if err != nil {
                log.Fatal(err)
            } else {
                defer res.Body.Close()
                body, err := ioutil.ReadAll(res.Body)
                if err != nil {
                    log.Fatal(err)
                } else {
                    t := time.Now()
                    jsonResponses <- string("GOT id: " + string(body) + ",  at: " + t.String())
                }
            }
        }(url)
    }

    go func() {
        for response := range jsonResponses {
            fmt.Println(response)
        }
    }()

    wg.Wait()
}

С моим тестированием кода веб-сервера python tornado 

import tornado.ioloop
import tornado.web
import random
import tornado.gen

class DefaultHandler(tornado.web.RequestHandler):
    @tornado.web.asynchronous
    @tornado.gen.engine
    def get(self):
        id = self.get_query_argument("id", "1")
        sleepy = 2.0 * (random.random())
        self.write(id + " sleeping .... " + str(sleepy))
        yield tornado.gen.sleep(sleepy)
        self.finish()


def make_app():
    return tornado.web.Application([
        (r"/", DefaultHandler),
    ])

if __name__ == "__main__":
    app = make_app()
    app.listen(9001)
    tornado.ioloop.IOLoop.current().start()

1 Ответ

0 голосов
/ 11 июня 2018

wg.Wait() будет только ждать, пока все процедуры, выполняющие вызовы HTTP, будут выполнены, он не будет ждать завершения процедуры, которая печатает результаты.И когда все HTTP-вызовы выполнены (и их результаты отправлены по каналу), wg.Wait() может вернуться, и ваша функция main() завершится.И этим ваше приложение заканчивается.Он не будет ждать окончания независимой параллельной распечатки результатов.

Чтобы ваше приложение тоже ожидало этого, используйте 2-й WaitGroup или другой способ синхронизации.И не забудьте закрыть канал jsonResponses, как только все вызовы HTTP будут завершены, так как это приведет к завершению распечатки (после того, как все значения будут получены до его закрытия): 

var wg2 sync.WaitGroup
wg2.Add(1)
go func() {
    defer wg2.Done()
    for response := range jsonResponses {
        fmt.Println(response)
    }
}()

wg.Wait()

// At this point HTTP calls are done.
// Close jsonResponses, signalling no more data will come:
close(jsonResponses)
wg2.Wait()

Что происходитвот что когда wg.Wait() возвращается, мы знаем, что все HTTP-вызовы и их результаты завершены.Мы можем закрыть jsonResponses здесь.И цикл for range в процедуре печати правильно завершится, как только будут получены все значения, отправленные до закрытия канала.И, наконец, он будет вызывать wg2.Done(), поэтому вызов wg2.Wait() в main может вернуться, и ваша программа завершится.

...