Слишком много открытых файлов / Нет такой ошибки хоста при запуске программы go, которая делает параллельные запросы

Question

У меня есть программа golang, которая должна вызывать API с различными полезными нагрузками, веб-приложение представляет собой приложение мастера удаления, работающее на локальном хосте, а программа go ниже

package main

import (
"bufio"
"encoding/json"
"log"
"net"
"net/http"
"os"
"strings"
"time"
)

type Data struct {
PersonnelId  string `json:"personnel_id"`
DepartmentId string `json:"department_id"`
}

type PersonnelEvent struct {
EventType string `json:"event_type"`
Data      `json:"data"`
}

const (
maxIdleConnections        = 20
maxIdleConnectionsPerHost = 20
timeout                   = time.Duration(5 * time.Second)
)

var transport = http.Transport{
Dial:                dialTimeout,
MaxIdleConns:        maxIdleConnections,
MaxIdleConnsPerHost: 20,
}

var client = &http.Client{
Transport: &transport,
}

func dialTimeout(network, addr string) (net.Conn, error) {
return net.DialTimeout(network, addr, timeout)
}

func makeRequest(payload string) {
req, _ := http.NewRequest("POST", "http://localhost:9350/v1/provider- 
location-personnel/index", strings.NewReader(payload))
req.Header.Set("X-App-Token", "TESTTOKEN1")
req.Header.Set("Content-Type", "application/json")
resp, err := client.Do(req)
if err != nil {
    log.Println("Api invocation returned an error ", err)
} else {
    defer resp.Body.Close()
    log.Println(resp.Body)
}
}

func indexPersonnels(personnelPayloads []PersonnelEvent) {
for _, personnelEvent := range personnelPayloads {
    payload, err := json.Marshal(personnelEvent)
    if err != nil {
        log.Println("Error while marshalling payload ", err)
    }
    log.Println(string(payload))
    // go makeRequest(string(payload))
  }
}

func main() {
ch := make(chan PersonnelEvent)
for i := 0; i < 20; i++ {
    go func() {
        for personnelEvent := range ch {
            payload, err := json.Marshal(personnelEvent)
            if err != nil {
                log.Println("Error while marshalling payload", err)
            }
            go makeRequest(string(payload))
            //log.Println("Payload ", string(payload))
        }
    }()
}

file, err := os.Open("/Users/tmp/Desktop/personnels.txt")
defer file.Close()
if err != nil {
    log.Fatalf("Error opening personnel id file %v", err)
}
scanner := bufio.NewScanner(file)
for scanner.Scan() {
    go func() {
        ch <- PersonnelEvent{EventType: "provider_location_department_personnel_linked", Data: Data{DepartmentId: "2a8d9687-aea8-4a2c-bc08-c64d7716d973", PersonnelId: scanner.Text()}}
    }()
}

}

Он читает некоторые идентификаторы из файла, а затем создает из него полезную нагрузку и вызывает почтовый запрос на веб-сервере, но когда я запускаю программу, она выдает слишком много ошибок открытого файла / таких ошибок хоста нет, я чувствую, что программа слишком параллельная, как заставить ее работать изящно?

Answer 1

внутри ваших 20 процедур, запущенных в main (), «go makeRequest (...)» снова создал одну программу для каждого события. Вам не нужно начинать дополнительные мероприятия там. Кроме того, я думаю, вам не нужно запускать горутин в цикле сканирования. достаточно буферизованного канала, потому что узкое место должно быть при выполнении http-запросов.

Answer 2

Вы можете использовать буферизованный канал, A.K.A. подсчет семафора , чтобы ограничить параллелизм.

// The capacity of the buffered channel is 10,
// which means you can have 10 goroutines to 
// run the makeRequest function in parallel.
var tokens = make(chan struct{}, 10)

func makeRequest(payload string) {
    tokens <- struct{}{}            // acquire the token or block here
    defer func() { <-tokens }()     // release the token to awake another goroutine
    // other code...
}