мой метод net / http post дает 100% использование процессора

Question

У меня есть веб-сервер с net / http и julienschmidt / httprouter.Я не знаю почему, но если я отправляю «большие» данные, например, сотни новых строк из <textarea>, мой сервер go умирает.

Я уже пытался использовать goroutine, чтобы исключить for _, value := range target изосновной поток и попробуйте увеличить ulimit, но, похоже, не работает код:

func CreateRoute(w http.ResponseWriter, r *http.Request, ps httprouter.Params) {
    r.ParseMultipartForm(0)

    Title, Caption, Target := r.Form["title"], r.Form["caption"], r.Form["target"]

    if len(Title) > 0 && len(Caption) > 0 && len(Target) > 0 {

        CampaignId := helper.Md5Gen(time.Now().String())

        target := strings.Split(Target[0], "\n")

        for _, value := range target {

            value = strings.Replace(value, "\r", "", -1)

            if len(value) > 6 {
                data := structs.CampaignTarget{
                    CampaignId: CampaignId,
                    PhoneNumber: value,
                    IsExecuted: false,
                    ExecutedBy: "",
                    IsSuccess: false,
                    SendAt: int64(0),
                    Username: LoggedUsername(w, r),
                }
                database, err := helper.DataDatabase()
                if err == nil {
                    database.C("xxx").Insert(&data)
                }
            }
        }

        SavedFileName := ""

        file, handler, err := r.FormFile("media")

        if err == nil {

            path := "/xxx/path/" + LoggedUsername(w, r)

            err := os.MkdirAll(path, os.ModePerm)
            if err != nil {
                http.Error(w, "Problem with folder creation", 500)
                return
            }

            defer file.Close()

            SavedFileName = fmt.Sprintf("%v-%v", helper.Md5Gen(time.Now().String()), handler.Filename)

            f, err := os.OpenFile(path+"/"+SavedFileName, os.O_WRONLY|os.O_CREATE, 0666)
            if err != nil {
                http.Error(w, "Failed to Write File", 500)
                return
            }
            defer f.Close()
            io.Copy(f, file)

        }

        data := structs.Campaign{
            ID: CampaignId,
            Title: Title[0],
            Caption: Caption[0],
            TotalTarget: len(target),
            Media: SavedFileName,
            Username: LoggedUsername(w, r),
            CreatedAt: time.Now().Unix(),
        }
        database, err := helper.DataDatabase()
        if err == nil {
            database.C("xx").Insert(&data)
        }
    }
}

Answer 1

Возможно, что разделение на новые строки, когда все содержимое строки, на которую нужно разделить, - это новые строки, является дорогостоящей операцией.

target := strings.Split(Target[0], "\n")

Если вы хотите разделить строки, рассмотрите возможность использования bufio.Scannerвместо этого

scanner := bufio.NewScanner(strings.NewReader("foo\nbar\nbaz"))
for scanner.Scan() {
    fmt.Println(scanner.Text())
}

Пример запуска

Это потому, что сканер переходит к следующему токену при вызове сканирования, тогда как strings.Split обрабатывает всю полезную нагрузку сразу.