Как установить mutex и sync.waitgroup в рекурсивной функции? - PullRequest
Новая
       47

Как установить mutex и sync.waitgroup в рекурсивной функции?

0 голосов
/ 14 января 2019

Я написал небольшой код на Go, чтобы разобрать сайт и получить все ссылки и их Http Response. Мой код работает хорошо, но я хотел бы добавить GoRoutines, чтобы увидеть, как он работает в рекурсивной функции. 

package main
import (
    "fmt"
    "io/ioutil"
    "net/http"
    "regexp"
    "strings"
    "sync"
)

type linkWeb struct {
    Link string
    Code string
}

func parseLink(siteName string, arrayError []linkWeb) (arrayResult []linkWeb) {
    var mutex = &sync.Mutex{}
    var wg = sync.WaitGroup{}
    var baseSite = siteName
    site, _ := http.Get(baseSite)
    html, _ := ioutil.ReadAll(site.Body)
    errorCodeHTTP := site.Status
    mutex.Lock()
    errorArray := arrayError
    mutex.Unlock()
    allJs := regexp.MustCompile(`src="[^"]*"+`)
    allA := regexp.MustCompile(`(.)*href="[^"]*"+`)
    var resultsJs = allJs.FindAllStringSubmatch(string(html), -1)
    var resultUrls = allA.FindAllStringSubmatch(string(html), -1)
    resultsJs = append(resultsJs, resultUrls...)
    for _, linkJs := range resultsJs {
        wg.Add(1)
        go func() {
            re := regexp.MustCompile(`(href|src)(.)*="[^"]*"`)
            var execReg = re.FindAllStringSubmatch(linkJs[0], -1)
            link := regexp.MustCompile(`"(.)*"`)
            var linkCenter = link.FindAllStringSubmatch(execReg[0][0], -1)
            resultrmvbefore := strings.TrimPrefix(linkCenter[0][0], "\"")
            resultrmvafter := strings.TrimSuffix(resultrmvbefore, "\"")
            var already = 0
            mutex.Lock()
            for _, itemURL := range errorArray {
                if resultrmvafter == itemURL.Link {
                    already = 1
                }
            }
            mutex.Unlock()
            if already == 0{
                var actualState = linkWeb{resultrmvafter, "-> " + errorCodeHTTP + "\r\n"}
                mutex.Lock()
                errorArray = append(errorArray, actualState)
                mutex.Unlock()
                return
            } else {
                if already == 0 {
                    var actualState = linkWeb{resultrmvafter, "-> " + errorCodeHTTP + "\r\n"}
                    mutex.Lock()
                    errorArray = append(errorArray, actualState)
                    var arrayReturn = errorArray
                    mutex.Unlock()
                    parseLink(resultrmvafter, arrayReturn)
                }
            }
            wg.Done()
        }()
    }
    wg.Wait()
    return
}
func main() {
    var arrayError []linkWeb
    var resultArray = parseLink("https://www.golem.ai/", arrayError)
}

Я просто не знаю, нужно ли передавать мою syncGroup в качестве параметра функции, потому что я сделал тест и не вижу никаких изменений. Я читаю документы, но не знаю, связана ли моя проблема с моей рекурсивной функцией или чем-то, чего я не понимаю с Голангом. Большое спасибо за вашу помощь:)

1 Ответ

0 голосов
/ 14 января 2019

Нет ничего особенного в рекурсии w.r.t. мьютексы, группы ожидания или другие объекты. Это так же, как любой вызов функции. Поскольку мьютексы являются изменяемыми, вы должны быть осторожны, чтобы передавать их указателями - и это должно быть так. Для отладки часто полезно напечатать адрес объекта в вызывающей и вызываемой сторонах и убедиться, что это один и тот же объект.

Чтобы получить более конкретную помощь с вашим фрагментом кода, я бы посоветовал вам свести его к чему-то гораздо более простому, демонстрирующему вашу проблему: https://stackoverflow.com/help/mcve

При быстром взгляде на ваш код каждый вызов parseLink создает новый мьютекс и группу ожидания. Это то, что вы намеревались?

...