runtime._ExternalCode Загрузка процессора слишком высока, до 80% - PullRequest
Новая
       33

runtime._ExternalCode Загрузка процессора слишком высока, до 80%

0 голосов
/ 07 ноября 2018

Я написал обработчик tcp в golang, около 300 соединений в секунду. Не было никаких проблем с программой, только что выпущенной в производство. Но после 10 дней работы я вижу, что загрузка процессора составляет до 100%. Я использовал инструмент golang "go tool pprof", чтобы получить информацию об использовании процессора: 

File: gateway-w
Type: cpu
Time: Nov 7, 2018 at 5:38pm (CST)
Duration: 30.14s, Total samples = 30.13s (  100%)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof) top
Showing nodes accounting for 27.42s, 91.01% of 30.13s total
Dropped 95 nodes (cum <= 0.15s)
Showing top 10 nodes out of 28
      flat  flat%   sum%        cum   cum%
    24.69s 81.94% 81.94%     24.69s 81.94%  runtime._ExternalCode /usr/local/go/src/runtime/proc.go
     0.57s  1.89% 83.84%      0.57s  1.89%  runtime.lock /usr/local/go/src/runtime/lock_futex.go
     0.56s  1.86% 85.70%      0.56s  1.86%  runtime.unlock /usr/local/go/src/runtime/lock_futex.go
     0.26s  0.86% 86.56%      5.37s 17.82%  gateway-w/connect/connect-tcp.tcpStartSession /go/src/gateway-w/connect/connect-tcp/tcp_framework.go
     0.25s  0.83% 87.39%      1.67s  5.54%  net.(*conn).Read /usr/local/go/src/net/net.go
     0.24s   0.8% 88.18%      1.41s  4.68%  net.(*netFD).Read /usr/local/go/src/net/fd_unix.go
     0.23s  0.76% 88.95%      0.23s  0.76%  runtime.nanotime /usr/local/go/src/runtime/sys_linux_amd64.s
     0.22s  0.73% 89.68%      0.22s  0.73%  internal/poll.(*fdMutex).incref /usr/local/go/src/internal/poll/fd_mutex.go
     0.21s   0.7% 90.38%      0.21s   0.7%  internal/poll.(*fdMutex).rwunlock /usr/local/go/src/internal/poll/fd_mutex.go
     0.19s  0.63% 91.01%      0.19s  0.63%  internal/poll.(*fdMutex).rwlock /usr/local/go/src/internal/poll/fd_mutex.go

мой код tcpHandle выглядит так: 

func tcpStartSession(conn net.Conn) {

    defer closeTcp(conn)

    var (last, n int
        err     error
        buff    []byte
    )

    last, n, err, buff =
        0, 0, nil,
        make([]byte, MAX_PACKET_LEN)

    for {
        // set read timeout
        conn.SetReadDeadline(time.Now().Add(time.Duration(tcpTimeOutSec) * time.Second))
        n, err = conn.Read(buff[last:])

        if err != nil {
            log.Info("tcp read error maybe timeout , ", err)
            break
        }
        if n == 0 {
            log.Debug("empty packet, continue")
            continue
        }
        log.Debug("read bytes ", n)

        log.Info("get a raw package：", hex.EncodeToString(buff[:last+n]))
        last += n
        ...

        for {
            if last == 0 {
                break
            }

            ret, err := protoHandle.IsWhole(buff[:last])
            if err != nil {
                log.Warn("proto handle check iswhole error", err)
            }

            log.Debug("rest buffer len = %d\n", ret)
            if ret < 0 {
                //wait for more tcp fragment.
                break
            }
            packetLen := last - ret
            packetBuf := make([]byte, packetLen)
            copy(packetBuf, buff[:packetLen])

            last = ret

            if last > 0 {
                copy(buff, buff[packetLen:packetLen+last])
            }

            ...

        }
    }
}

Я не могу понять, что означает runtime._ExternalCode. Это функция внутри Голанга.

Моя версия Голанга :go version go1.9.2 linux/amd64

моя программа работает на Docker 

my docker version is : 1.12.6

Я надеюсь, что кто-то может мне помочь. Большое спасибо 101

Я пытался обновить версию golang до 1.10.3. После пробега более полугода проблем не было. В последнее время возникла та же проблема, но я не изменил код программы. Я подозреваю, что есть проблема с этим кодом: 

conn.SetReadDeadline(time.Now().Add(time.Duration(tcpTimeOutSec) * time.Second))

Нужна ваша помощь, спасибо.

1 Ответ

0 голосов
/ 07 ноября 2018

Поскольку вы подтвердили, что ваша программа не построена с CGO_ENABLED = 0

Проблема (вероятно) в C go части программы. pprof не может профилировать внутри разделов библиотек C

Я считаю, что есть некоторые другие вещи, которые считаются "внешними", как время. Теперь в некоторых системах

...