Как регистрировать сообщения журнала Stackdriver, связанные с идентификатором трассировки, используя стандартный вывод Go 1.11 - PullRequest
3 голосов
/ 17 марта 2019

Я использую стандартную среду Google App Engine со средой выполнения Go 1.11.Документация для Go 1.11 гласит: «Пишите свои журналы приложений, используя stdout для вывода и stderr для ошибок».Руководство по переходу с Go 1.9 также предлагает не вызывать библиотеку Google Cloud Logging напрямую, а вместо этого регистрироваться через стандартный вывод.https://cloud.google.com/appengine/docs/standard/go111/writing-application-logs

Имея это в виду, я написал небольшую HTTP-службу (код ниже) для эксперимента по регистрации в Stackdriver с использованием вывода JSON в stdout.

Когда я печатаю обычные текстовые сообщения, они отображаются, как и ожидалось, на панели просмотра журналов в разделе textPayload.Когда я передаю строку JSON, они появляются под jsonPayload.Пока все хорошо.

Итак, я добавил поле severity в строку вывода, и средство просмотра журналов Stackdriver успешно классифицирует сообщение в соответствии с уровневым ВНИМАНИЕМ, ПРЕДУПРЕЖДЕНИЕМ и т. Д. https://cloud.google.com/logging/docs/reference/v2/rest/v2/LogEntry

В документах говорится, что для установки идентификатора trace необходимо сопоставить записи журнала с журналом исходных запросов.Идентификатор трассировки извлекается из заголовка X-Cloud-Trace-Context, установленного контейнером.

Имитируйте его локально, используя curl -v -H 'X-Cloud-Trace-Context: 1ad1e4f50427b51eadc9b36064d40cc2/8196282844182683029;o=1' http://localhost:8080/

Однако это не приводит к тому, что сообщения передаются по запросу, новместо этого свойство trace появляется в объекте jsonPayload в журналах.(См. Ниже).

Обратите внимание, что severity было интерпретировано как ожидалось и не отображается в jsonPayload.Я ожидал, что то же самое произойдет для trace, но вместо этого оно кажется необработанным.

Как можно получить вложенные сообщения в исходном сообщении журнала запросов?(Это должно быть сделано с использованием stdout на Go 1.11, поскольку я не хочу регистрироваться напрямую с помощью пакета регистрации в Google Cloud).

Что именно GAE делает для анализа потока stdout из моего запущенного процесса?(В руководстве по установке виртуальных машин на GCE есть кое-что об установке программы агента, которая будет действовать в качестве канала для ведения журнала Stackdriver - это то, что было установлено GAE?)

Файл app.yaml выглядит следующим образом:

runtime: go111

handlers:
- url: /.*
  script: auto



package main

import (
    "fmt"
    "log"
    "net/http"
    "os"
    "strings"
)

var projectID = "glowing-market-234808"

func parseXCloudTraceContext(t string) (traceID, spanID, traceTrue string) {
    slash := strings.Index(t, "/")
    semi := strings.Index(t, ";")
    equal := strings.Index(t, "=")
    return t[0:slash], t[slash+1 : semi], t[equal+1:]
}

func sayHello(w http.ResponseWriter, r *http.Request) {
    xTrace := r.Header.Get("X-Cloud-Trace-Context")
    traceID, spanID, _ := parseXCloudTraceContext(xTrace)
    trace := fmt.Sprintf("projects/%s/traces/%s", projectID, traceID)

    warning := fmt.Sprintf(`{"trace":"%s","spanId":"%s", "severity":"WARNING","name":"Andy","age":45}`, trace, spanID)
    fmt.Fprintf(os.Stdout, "%s\n", warning)

    message := "Hello"
    w.Write([]byte(message))
}

func main() {
    http.HandleFunc("/", sayHello)
    port := os.Getenv("PORT")
    if port == "" {
        port = "8080"
    }
    log.Fatal(http.ListenAndServe(fmt.Sprintf(":%s", port), nil))
}

Вывод, отображаемый в окне просмотра журнала:

...,
jsonPayload: {
  age:  45   
  name:  "Andy"   
  spanId:  "13076979521824861986"   
  trace:  "projects/glowing-market-234808/traces/e880a38fb5f726216f94548a76a6e474"   
},
severity:  "WARNING",
...

1 Ответ

2 голосов
/ 17 марта 2019

Я решил эту проблему, настроив программу для использования logging.googleapis.com/trace вместо trace и logging.googleapis.com/spanId вместо spanId.

    warning := fmt.Sprintf(`{"logging.googleapis.com/trace":"%s","logging.googleapis.com/spanId":"%s", "severity":"WARNING","name":"Andy","age":45}`, trace, spanID)
    fmt.Fprintf(os.Stdout, "%s\n", warning)

Кажется, что GAE использует ведение журналаагент google-fluentd (измененная версия сборщика данных журнала fluentd.)

Полное объяснение см. по этой ссылке.https://cloud.google.com/logging/docs/agent/configuration#special-fields

[обновление] 25 июня 2019 года. Я написал плагин Logrus, который поможет обрабатывать записи журнала по HTTP-запросу.Это доступно под на GitHub https://github.com/andyfusniak/stackdriver-gae-logrus-plugin.

...