Пользовательские показатели потока данных в Go SDK не отображаются в Мониторинге - PullRequest
Новая
       4

Пользовательские показатели потока данных в Go SDK не отображаются в Мониторинге

0 голосов
/ 04 апреля 2020

Мы пытаемся предоставить некоторые метрики из наших потоков данных и надеемся, что они будут доступны в метриках gcloud, но они появляются в журнале gcloud только как часть jsonPayload.message (большой текстовый блок).

Например: 

beam.NewDistribution("my_dataflow_name", "processingCount")
beam.NewCounter("my_dataflow_name", "total")

появится в jsonPayload.message (с кучей других вещей): 

"RESP: instruction_id: "-3425"
process_bundle_progress: <
  metrics: <
    ptransforms: <
      key: ""
      value: <
        user: <
          metric_name: <
            namespace: "my_dataflow_name"
            name: "processingCount"
          >
          distribution_data: <
            count: 1053
            sum: 567
            max: 2
          >
        >
         user: <
          metric_name: <
            namespace: "my_dataflow_name"
            name: "total"
          >
          distribution_data: <
            count: 1053
            sum: 155992
            min: 1
            max: 644
          >
        >
        ...

Мы что-то упустили?

За документы по потоку данных в Google Cloud :

Любой метри c, который вы определили в своем Apache Потоковом конвейере, сообщается Потоком данных в Мониторинг как пользовательский метри c. ... Поток данных сообщает о постепенных обновлениях мониторинга примерно каждые 30 секунд. Все пользовательские метрики экспортируются как двойной тип данных, чтобы избежать конфликтов. Пользовательские метрики в потоке данных отображаются в мониторинге как custom.googleapis.com/dataflow/metric-name и ограничены 500 метриками на проект.

...