Запись OpenTSDB в Bigtable с HTTP POST не работает (с использованием Kubernetes ( - PullRequest
0 голосов
/ 02 января 2019

Обновлено с дополнительной информацией

Я пытаюсь настроить OpenTSDB на Bigtable, следуя этому руководству: https://cloud.google.com/solutions/opentsdb-cloud-platform

Работает хорошо, все хорошо.

Теперь я пытался открыть службу opentsdb-write с помощью LoadBalancer (тип).Кажется, тоже хорошо работает.

Примечание: с помощью балансировщика нагрузки GCP.

Затем я использую бессонницу для отправки POST на конечную точку ./api/put - и я получаю 204как и ожидалось (также использование ?details не показывает ошибок, как и ?sync) (см. http://opentsdb.net/docs/build/html/api_http/put.html)

При запросе данных (GET на ./api/query) я не вижуданные (тот же эффект в графане). Кроме того, я не вижу никаких данных, добавленных в таблицу tsdb в bigtable.

Мой вывод: данные не записываются в Bigtable, хотя tsd возвращает 204.

Интересный факт: метрика создана (я вижу это в Bigtable (cbt read tsdb-uid), а также автозаполнение в opentsdb-ui (и графане) сразу же подбирает метрику.нет данных.

Когда я использую Heapster-Example, как в учебном пособии, все работает.

И интересная часть (для меня):

ПРИМЕЧАНИЕ: это случилосьнесколько раз, с большой задержкой или после остановки / перезапуска кластера kubernetes, эти данные появлялись. Внезапно. Я не могсейчас производят.

Я, должно быть, упускаю что-то действительно простое.

Примечание: я не вижу никаких ошибок в журналах (stackdriver) и пользовательском интерфейсе (opentsdb UI), ни в bigtable, ни в Kubernetes, ни в чем-либо, что я могу придумать.

Примечание:Конфиги, которые я использую, связаны с учебником.

Используемый мной пут (см. 204):

enter image description here

иесли я добавлю ?details, это будет означать успех:

enter image description here

1 Ответ

0 голосов
/ 10 января 2019

Я предполагаю, что это относится к частоте сброса opentsdb.Когда кластер tsdb отключается, происходит автоматическая очистка.Я не уверен на 100%, но я думаю, что конфигурация tsd.storage.flush_interval управляет этим процессом.

Вы можете связаться с командой, которая поддерживает библиотеки, через группу google-cloud-bigtable-обсуждения, которую вы можетеперейдите со страницы поддержки Cloud Bigtable для более подробных обсуждений.

Как финансовая компания, мы (Google) активно обновляем https://cloud.google.com/solutions/opentsdb-cloud-platform до последних версий OpenTSDB иAsyncBigtable, который должен улучшить производительность при больших объемах.

...