Метрика пропускной способности Stackdriver для задания потоковой передачи Apache Beam

Question

У меня есть потоковое задание, реализованное поверх Apache Beam, который читает сообщения от Apache Kafka, обрабатывает их и выводит их в BigTable.

Я хотел бы получить показатели пропускной способности входа / выхода внутри этого заданият. е. сколько мсг / с читает задание и сколько мсг / с записывает.

Глядя на визуализацию графика, я вижу, что существует метрика пропускной способности, например, посмотрите на иллюстративное изображение ниже для демонстрации

Однако, глядя на документацию, она недоступна в Stackdriver.

Существует ли какое-либо существующее решение для получения этой метрики?

Answer 1

Мы собираемся опубликовать метрику пропускной способности в Stackdriver, но в настоящее время она не существует. Метрика ElementCount (element_count в Stackdriver) является единственной метрикой, доступной для этого пользовательского интерфейса или через Stackdriver, которую можно использовать для измерения пропускной способности. Если это отображается на графике, это должно быть некоторое вычисление по этой метрике. К сожалению, метрика экспортируется как метрика датчика в Stackdriver, поэтому ее нельзя интерпретировать как частоту в Stackdriver.

Небольшая вторичная точка. Поток данных фактически не экспортирует поток измерения метрики во внешние источники и из них. Метрические показатели ElementCount включаются только в коллекции с преобразованием. Но до тех пор, пока ваши преобразования чтения / записи в основном проходят сквозь, потока в / из соседней коллекции должно быть достаточно.