Наилучшим способом сбора метрик из потока данных является использование Мониторинг Stackdriver , который позволяет получить доступ к таким метрикам задания потока данных, как статус задания, количество элементов, системное отставание (для потоковых заданий) и счетчики пользователей из приборная панель Stackdriver. Дополнительным преимуществом Stackdriver является возможность оповещения, которая будет уведомлять вас о различных условиях, таких как длительная задержка системы потоковой передачи или сбой заданий.
Вот удобный список метрик, доступных для потока данных, например: job/is_failed - легко настроить оповещения о неудачных заданиях.
Если вы предпочитаете графический интерфейс для мониторинга ваших метрик, ознакомьтесь с этим сообщением в блоге .
Пожалуйста, знать, что продукт находится в бета-состоянии. Я надеюсь, что вы найдете вышеупомянутую информацию полезной.