В пользовательском интерфейсе Dataflow Stackdriver вы правы, вы не можете просматривать показатели отдельных работников. Тем не менее, вы, безусловно, можете установить Панель инструментов Stackdriver , которая дает вам индивидуальные рабочие метрики для всего того, что вы упомянули. Ниже приведен пример панели инструментов, на которой отображаются показатели для ЦП, памяти, сети, операций чтения IOP и записи IOPS.
Поскольку имя задания Dataflow будет частью имени экземпляра GCE, здесь я отфильтровываю экземпляры GCE, отслеживаемые по интересующему меня имени задания. В этом случае мое задание Dataflow было названо «pubsub-to-». bigquery ", поэтому я отфильтровал до instance_name ~= pubsub-to-bigquery.*. Я сделал фильтр регулярных выражений, чтобы быть уверенным, что захватил любые имена заданий, которые могут быть дополнены дополнительными данными в будущих прогонах. Подобная настройка панели мониторинга может сообщить вам, когда вы действительно выиграете от использования твердотельных накопителей, большей пропускной способности сети и т. Д.
Также не забудьте проверить график задания потока данных в облачной консоли при поиске оптимизации вашего конвейера. Время перехода под именем шага может дать хорошее представление о том, какие пользовательские преобразования или dofns должны быть предназначены для оптимизации.