Поток данных рабочего конвейера
Конвейер потока данных работает нормально. Но он не может видеть журналы для каждого шага и добавленного элемента и предполагаемого размера. Использование Python SDK для Apache Beam на GCP.
Необходимо выяснить время, затрачиваемое на каждом этапе конвейера, который
1.PubSub to Bigquery
2.Пабсуб в хранилище данных
Пожалуйста, дайте мне знать, что нужно сделать, чтобы получить метрики времени для каждого шага.