При выполнении конвейера Apache Beam я хотел бы обновить состояние конвейера в базе данных.
Я хочу сделать это, чтобы я мог сделать обзор в конце дня и увидетьсколько выполнений конвейера было полностью завершено, на каком этапе сейчас выполняется большинство конвейеров и т. д.
Каков наилучший способ получить эту информацию из API Apache Beam Java или Python API?