В качестве примера я пытаюсь определить в своем коде этап, ответственный за это сообщение журнала:
org.apache.beam.runners.dataflow.worker.StreamingDataflowWorker$KeyCommitTooLargeException: Commit request for stage P216 and key ...
..., сопоставив его с выводом:
gcloud dataflow jobs describe --full $JOB_ID --format json
Но в выходных данных этой команды имена стадий, по-видимому, имеют вид sXXX вместо PXXX, где X s - цифры.
Я также не могу отфильтровать журналы стека-драйверов по jsonPayload.stage="P216", потому что Я получаю только записи в журнале, где step_id равно "", а остальные поля в равной степени неинформативны.