Вы можете просмотреть все журналы шагов для шага конвейера в журнале Stackdriver, щелкнув ссылку Stackdriver в правой части панели журналов.
Ниже приведена сводка различных типов журналов, доступных для просмотра вМониторинг → Страница журналов:
- job-message Журналы содержат сообщения на уровне задания, которые генерируют различные компоненты Cloud Dataflow. Примеры включают конфигурацию с автоматическим масштабированием, когда работники запускаются или выключаются, ход выполнения шага задания и ошибки задания. Ошибки рабочего уровня, возникающие из-за сбоя пользовательского кода и присутствующие в рабочих журналах, также распространяются вплоть до журналов рабочих сообщений.
- рабочий журналы создаются работниками Cloud Dataflow. Работники выполняют большую часть конвейерной работы (например, применяя ваши данные ParDos к данным). Журналы рабочих содержат сообщения, зарегистрированные вашим кодом и облачным потоком данных.
- рабочий-запуск журналы присутствуют в большинстве заданий облачного потока данных и могут захватывать сообщения, связанные с процессом запуска. Процесс запуска включает в себя загрузку банок задания из облачного хранилища, а затем запуск рабочих. Если возникла проблема с запуском рабочих, эти журналы являются хорошим местом для поиска.
- shuffler журналы содержат сообщения от рабочих, которые объединяют результаты параллельных конвейерных операций.
- Журналы docker и k ubelet содержат сообщения, относящиеся к этим общедоступным технологиям, которые используются на рабочих облачных потоков данных.
Как упоминалось в предыдущем комментарии, вы должны отфильтроватьпо идентификатору конвейера участник задачи будет находиться в записи AuthenticationEmail.