Как я могу отладить ошибку потока данных, которая не создает журналы?

Question

Я пишу в пакетном конвейере Google Dataflow с использованием Python SDK, и я столкнулся с ошибкой конвейера, которая, по-видимому, не имеет журналов в Stackdriver. Ошибка возникает при работе beam.combiners.ToList() в наборе данных ~ 300 МБ.

Выходные данные Stackdriver:

Задание не выполнено из-за сбоя рабочего элемента 4 раза. Посмотрите в предыдущих записях журнала причины каждого из 4 сбоев. Для получения дополнительной информации см. https://cloud.google.com/dataflow/docs/guides/common-errors. Задание было выполнено на следующих работниках:

Однако я не могу найти журналов, объясняющих, почему это не удается. Я бегу python3 .6 и apache_beam == 2.19.0. Я также использую --experiments=shuffle_mode=service, что, я не уверен, связано.

Каковы мои дальнейшие шаги по отладке?

Answer 1

Я вижу, что вы уже пытались найти предыдущие записи в журналах, но мне было интересно, отфильтрованы ли вы по уровням ошибок и уровням, как рекомендовано в Задание не выполнено из-за сбоя рабочего элемента 4 раза ? В этой ссылке вы обнаружите, что может быть 4 подобных ошибки, которые могут быть причиной сбоя.

Кроме того, вы можете добавить отладочные сообщения, чтобы убедиться, что ваши шаги выполняются хорошо, см. Добавление сообщений журнала в ваш конвейер для получения дополнительной информации об этом.