Лучшие практики для обработки ошибок в конвейерах GCP Dataflow

Question

У меня запущена линия данных GCP, и мне интересно, как лучше всего обрабатывать ошибки. Конвейер выглядит следующим образом:

read_from_pubsub --> bussiness_logic_ParDo() --> write_to_bigquery

• Во время тестирования я заметил, что ParDo застрял . Хотя мне удалось решить проблему, но я заметил, что это застряло в моем конвейере, так какой же должен быть лучший подход для решения этой проблемы?
• Что должна делать моя функция ParDo в случае сбоя бизнес-логики c? Я не хочу писать в big_query частичные данные.

Не могу вспомнить ни одного другого сценария ошибки ios.

Answer 1

Я бы порекомендовал шаблон мертвых букв для обработки неисправимых ошибок в бизнес-логике c. Что касается прерывания застрявших записей, вы можете попробовать что-то вроде fun c -timeout , но это может быть дорогим для каждого элемента.