Сбой задания Google Cloud Dataprep с сообщением об ошибке

Question

У меня есть простые задания Dataprep, которые передают данные GCS в BQ. До сегодняшнего дня запланированные задания выполнялись нормально, но сегодня два задания не сработали, а два задания были выполнены успешно, занимая от получаса до часа. Я получаю сообщение об ошибке ниже:

java.lang.RuntimeException: Failed to create job with prefix beam_load_clouddataprepcmreportalllobmedia4505510bydataprepadmi_aef678fce2f441eaa9732418fc1a6485_2b57eddf335d0c0b09e3000a805a73d6_00001_00000, reached max retries: 3, last failed job:

Я снова выполнил ту же работу, она снова заняла много времени и завершилась неудачно, но на этот раз с другим сообщением:

Workflow failed. Causes: The Dataflow job appears to be stuck because no worker activity has been seen in the last 1h. Please check the worker logs in Stackdriver Logging. You can also get help with Cloud Dataflow at https://cloud.google.com/dataflow/support.

Любые указатели или направление для возможной причины! Также приветствуются ссылки или советы по устранению неисправностей для dataprep или задания потока данных.

Спасибо

Answer 1

Может быть много потенциальных причин, из-за которых задания могут застрять: временные проблемы, некоторые квоты / лимиты, изменение формата / размера данных или другая проблема с используемыми ресурсами. Я предлагаю начать устранение неполадок со стороны потока данных.

Вот несколько полезных ресурсов, которые могут помочь вам разобраться с наиболее распространенными ошибками задания и как их устранить:

• Устранение неполадок в конвейере
• Распространенные ошибки потока данных

Кроме того, вы можете проверить в системе отслеживания проблем Google Dataprep и Dataflow, чтобы узнать, не возникла ли проблема ранее сообщалось

• система отслеживания проблем для Dataprep
• система отслеживания проблем для потока данных

и вы также можно посмотреть на панель мониторинга состояния GCP, чтобы устранить распространенную проблему с некоторыми службами

• Панель мониторинга статуса облака Google

Наконец, если у вас есть GCP поддержку вы можете обратиться напрямую в поддержку. Если у вас нет поддержки, вы можете использовать средство отслеживания ошибок, чтобы создать новую проблему для Dataprep и сообщить о поведении, которое вы видите.