Потоковые конвейеры Google Cloud Dataflow зависают примерно через 25 дней

Question

Мы запускаем несколько потоковых конвейеров Dataflow, которые всегда в конечном итоге зависают и должны быть перезапущены примерно через 25 дней работы.

• Кто-нибудь еще видел это?

• Существует ли какое-то максимальное время, в течение которого конвейер может работать?

• Существуют ли рекомендуемые рекомендации по перезапуску потоковых заданий с более частой каденцией, даже если нет изменений кода (т. Е. Следует ли перезапускать конвейер каждые 2 недели? 1 неделя?)?

Answer 1

То же самое происходит и здесь.У нас была работа с потоком данных около 20 дней назад, она получала данные из pubsub, что привело к потере данных у одного из наших клиентов.

Вчера мы перезагрузили работу с потоком данных, и она снова застряла.Мы запускаем несколько копий этой работы в нескольких проектах клиентов, все остальные копии работают нормально, что, кажется, указывает на наличие некоторой ошибки в потоке данных gcp.

Это задание потока данных выполняется в us-east1 с Apache Beam SDK для Java 2.6.0

Эта проблема, похоже, связана с https://status.cloud.google.com/incident/cloud-dataflow/19001

Есть идеикак исправить зависание?

С уважением