Получение задания потоковой передачи данных GCP Обработка застряла на шаге s03 как минимум на 05m00 без вывода или завершения в состоянии завершения

Question

Я получаю эту ошибку ежедневно в моем python задании потока данных.

Я использую Apache луч 2.15 (также как и с 2.17) Python 3.7.

2020-01-28 17: 08: 53.801 GMT Сообщение об ошибке от работника: Обработка застряла на шаге s03 не менее чем на 10 мсек без вывода или завершения в состоянии fini sh в sun.mis c .Unsafe. парк (собственный метод) в java .util.concurrent.locks.LockSupport.park (LockSupport. java: 175) в java .util.concurrent.CompletableFuture $ Signaller.block (CompletableFuture. java: 1693) ) в java .util.concurrent.ForkJoinPool.managedBlock (ForkJoinPool. java: 3323) в java .util.concurrent.CompletableFuture.waitingGet (CompletableFuture. java: 1729) в java .util. concurrent.CompletableFuture.get (CompletableFuture. java: 1895) в орг. apache .beam.sdk.util.MoreFutures.get (MoreFutures. java: 57) в орг. apache .beam.runners. dataflow.worker.fn.control.RegisterAndProcessBundleOperation.fini sh (RegisterAndProcessBundleOperation. java: 285) в org. apache .beam.runners.dataflow.worke r.util.common.worker.MapTaskExecutor.execute (MapTaskExecutor. java: 85) в орг. ) в орг. apache .beam.runners.dataflow.worker.StreamingDataflowWorker.process (StreamingDataflowWorker. java: 1295) в орг. java: 149) в орг. 1046 *: 1142) в java .util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor. java: 617) в java .lang.Thread.run (поток. java: 745)

Answer 1

Полезно отметить, что сообщения Processing stuck не указывают на то, что ваша работа застряла. Скорее, они указывают на то, что работник потока данных выполнял одну операцию в течение более 5 минут.

Если вы видите это сообщение время от времени, но ваш конвейер продолжает в целом прогрессировать, то у вас ничего нет беспокоиться о.

Если вы видите это сообщение постоянно, и ваш конвейер вообще перестает делать какой-либо прогресс, то это признак фактического залипания.