Конвейер потока данных - «Обработка застряла на шаге <STEP_NAME> как минимум <TIME>без вывода или завершения в состоянии завершена…»

Question

Поскольку мне не разрешено задавать мой вопрос в той же теме, где у другого человека есть такая же проблема (но не с использованием шаблона), я создаю эту новую тему.

Проблема: я создаюзадание потока данных из шаблона в gcp для загрузки данных из pub / sub в BQ.Это работает нормально, пока работа не выполняется.Работа «застревает» и ничего не записывает в BQ.

Я не могу сделать так много, потому что не могу выбрать версию луча в шаблоне.Это ошибка:

Processing stuck in step WriteSuccessfulRecords/StreamingInserts/StreamingWriteTables/StreamingWrite for at least 01h00m00s without outputting or completing in state finish
  at sun.misc.Unsafe.park(Native Method)
  at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175)
  at java.util.concurrent.FutureTask.awaitDone(FutureTask.java:429)
  at java.util.concurrent.FutureTask.get(FutureTask.java:191)
  at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:803)
  at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServicesImpl$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:867)
  at org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.flushRows(StreamingWriteFn.java:140)
  at org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn.finishBundle(StreamingWriteFn.java:112)
  at org.apache.beam.sdk.io.gcp.bigquery.StreamingWriteFn$DoFnInvoker.invokeFinishBundle(Unknown Source)

Есть идеи, как заставить это работать?

Answer 1

У меня была такая же проблема раньше. Проблема заключалась в том, что я использовал NestedValueProviders для оценки темы / подписки Pub / Sub, и это не поддерживается в случае шаблонных конвейеров.