Поток данных: потоковые ошибки RPC Windmill для потока - PullRequest
Новая
       53

Поток данных: потоковые ошибки RPC Windmill для потока

0 голосов
/ 04 ноября 2019

Мой поток данных луча пытается прочитать данные из GCS и записать данные в Pub / Sub.

Однако конвейер зависает со следующей ошибкой 

{
  job: "2019-11-04_03_53_38-5223486841492484115"   
  logger: "org.apache.beam.runners.dataflow.worker.windmill.GrpcWindmillServer"   
  message: "20 streaming Windmill RPC errors for a stream, last was: org.apache.beam.vendor.grpc.v1p21p0.io.grpc.StatusRuntimeException: ABORTED: The operation was aborted. with status Status{code=ABORTED, description=The operation was aborted., cause=null}"   
  thread: "36"   
  worker: "gcs-to-pubsub-job14-11040353-a72j-harness-xrg3"   
 }

Что является причиной этой ошибки? Как это исправить?

Конфигурация правила брандмауэра как 

gcloud compute firewall-rules create data-flow-test-firewall \
    --network dataflow-test \
    --action allow \
    --direction ingress \
    --target-tags dataflow \
    --source-tags dataflow \
    --priority 0 \
    --rules tcp:12345-12346

и параметры запуска потока данных 

-Dexec.mainClass=com.beam.test.beamPubSubV2 -Dexec.args="--project=pid  
--runner=DataflowRunner --stagingLocation=gs://bucket/stage/ 
--tempLocation=gs://bucket/temp/ --jobName=gcs-to-pubsub-job14 
--network=dataflow-test  --enableStreamingEngine --maxNumWorkers=15 
--autoscalingAlgorithm=THROUGHPUT_BASED" -Pdataflow-runner

Версия луча: 2.16.0

...