Сбой заданий потока данных: сбой при закрытии в случайном порядке: FAILED_PRECONDITION: сбой проверки предварительного условия - PullRequest
0 голосов
/ 15 октября 2018

Мои задания потока данных не выполняются со следующей ошибкой:

INFO:root:2018-10-15T18:55:37.417Z: JOB_MESSAGE_ERROR: Workflow failed. 
Causes: S17:fold2/Write/WriteImpl/WindowInto(WindowIntoFn)+write instances fold2/Write/WriteImpl/GroupByKey/Reify+write instances fold2/Write/WriteImpl/GroupByKey/Write failed., 
A work item was attempted 4 times without success. 
Each time the worker eventually lost contact with the service. The work item was attempted on: 
  yuri-nine-gag-recommender-10151140-3kmq-harness-mdgd,
  yuri-nine-gag-recommender-10151140-3kmq-harness-mdgd,
  yuri-nine-gag-recommender-10151140-3kmq-harness-41dd,
  yuri-nine-gag-recommender-10151140-3kmq-harness-mdgd

При копании в журналах отображается только одна ошибка:

An exception was raised when trying to execute the workitem 6479210647275353150 : 
Traceback (most recent call last): File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 642, in do_work work_executor.execute() 
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/executor.py", line 158, in execute op.finish() 
File "dataflow_worker/shuffle_operations.py", line 144, in dataflow_worker.shuffle_operations.ShuffleWriteOperation.finish def finish(self): 
File "dataflow_worker/shuffle_operations.py", line 145, in dataflow_worker.shuffle_operations.ShuffleWriteOperation.finish with self.scoped_finish_state: 
File "dataflow_worker/shuffle_operations.py", line 147, in dataflow_worker.shuffle_operations.ShuffleWriteOperation.finish self.writer.__exit__(None, None, None) 
File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/shuffle.py", line 599, in __exit__ self.writer.Close() 
File "third_party/windmill/shuffle/python/shuffle_client.pyx", line 202, in shuffle_client.PyShuffleWriter.Close IOError: Shuffle close failed: FAILED_PRECONDITION: Precondition check failed.

Есть идеи?

1 Ответ

0 голосов
/ 16 октября 2018

Я наконец-то разобрался в проблеме, удалив различные части кода, напечатав тонны журналов и снова запустив задание.Оказалось, что у меня было регулярное выражение, которое взорвалось для одной конкретной записи.К сожалению, журналы потока данных не помогли вообще.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...