Работа в облачном потоке Google таинственно прервалась - PullRequest
Новая
       5

Работа в облачном потоке Google таинственно прервалась

0 голосов
/ 27 февраля 2019

Я неоднократно пытаюсь запустить набор заданий облачного потока данных Google, которые до относительно недавнего времени работали регулярно, а теперь имеют тенденцию падать.Эта ошибка была самой запутанной из-за того, что я понятия не имею, на какой код ссылаются, и он кажется внутренним для GCP?

Идентификатор моей работы здесь: 2019-02-26_13_27_30-16974532604317793751

Я запускаю эти задания на экземплярах n1-standard-96.

Для справки, полный тексттрассировка: 

  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/batchworker.py", line 642, in do_work
    work_executor.execute()
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/executor.py", line 156, in execute
    op.start()
  File "dataflow_worker/shuffle_operations.py", line 49, in dataflow_worker.shuffle_operations.GroupedShuffleReadOperation.start
    def start(self):
  File "dataflow_worker/shuffle_operations.py", line 50, in dataflow_worker.shuffle_operations.GroupedShuffleReadOperation.start
    with self.scoped_start_state:
  File "dataflow_worker/shuffle_operations.py", line 65, in dataflow_worker.shuffle_operations.GroupedShuffleReadOperation.start
    with self.scoped_process_state:
  File "dataflow_worker/shuffle_operations.py", line 66, in dataflow_worker.shuffle_operations.GroupedShuffleReadOperation.start
    with self.shuffle_source.reader() as reader:
  File "dataflow_worker/shuffle_operations.py", line 68, in dataflow_worker.shuffle_operations.GroupedShuffleReadOperation.start
    for key_values in reader:
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/shuffle.py", line 433, in __iter__
    for entry in entries_iterator:
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/shuffle.py", line 272, in next
    return next(self.iterator)
  File "/usr/local/lib/python2.7/dist-packages/dataflow_worker/shuffle.py", line 230, in __iter__
    chunk, next_position = self.reader.Read(start_position, end_position)
  File "third_party/windmill/shuffle/python/shuffle_client.pyx", line 133, in shuffle_client.PyShuffleReader.Read
IOError: Shuffle read failed: DATA_LOSS: Missing last fragment of a large value.

1 Ответ

0 голосов
/ 05 марта 2019

Возможно, входные данные теперь больше, а DataFlow не может их обработать?

У меня была работа, у которой были проблемы с перемешиванием.Это начало работать, когда я переключился на дополнительный "сервис случайного воспроизведения".Вы можете попробовать это.Просто добавьте в свою команду задания следующее: 

--experiments shuffle_mode=service

Ссылка: см. Раздел «Использование перестановки потоков данных в облаке» на этой странице .

...