Мое задание потоковой передачи данных внезапно остановилось при чтении данных из pubsub - PullRequest
0 голосов
/ 14 января 2019

мое задание потоковой передачи данных внезапно остановилось и не может обрабатывать данные в течение 6 часов.

jobid равен

работа A

  • n1-standard-2 / автоматическое масштабирование / максимальный рабочий 28

2019-01-09_22_03_35-18168534482879725522

но работа слива не работает.

так что я вынужден отменить эту работу. и перезапустите новую работу.

новый идентификатор вакансии -

работа B

  • n1-standard-2 / автоматическое масштабирование / максимальный рабочий 64

2019-01-11_15_57_09-478509697900780753

но новая работа также внезапно остановилась.

Затем я обновляю спецификацию машины n1-standard-2 до n1-standard-4.

работа C

  • n1-standard-4 / автоматическое масштабирование / максимальный рабочий 64

2019-01-11_17_59_05-4037692085955096168

тогда. отлично работает.

это мой график мониторинга времени задержки системы потока данных.

время задержки увеличивается.

enter image description here

Что произошло на заданиях А и В?

в стеке нет ни одного журнала ошибок.

также, ресурс процессора потока данных хорош в мониторинге стековых драйверов.

Я хочу знать причину.

...