Задержка задания потока данных - PullRequest
0 голосов
/ 12 октября 2018

У меня таинственная проблема с заданием потока данных.Я настроил его запускать раз в день.В большинстве дней он завершается за ~ 1 час, но иногда вместо этого он работает в течение многих часов / дней, и в этот момент я просто его убиваю.Что может быть причиной этой резкой разницы?Ничего в коде не меняется.Единственная подсказка, которую я имею, - это самый первый шаг в работе, который заключается в чтении ~ 250 тыс. Входных идентификаторов из текстового файла.В дни, когда задание выполняется вечно, шаг чтения короток - 1000 идентификаторов.Они по какой-то причине никогда не читаются. Я не понимаю, что происходит за кулисами с потоком данных достаточно, чтобы понять, что может происходить.Я чувствую, что это исходит из самого потока данных, так как, возможно, где-то есть ошибка в программном обеспечении?У кого-нибудь есть понимание или идеи?: Face_with_monocle:

...