Почему шаги потока данных не запускаются? - PullRequest
0 голосов
/ 12 мая 2018

У меня есть линейный трехступенчатый конвейер потока данных - по какой-то причине последний шаг начался, но предыдущие два шага зависали в Not started долгое время, прежде чем я сдался и убил задание.Я не уверен, что вызвало это, так как этот же конвейер успешно работал в прошлом, и я удивлен, что в журналах не было никаких ошибок относительно того, что мешало запуску первых двух шагов.Что может вызвать такую ​​ситуацию и как я могу предотвратить это?

1 Ответ

0 голосов
/ 14 мая 2018

Это происходило из-за ошибки при запуске рабочего.Определенные шаги потока данных, по-видимому, не требуют рабочих (например, запись в GCS), поэтому этот шаг удалось запустить - то есть этот запуск шага не подразумевает, что рабочие создаются правильно.Запуск рабочего процесса по умолчанию не отображается в журналах заданий - вам нужно щелкнуть ссылку на Stackdriver в журналах заданий, а затем добавить worker-startup в выпадающие журналы, чтобы увидеть любую из этих ошибок.

...