Похоже, это могло произойти из-за какой-то (переходной?) (Сетевой?) Ошибки с gcloud, а не из-за сбоя самого задания.
Для дальнейшего использования, если это произойдет в середине выполнения задания, вы всегда можете перезапустить gcloud для опроса о завершении задания. При этом с начала будут распечатаны все журналы драйверов и продолжена потоковая передача, как обычно, до завершения:
gcloud dataproc jobs wait <job-id> [--region=<region>]
Если вы не уверены в соответствующем идентификаторе задания, его следует распечатать во время подачи задания. Вы также можете перечислить задания для данного кластера:
gcloud dataproc jobs list --cluster=<cluster> [--region=<region>]