Я согласен, что было бы неплохо, если бы ожидалось или получит обратный вызов, когда завершатся такие операции, как создание виртуальной машины, создание кластера, завершение задания и т. Д. Из любопытства вы используете один из API-клиентов (например, google-cloud-java ) или напрямую используете REST API?
Тем временем на ум приходит пара обходных путей:
1) Обратные вызовы Google Cloud Storage (GCS)
GCS может запускать обратные вызовы (либо Облачные функции , либо PubSub уведомления ) при создании файлов. В конце задания Spark вы можете создать файл, который будет вызывать уведомление. Или просто добавьте триггер, когда вы помещаете выходной файл в GCS.
Если вы все равно изменяете задание, вы можете просто сделать так, чтобы задание Spark перезвонило прямо в ваше приложение, когда оно будет выполнено.
2) Используйте инструмент командной строки gcloud (вероятно, не лучший выбор для веб-серверов)
gcloud уже ожидает завершения задания. Вы можете использовать gcloud dataproc jobs submit spark ... для отправки и ожидания завершения новой работы или gcloud dataproc jobs wait <jobid> для ожидания завершения текущей работы.
При этом, если вы просто ищете обратный вызов для выбора, запускать ли другое задание, рассмотрите возможность использования Apache Airflow + Cloud Composer .
В общем, чем больше вы расскажете нам о том, чего пытаетесь достичь, тем лучше вы можете помочь:)