Как активировать запланированное удаление кластера Dataproc с помощью Python API?

Question

Для ручного создания запланированного удаления для кластера Dataproc я могу использовать следующий параметр --max-idle=30m.

Но как активировать запланированное удаление с помощью Python API?Любые подсказки, где я должен проверить?

Answer 1

Вот другой подход.

Попробуйте удалить кластер из программы, которую вы запускаете.Когда вы закончите вычисления, позвольте вашей программе вызвать саму команду удаления кластера.

    print("Try to delete cluster %s " % job_args['cluster_name'] )
    result = subprocess.call(['gcloud',
                              'dataproc',
                              'clusters',
                              'delete',
                              job_args['cluster_name'],
                              '--quiet',
                              '--async'])
    print("Sent command result: %s" % str(result))

Answer 2

Вы можете взглянуть на код, кажется, что он доступен в v1beta2 API Dataproc Клиент Python .

Вот пример того, какустановить его (из Воздушный поток DataprocClusterCreateOperator ):

cluster_data['config']['lifecycleConfig']['idleDeleteTtl'] = '1800s'