Предположим, что я запускаю задание pyspark, используя шаблон рабочего процесса dataproc и эфемерный кластер ... Как я могу получить имя кластера, созданного внутри моего задания pyspark
Один из способов состоит в том, чтобы раскошелиться и запустить эту команду:
/usr/share/google/get_metadata_value attributes/dataproc-cluster-name
Единственным выходным сигналом будет имя кластера, без каких-либо символов новой строки или чего-либо еще для очистки. См. Запуск команды оболочки и получение вывода