Можно ли получить доступ к API YARN из запущенного приложения PySpark в режиме кластера, используя контекст искры? Я хотел бы перечислить историю всех представленных приложений вместе с их состоянием.
Я ожидал бы что-то вроде приведенного ниже псевдокода, но я не могу найти хорошую документацию.
sc = SparkContext(...)
sc._jvm.<path_to_yarn_api_interface>.GetRunningApplications()
Спасибо.