Мне известно о
spark.sparkContext.statusTracker
но я могу иметь доступ только к номеру Executors и числу активных Tasks.
Мне интересно, можно ли получить информацию о физических машинах? Как и количество процессоров, памяти и т. Д. Я размещаю кластер на EC2, и я хотел бы иметь возможность отслеживать в моем основном журнале конфигурации кластера что-то вроде:
6 r3.2xlarge 16 CPU 12 GB
12 r3.xlarge 8 CPU 12GB RAM
^ Число здесь bs, но оно дает представление о типе информации, которую я хотел бы распечатать.
Спасибо.