Я опираюсь на идеи использования мультитенантного кластера Spark.Кластер выполняет задания по требованию для определенного арендатора.
Можно ли «знать» конкретные ресурсы, используемые конкретным заданием (по причинам оплаты)?Например, если задание требует, чтобы несколько узлов в kubernetes были автоматически распределены, можно ли тогда отслеживать, какие задания Spark (и арендатор в конце) инициировали такое распределение ресурсов?Или задания всегда распределяются равномерно по выделенным ресурсам?
Пытался найти информацию на сайте Apache Spark и в других местах в Интернете, но безуспешно.