Время создания Spark Job

Question

Как получить доступ к времени создания задания, используя taskcontext. Я планирую получить это время у разных исполнителей и установить его с постоянными данными, которые помогут в последующих процессах. Поскольку время создания задания уникально, даже когда оно получено от разных исполнителей, это помогает отслеживать постоянные данные в одном задании.

Можно ли получить от TaskMetrics?
Как получить доступ к классу Jobdata?

Answer 1

Я мог бы сделать это с помощью слушателей. Мне пришлось расширить класс SparkListners и отследить, когда работа (все задачи для работы) заканчивается, и начать и выполнять действия в зависимости от этого.