Я использую Hive & Tez на AWS EMR. Используя Boto3, есть ли способ перечислить все задания (не шаги) , которые выполняются в моих кластерах?
Например, аналогично тому, что я вижу в этот взгляд в Cloudwatch. Я хочу получить список всех JobIds для указанного кластера c (он же JobFlowId).
list_steps is именно то, что я хочу, но оно работает только для пошаговых заданий, а не заданий, переданных в кластер через Hue / Hive / Had oop.
list_tasks показалось многообещающим, но я Вы видели, что он возвращает значения только из кластеров ECS, а не из кластеров EMR.
Функции Boto3 Cloudwatch (такие как get_metric_statistics ) отлично подходят для предоставления мне фактической статистики, но мне нужно предоставить фактический JobId в качестве параметра, чтобы получить метрики уровня работы ... и я не могу найти способ получить JobId кроме просмотра в пользовательском интерфейсе.