Запустил приложение spark на AWS emr, используя YARN в кластерном режиме, используя конфигурацию c4.4xlarge с 8 экземплярами ядра, и я не уверен, как определить, как долго приложение на самом деле работало ... Вот что говорит amazon:
На вкладке Шаги:
Искра Заявление завершено 2018-09-06 07:25 (UTC-6) 50 минут
В разделе Журнал приложений / Задания для того же самого приложения Spark выдает список из 200 заданий. Суммарная продолжительность всех заданий составляет примерно 3 минуты
Под История приложений / Этапы для того же самого приложения с искрой он дает список 200 этапов. Суммарная продолжительность всех этапов составляет примерно 3 минуты
Под Журнал приложений / Исполнители для того же самого приложения Spark выдает список из 8 исполнителей (один из них - драйвер). Суммарная продолжительность всех заданий составляет приблизительно 17 часов и время GC 72 минут
Таким образом, ни один из этих показателей не складывается в 50 минут ... Сколько времени действительно потребовалось для запуска приложения? Как это определить?