Почему ядра spark executor не совпадают с активными задачами в пользовательском веб-интерфейсе spark？

Question

Я использую экономичный сервер Spark 2.3 для Ad-hoc Sql запросов. Мои параметры искры установлены как показано ниже в файле spark-defaults.conf:

spark.executor.memory 24G
spark.executor.cores 40
spark.executor.instances 3

Однако, когда я проверял интерфейс искрового веб-интерфейса, сердечники искры не были равны активным задачам, как показано на рисунке:

Как активные номера задач могут быть больше, чем выделенные ядра? Есть идеи? Спасибо!

Answer 1

Я видел то же самое. Я не уверен на 100%, но я считаю, что это условие состязания между пулом потоков Задачи на исполнителе и кодом отчетности метрик.

Если вы нажмете на дамп потока, вы увидите правильное количество потоков. Однако, если вы попробуете это 50 раз (с небольшой удачей), вы увидите, что дополнительный поток задач просто сидит там в состоянии TIMED_WAITING.