мы запускаем приложение Spark 1.6.1.В какой-то момент я не вижу больше рабочих мест, представляемых.Ядра не активны, хотя ядра доступны и драйвер stdout / stderr ничего не печатает.Эта ситуация длится несколько минут, пока он волшебным образом не отправит новое задание, оно отображается в пользовательском интерфейсе Spark, а ядра назначены задачам.
Что делает искра?Я думал, что это может быть поколение DAG, но, похоже, это зависит от размера входных данных.
EDIT
Решил эту проблему.Тот, кто написал код, использовал сложный левый элемент, передавая df, в результате чего df конвертировался в драйвере.