Я бы предположил, что
.persist (StorageLevel.DISK_ONLY)
освободит пространство процессора для коллег.Т.е. несколько разных искровых контекстов выполняют работу при необходимости и сохраняют промежуточные RDD на HDD.Однако один или два сотрудника, сохраняющие разные наборы, могут полностью заблокировать кластер?Что здесь происходит?