Искра создает только одну работу для нескольких вызовов одной и той же функции

Question

Context =>

Я хочу выполнить одну и ту же функцию с разными параметрами 3 раза.

Проблема =>

однако яобнаружил, что spark выполнил ТОЛЬКО первую функцию (потому что он создает задания за один раз, а println в func просто выполняется один раз), и когда он завершил первый вызов func, он никогда не завершаетсяи он заблокировался, ничего не делая для следующего вызова func.

Код:

def func(....) {

  val df =  spark.read
      .parquet(.....)
      .filter(.....)

  df.write.....
}

def test() = {

    // 1st
    func(....)

    // 2nd
    func(....)

    // 3rd
    func(....)
}

test()

Q: Может кто-нибудь подсказать, что не так скод ?Спасибо.