Я использую Spark 2.4.3, хочу проверить его работоспособность.Я обнаружил интересный факт: тот же код, что и ниже, тот же env, запускаемый в оболочке spark, четное число прогонов (2, 4, 6 ..) всегда быстрее нечетного числа, например, № 2 быстреечем первый, № 3 быстрее, чем второй запуск .... Кто-нибудь знает почему?
Этот код сгенерирует случайное целое число, назначит два раздела и получит общее количество.
val r = scala.util.Random
val input1 = for (i <- 1 to 10000000) yield r.nextInt
val input = sc.parallelize(input1, 2)
val start = System.currentTimeMillis()
input.reduce((x,y) => x+y)
println((System.currentTimeMillis()-start)+"")
Спасибо.