Я выполнил работу Spark сегодня и столкнулся с каким-то необычным поведением, которого раньше не видел.
Консоль печатает тонны строк следующим образом:
Processed 992100 rows in partition 110
Processed 992200 rows in partition 110
Processed 2142900 rows in partition 52
Время от времени она печатает так:
19/02/05 23:05:35 INFO UnsafeExternalSorter: Thread 92 spilling sort data of 112.0 MB to disk (1 time so far)
19/02/05 23:05:37 INFO UnsafeExternalSorter: Thread 92 spilling sort data of 112.0 MB to disk (2 times so far)
Я подумала, что, возможно, я оставила строку журнала вкод моего приложения, но я нигде не могу найти эту строку журнала.