режим расчета функции агг в искровых скалах

Question

Я пытался следовать UDAF без scala z для расчета режима столбца, но он возвращает Null:

https://gist.github.com/anish749/6a815ed281f538068a0d3a20ca9044fa

     val customMode = new mostCommonValue()
     val finalRdd = mean1.groupBy("Unifier").agg(
          customMode(when($"SNR" > 0, $"SNR")).as("SNR_Mode"))