Spark Rdd - использование sortBy с несколькими значениями столбцов - PullRequest
Новая
       13

Spark Rdd - использование sortBy с несколькими значениями столбцов

0 голосов
/ 25 апреля 2019

После группировки моего набора данных это выглядит следующим образом 

(AD_PRES,1)
(AD_VP,2)
(FI_ACCOUNT,5)
(FI_MGR,1)
(IT_PROG,5)
(PU_CLERK,5)
(PU_MAN,1)
(SA_MAN,5)
(ST_CLERK,20)
(ST_MAN,5)

Здесь я хочу отсортировать по ключу по убыванию и по значению как по возрастанию.Так пробовал ниже строки кода. 

 emp_data.map(s => (s.JOB_ID, s.FIRST_NAME.concat(",").concat(s.LAST_NAME))).groupByKey().map({
    case (x, y) => (x, y.toList.size)
  }).sortBy(s => (s._1, s._2))(Ordering.Tuple2(Ordering.String.reverse, Ordering.Int.reverse))

это вызывает ниже исключения. 

not enough arguments for expression of type (implicit ord: Ordering[(String, Int)], implicit ctag: scala.reflect.ClassTag[(String, Int)])org.apache.spark.rdd.RDD[(String, Int)]. Unspecified value parameter ctag.

1 Ответ

3 голосов
/ 25 апреля 2019

RDD.sortBy принимает теги упорядочения и теги классов в качестве неявных аргументов. 

def sortBy[K](f: (T) ⇒ K, ascending: Boolean = true, numPartitions: Int = this.partitions.length)(implicit ord: Ordering[K], ctag: ClassTag[K]): RDD[T]

Вы не можете просто предоставить их подмножество и ожидать, что все будет работать. Вместо этого вы можете указать блочный локальный неявный порядок: 

{ 
   implicit val ord = Ordering.Tuple2[String, Int](Ordering.String.reverse, Ordering.Int.reverse)
   emp_data.map(s => (s.JOB_ID, s.FIRST_NAME.concat(",").concat(s.LAST_NAME))).groupByKey().map({
     case (x, y) => (x, y.toList.size)
   }).sortBy(s => (s._1, s._2))
}

хотя вам действительно следует использовать reduceByKey, а не groupByKey в таком случае.

...