Spark 2.0-2.3 DataSets groupByKey и mapGroups - PullRequest
Новая
       13

Spark 2.0-2.3 DataSets groupByKey и mapGroups

0 голосов
/ 14 февраля 2019

Я вижу правильный вывод записей при локальном запуске.Однако, когда я работаю в кластере, результат будет другим и, казалось бы, противоречивым.Даже некоторые из выводов mappedGroup верны.Это проблема с искровым затвором?Не знаю, как лучше всего описать то, что я вижу.

Возможно, я не понимаю mapGroups и не все значения для каждой группы передаются в переменную recordList. 

case class MyCaseClass (keyValue: int,c2: String,c3: String,c4: Double)

case class NewClass (thing1:String,thing2:String,thing3:String,thing4:String)

case class WorkTodo(myClassRecords: Seq[MyCaseClass]){
    def toNewRecords: Seq[NewClass] = {
    //e.g. work that requires all MyCaseClass.keyValue=1 to be in the list. 
    //This function would create new Java Objects to perform calculations and eventually output a set of NewClass records
}

val processedRecords = ds.as[MyCaseClass].groupByKey(_.keyValue)
      .mapGroups {
      case (v, iter) => {
        var recordList = new ListBuffer[MyCaseClass]
        iter.foreach {x=>
          recordList += MyCaseClass(x.keyValue,x.c2,x.c3,x.c4)
        }

        WorkToDo(recordList).toNewRecords 
      }
    }

PS Любые другие решения, которые все еще используют набор данных, приветствуются:)

...