flatMapToPair в Scala на JavaRDD - PullRequest
Новая
       8

flatMapToPair в Scala на JavaRDD

0 голосов
/ 15 февраля 2020

Я пытаюсь взять JavaRDD и выполнить операцию flatMapToPair для создания пар ключ-значение. Вот функция, которую я пытаюсь использовать. 

  val FlatMapData: PairFlatMapFunction[Row, String, Long] = new PairFlatMapFunction[Row, String, Long]() {
    override def call(x: Row) = {
      import java.util
      val tuple = new util.ArrayList[Tuple2[String, Long]]
      tuple.add(Tuple2(x.getString(1), x.getLong(5)))
      tuple.iterator()
    }
  }

Вот как я это называю 

val pairs = ip15M.flatMapToPair(FlatMapData)

Выше работает, но я не уверен, что это лучше и оптимальный кусок кода (функция).

Я новичок в этом, и любая помощь для улучшения приветствуется.

...