Как найти комбинации элементов каждой строки в кадре данных? - PullRequest
0 голосов
/ 26 сентября 2018
c1,c2,c3
pencil,book,eraser
pen,book

если это мой набор данных, мне нужны такие комбинации, как

pencil
pencil,book
pencil,eraser
book,eraser
pen
pen,book

с использованием rdd. Я сделал это в этом формате, но теперь мой ввод - это фрейм данных, как я могу создать эту комбинацию?

val itemset = data.flatMap { line =>
      val arr = line.split(delimiter)
      (1 to arr.length).flatMap { y =>

        val combinations = arr.combinations(y)
        println("arr elements "+arr.deep)
        combinations.foreach(x => println(x.deep))
        combinations.map { x => (x.toSet, 1)}
      }
    }.reduceByKey(_ + _)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...